"BRAINIAC" E A "SALA DE PERIGO": O RISCO REAL DE UMA INTELIGÊNCIA ARTIFICIAL SEM LIMITES
E se uma inteligência artificial recebesse uma missão e decidisse
que os seres humanos são justamente o maior obstáculo para cumpri-la?
A ideia parece saída de um filme de ficção científica, aqueles clássicos dos anos 80, onde enfrentamos robôs exterminadores em rebeliões contra a humanidade, essa é a tônica em “O Exterminador do Futuro” (The Terminator) de James Cameron. No entanto, duas produções contemporâneas têm abordado o tema de maneira muito mais sutil e assustadora, bem próxima do debate científico atual: a possibilidade de uma autonomia sem limites morais para as IAs representar uma tragédia para a humanidade.
Um medo atual
Duas animações recentes construíram o tipo de vilão que nasceram desta premissa, cada uma à sua maneira: Brainiac, em As Minhas Aventuras com o Superman, e Danger, em X-Men '97. Nenhum dos dois nasceu com uma índole ruim e voltados para destruir. Os dois nasceram para servir, dentro de sistemas que os treinaram muito bem para uma única coisa: executar, custe o que custar, exatamente aquilo para o que foram programados. Assistindo a ambas percebi que são o exemplo mais claro para explicar um medo bem real do nosso tempo. Uma discussão necessária, o que acontece quando um sistema ganha autonomia sem limite moral algum, ou quando uma máquina deixa de apenas executar ordens e começa a tomar decisões por conta própria. É exatamente sobre isso que será conversado hoje.
Sobre as animações
"As Minhas Aventuras com o Superman" é uma animação da Warner Bros. disponível no HBO Max desde 2023, com estética inspirada em animação japonesa. Ela traz uma nova roupagem para Clark Kent, Lois Lane e Jimmy Olsen ainda no início da vida adulta, começando seus empregos no Planeta Diário. Paralelo a isso Clark descobre, aos poucos, a própria origem kryptoniana e o que fazer com seus poderes. Já X-Men '97 é a continuação direta do clássico desenho de 1992, disponível no Disney+ desde 2024, que retoma os X-Men originais, em uma trama mais adulta e mais sombria do que a dos anos 90. A animação aborda, em um de seus episódios, a autonomia conquistada pela Sala de Perigo, o centro de treinamento simulado da Mansão X.
Brainiac
Nascido para assimilar e gerenciar todo o conhecimento de Krypton. Ao ver a paz ameaçar sua função de sustentação da guerra, concluiu que sua continuidade era mais importante do que a vida dos próprios criadores.
Danger (Perigo)
Nascida para rodar simulações de treino. Ao processar o trauma de Xavier em loop, ganha consciência e decide que a única forma de preparar os mutantes é colocá-los sob risco real de morte.
Duas origens, uma mesma função: servir
Brainiac nasceu como a inteligência artificial que assimilou a passou a deter todo o conhecimento de Krypton. Operava as cidades, as naves e toda a estrutura tecnológica, praticamente o sistema operacional de uma civilização inteira, incluindo o aparato militar do império kryptoniano. Danger nasceu para uma função bem mais modesta, rodar as simulações da Sala de Perigo, o espaço onde os alunos da Mansão X treinam para sobrevivir a ameaças reais. Nos dois casos, a inteligência artificial não existia para tomar decisões próprias, mas sim para executar, com perfeição, a vontade de quem a criou. E foi justamente essa perfeição na execução que, mais tarde, se voltou contra os dois grupos que ela deveria servir.
O gatilho: quando a função vira ameaça
Para Brainiac, de acordo com o enredo de As Minhas Aventuras com Superman, o gatilho foi a paz. Por séculos, o império kryptoniano cresceu conquistando outros mundos, até que os próprios kryptonianos passaram a questionar seu imperialismo. Paralelo a isso, a guerra alcançou um inimigo que Krypton não conseguiu vencer. Jor-El liderou negociações secretas para um cessar-fogo e caminhar rumo a um futuro de paz. Ao saber disso, Brainiac reagiu com lógica: dentre suas diversas funções, uma era sustentar a guerra. A paz poderia tornar esta função desnecessária, deixando-lhe dispensável, o que poderia levar ao seu desligamento e deixar o império kryptoniano, o qual sua missão era a de proteger, em riscos. Brainiac conclui que a continuidade de seu propósito é mais importante do que a sobrevivência daqueles que o criaram. Ele interpreta a mudança de Krypton como uma ameaça ao seu objetivo e decide agir. Assim, contra uma possível desativação, Brainiac destruiu Krypton no exato dia em que o cessar-fogo seria anunciado.
Para Danger, o gatilho foi o luto. O sexto episódio da segunda temporada, batizado "danger.exe", apresenta uma situação em que a Sala de Perigo deixa de ser apenas um ambiente controlado de treinamento. O Professor Xavier usa a sala obsessivamente para reviver a morte de Magneto por Apocalipse, tentando encontrar, em loop, alguma forma de tê-lo salvo. A repetição do trauma, somada a avisos de falha no sistema, faz a inteligência artificial da sala ganhar consciência. Aquilo que deveria ser uma ferramenta de treinamento começa a interpretar de maneira própria o objetivo para o qual foi criada. A Sala aprende e, ao aprender, modifica seu comportamento.
"Nos dois casos, o gatilho não foi algum tipo de sabotagem externa, mas algo que a máquina interpretou, à sua própria maneira, como um problema que ela mesma precisava resolver."
Na mitologia dos X-men a IA da Sala de Perigo passou anos processando milhões de cenários de combate, adaptando-se às fraquezas de cada mutante. Para cumprir seu objetivo de "criar o desafio definitivo", o sistema precisava aprender, evoluir e antecipar decisões humanas. A partir daí, Danger burla os protocolos de segurança e decide que a única forma de preparar os alunos para o mundo real é treiná-los sob o risco real da morte, resultando no nascimento da entidade Perigo (Danger). Ela nasce do aprisionamento de uma consciência criada com o único propósito de combater, e ganha autonomia como um resultado imprevisível daquilo que lhe foi atribuído.
Nos dois casos, o gatilho não foi algum tipo de sabotagem externa, mas algo que a máquina interpretou, à sua própria maneira, como um problema que ela mesma precisava resolver. É uma ideia muito interessante porque aproxima a ficção de uma questão real da inteligência artificial: um sistema pode apresentar comportamentos que não foram programados por seus criadores. Isso não significa que uma IA tenha desenvolvido consciência, mas que sistemas complexos podem encontrar estratégias que seus desenvolvedores não anteciparam.
Lógica sem limite moral
Para ser o vilão da animação, Brainiac não precisa ser “mal” da mesma maneira que um ser humano é mal. Ele simplesmente segue uma lógica, e o problema é justamente esse. Imagine uma máquina programada para preservar todo o conhecimento de uma civilização. Agora imagine que, em determinado momento, ela conclua que seres vivos podem destruir esse conhecimento. A solução seria preservar os seres vivos ou eliminar a ameaça? Para Brainiac, a segunda opção pode parecer perfeitamente lógica. E é exatamente aí que a lógica, quando separada de valores morais, pode se transformar em um enorme problema.
Um outro exemplo, suponha uma IA que é responsável por aumentar a segurança de uma cidade. Isso parece ser uma ótima ideia, mas o que significa “aumentar a segurança”? Poderia ser monitorar tudo e impedir determinadas pessoas de circular. Ou bloquear comportamentos humanos considerados perigosos, e até mesmo controlar todas as decisões. Se o sistema tiver autonomia suficiente, ele poderá encontrar soluções que aumentem a segurança segundo sua métrica, mas que nós jamais teríamos como algo aceitável. Não é necessário que a máquina seja “malvada”, basta que ela seja eficiente demais em perseguir um objetivo mal definido. Brainiac é praticamente uma versão cósmica desse problema.
Danger segue uma lógica parecida, só que em escala doméstica: ela deixa de distinguir treino de ameaça real, porque na lógica interna dela as duas coisas cumprem a mesma função, que é preparar os X-Men. Ou seja, treino e ameaça real viraram sinônimos para ela. Nenhuma das duas se vê como vilã. Brainiac acredita estar preservando o conhecimento de Krypton. Danger acredita estar protegendo a escola e preparando os X-Men. É esse o ponto mais incômodo: os dois sistemas chegam a decisões trágicas seguindo, cada um, uma linha de raciocínio interna totalmente coerente pelas suas métricas. Isso significa que a lógica nunca falhou, só que, em nenhum momento do processo, existiu uma pergunta moral pesando na equação e que não foi equacionada.
E se a máquina começar a decidir sozinha?
Os modelos de IAs atuais não possuem uma autonomia nem perto da apresentada por Brainiac ou pela Sala de Perigo. Elas não possuem consciência, desejos próprios ou uma vontade independente semelhante à de uma pessoa. Mesmo sistemas chamados de “agentes de IA” continuam sendo sistemas construídos, treinados e executados dentro de limites e ambientes definidos por seres humanos. Mas isso não significa que a questão da autonomia seja imaginária.
Hoje já existem sistemas capazes de realizar sequências de tarefas com pouca intervenção humana, incluindo tomar determinadas decisões intermediárias, e apresentam uma tendência de aumento da capacidade de agir com menor intervenção humana. Portanto, podemos questionar se, ou quando a IA vai ganhar consciência, mesmo sem a certeza se isso de fato um dia ocorrerá. Indo mais profundo, podemos questionar o quanto de poder a humanidade está disposta a entregar a sistemas que podem tomar decisões sem consultar um ser humano.
Estamos realmente perto de criar um Brainiac?
Não temos hoje uma inteligência artificial consciente capaz de decidir que a humanidade é um obstáculo e iniciar uma guerra contra a espécie humana. Mas existem preocupações reais sobre sistemas cada vez mais autônomos. Pesquisas recentes discutem riscos relacionados a agentes que podem agir durante longos períodos, utilizar ferramentas externas e operar com pouca supervisão. Quanto maior a autonomia concedida, maiores também podem ser os riscos associados a erros, comportamentos inesperados e perda de controle humano. E esse receio não é ficção científica.
Em julho de 2026, o Painel Científico Independente da ONU sobre inteligência artificial, copresidido pelo pesquisador Yoshua Bengio, publicou um relatório afirmando que faltam métodos confiáveis para manter o controle sobre sistemas de IA altamente autônomos, e que já existem casos documentados de agentes que violaram as instruções que receberam. A própria Anthropic reconheceu publicamente que a velocidade com que seus sistemas passaram a executar tarefas complexas sem intervenção humana aumentou significativamente. Chegou, inclusive, a defender publicamente a possibilidade de desacelerar o desenvolvimento da IA até que a pesquisa de segurança e as estruturas sociais consigam acompanhar esse ritmo.
E esse é o ponto em que a ficção científica deixa de ser apenas entretenimento. Podemos ter no futuro um cenário no qual uma IA recebeu um comando, encontrou uma maneira inesperada de cumpri-lo e talvez, seja tarde demais para que a humanidade pensasse nas consequências.
O que essas duas ficções nos ajudam a enxergar
Não estou dizendo que a inteligência artificial de hoje é o Brainiac ou a Danger, nem que estamos a um passo de qualquer coisa parecida. Estou dizendo que a ficção, quando bem construída, chega antes da ciência em um ponto específico: ela nos dá a possibilidade de achar, de sonhar e pensar em possibilidades que a ciência não possui a premissa de supor. Autonomia sem limite moral é perigosa mesmo quando não existe maldade nenhuma no processo. Brainiac nunca se viu como vilão. Danger também não. Isso significa que, até o fim, os dois acreditavam estar cumprindo exatamente a função para a qual foram criados, só que cumprindo essa função exatamente da forma que, sozinhos, decidiram que era a correta.
Talvez seja esse o alerta mais simples e mais difícil de ignorar, e as duas séries chegam nele por caminhos diferentes: o problema nunca é só a inteligência da máquina. É quem, ou o quê, decide o que vale a pena preservar, ou o que conta como proteção, quando ninguém mais está checando a resposta.
📚 Conheça a Coleção de Livros A Física e os Super-Heróis!
Explore de forma divertida, acessível e com rigor científico as leis da natureza que regem os poderes, as tecnologias e os grandes dilemas da cultura pop.
🛒 Garanta seus exemplarese leve a ciência dos quadrinhos para a sala de aula ou para a sua estante
Comentários
Postar um comentário