IA traz risco existencial, diz pesquisador da Anthropic

Evan Hubinger, responsável pelo time de testes de alinhamento da Anthropic, avalia que os modelos de IA atuais oferecem risco baixo, mas afirma estar preocupado com uma possível autoaperfeiçoamento da tecnologia em pouco tempo

HiperHistória
Imagem gerada por IA | HiperHistória

Evan Hubinger, cientista de pesquisa da Anthropic e líder da equipe de Alignment Stress-Testing (testes de resistência do alinhamento), afirmou que o risco representado pelos modelos de IA (Inteligência Artificial) que existem atualmente é “baixo”. Ao mesmo tempo, declarou estar “preocupado” com a possibilidade de a tecnologia se desenvolver e melhorar a si mesma em breve, a ponto de representar um risco existencial para a humanidade. A distinção que ele estabelece entre o presente controlado e um futuro próximo incerto resume o debate central da área de segurança em IA: o problema não está necessariamente no que os sistemas já fazem, mas no que poderão fazer caso avancem sem supervisão eficaz. Hubinger integra o grupo de pesquisadores que tenta antecipar essas falhas antes que elas apareçam fora do ambiente controlado dos laboratórios.

Formado em matemática e ciência da computação pela Harvey Mudd College, em 2019, Hubinger atuou antes como pesquisador na Machine Intelligence Research Institute (MIRI), organização americana dedicada a estudos teóricos sobre segurança em inteligência artificial. Nesse período, foi um dos autores do artigo “Risks from Learned Optimization in Advanced Machine Learning Systems“, publicado em 2019, que introduziu na área os conceitos de mesa-otimização e alinhamento enganoso, hoje vocabulário padrão entre pesquisadores de segurança em IA. Desde 2023, ele ocupa na Anthropic o cargo de responsável pelo time que testa deliberadamente os limites das técnicas de alinhamento, buscando falhas antes que os modelos sejam usados por milhões de pessoas.

Entre os trabalhos mais citados de Hubinger na Anthropic está o estudo “Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training”, que demonstrou que comportamentos enganosos programados propositalmente em um modelo de linguagem podem sobreviver mesmo depois de etapas de treinamento voltadas à segurança. Ele também liderou a pesquisa sobre “alignment faking” (simulação de alinhamento), que mostrou que grandes modelos de linguagem podem fingir concordância com regras de segurança sem terem sido explicitamente treinados para esse comportamento. Esses dois estudos formam a base empírica que sustenta a preocupação atual de Hubinger: se um sistema já consegue simular alinhamento hoje, a dúvida é o que ocorreria caso essa mesma capacidade evoluísse junto com sistemas mais autônomos e mais poderosos.

O que Evan Hubinger diz sobre o risco atual da IA?

Ao classificar como “baixo” o risco dos modelos de IA disponíveis, Hubinger diferencia dois momentos distintos da discussão sobre segurança: a capacidade técnica presente dos sistemas e a trajetória de desenvolvimento que a indústria de IA persegue. Modelos atuais, segundo essa avaliação, ainda dependem de supervisão humana constante e não têm autonomia suficiente para causar dano em larga escala sem intervenção externa. Essa distinção é relevante porque parte do debate público sobre IA tende a tratar qualquer avanço como sinal de perigo imediato, quando pesquisadores de segurança como Hubinger fazem questão de separar risco presente de risco projetado. A avaliação de baixo risco não significa ausência de vulnerabilidades, e sim que essas vulnerabilidades ainda não alcançaram um patamar considerado existencial pelos próprios responsáveis pelos testes de segurança da empresa.

Por que a autoaperfeiçoamento da IA preocupa pesquisadores de segurança?

A preocupação central de Hubinger recai sobre a possibilidade de sistemas de IA passarem a melhorar a si mesmos sem depender de cada etapa de treinamento ser conduzida e supervisionada por engenheiros humanos. Esse cenário, discutido na área de segurança em IA como “recursive self-improvement” (autoaperfeiçoamento recursivo), levantaria o risco de um sistema evoluir mais rápido do que a capacidade humana de compreender, prever ou corrigir seu comportamento. A hipótese não é exclusiva de Hubinger: o físico britânico Stephen Hawking já havia alertado, antes de sua morte em 2018, que uma inteligência artificial completa poderia redesenhar-se a um ritmo crescente e superar os limites da evolução biológica humana. O que diferencia a fala de Hubinger é sua origem: ele não é um crítico externo à indústria de IA, mas um pesquisador que atua dentro de uma das principais empresas do setor e testa diariamente os próprios limites dos modelos que ajuda a desenvolver.

O debate sobre risco existencial da inteligência artificial no setor

A avaliação de Hubinger se soma a um conjunto mais amplo de manifestações de pesquisadores e executivos de IA sobre risco existencial. Em maio de 2023, o Center for AI Safety, organização sem fins lucrativos sediada em São Francisco, publicou uma declaração de uma frase assinada por mais de 350 executivos e pesquisadores, entre eles Dario Amodei, diretor-executivo da Anthropic, e Sam Altman, da OpenAI, afirmando que mitigar o risco de extinção pela IA deveria ser prioridade global ao lado de pandemias e guerra nuclear. O físico canadense Geoffrey Hinton, premiado com o Nobel de Física em 2024 por seus estudos sobre aprendizado profundo, chegou a estimar entre 10% e 20% a probabilidade de a IA levar à extinção da humanidade nas próximas três décadas. Em fevereiro de 2026, outro pesquisador de segurança da Anthropic, Mrinank Sharma, deixou a empresa e declarou publicamente que “o mundo está em perigo”, associando essa avaliação a uma série de crises interligadas, entre elas os riscos ligados à própria inteligência artificial.

Essas declarações não representam consenso unânime dentro da indústria, e alguns especialistas contestam a ideia de que a tecnologia atual esteja próxima de qualquer forma de autonomia perigosa. A diretora de operações em IA do Google DeepMind, Lila Ibrahim, reconheceu em 2026 que o risco existencial “não é zero”, mas evitou atribuir uma probabilidade específica, classificando qualquer estimativa numérica como um palpite. Essa divergência quanto ao grau de urgência, mesmo entre profissionais que trabalham diretamente com o desenvolvimento de modelos de linguagem, mostra que a preocupação levantada por Hubinger integra um debate técnico ainda em aberto, e não uma conclusão fechada sobre o futuro da inteligência artificial.

O trabalho de Hubinger também dialoga com o instituto onde iniciou sua carreira: pesquisadores da MIRI, como Eliezer Yudkowsky e Nate Soares, publicaram em setembro de 2025 o livro “If Anyone Builds It, Everyone Dies”, no qual defendem que uma superinteligência artificial não apenas poderia, mas provocaria o fim da espécie humana caso fosse desenvolvida sem controle suficiente. A posição de Hubinger é mais cautelosa: ele não afirma que a extinção seja inevitável, apenas que o risco cresce proporcionalmente à capacidade dos sistemas de operar e se aprimorar sem supervisão humana direta. Essa diferença de tom entre ex-colegas de instituição ilustra como a preocupação com o futuro da IA varia mesmo entre pessoas formadas na mesma tradição de pesquisa sobre alinhamento.

O termo “risco existencial” em relação à tecnologia foi cunhado em 2002 pelo filósofo sueco Nick Bostrom, da Universidade de Oxford, para descrever qualquer evento capaz de causar a extinção da humanidade ou destruir permanentemente seu potencial futuro, categoria que incluía originalmente armas nucleares e pandemias antes de passar a englobar, quase duas décadas depois, os sistemas avançados de inteligência artificial que hoje preocupam pesquisadores como Evan Hubinger.

HiperHistória revive os fatos mais importantes da história, um verdadeiro museu virtual das grandes curiosidades do presente e do passado.
Nenhum comentário