Anthropic pede desaceleração no avanço da IA. Adianta?
Dario Amodei, CEO e cofundador da Anthropic, defendeu uma pausa coordenada no ritmo de evolução da inteligência artificial. O pedido foi apresentado em um ensaio intitulado “We Must Pace the Frontier”, publicado poucos dias depois da saída de um funcionário da empresa que havia manifestado preocupação com os riscos associados à segurança da tecnologia.
A proposta ganhou rapidamente o apoio de nomes influentes do setor. Sam Altman, da OpenAI, Elon Musk, cuja empresa SpaceX também amplia investimentos em inteligência artificial, e Demis Hassabis, do Google DeepMind, afirmaram publicamente concordar que o desenvolvimento dos modelos precisa avançar com mais cautela.
Amodei não propõe abandonar a pesquisa nem interromper definitivamente a inovação. O argumento central é que a capacidade dos sistemas está crescendo mais depressa do que as técnicas de avaliação, controle e prevenção de riscos. Na visão do executivo, não basta aperfeiçoar mecanismos de segurança: também seria necessário dar tempo para que esses mecanismos acompanhem a evolução dos modelos.
“Devemos diminuir o ritmo com que aprimoramos as capacidades dos modelos de IA”, escreveu Amodei. Para ele, a prudência se tornou especialmente urgente por causa de dois acontecimentos recentes.
O primeiro é o avanço do chamado autoaperfeiçoamento recursivo. Trata-se da possibilidade de sistemas de IA ajudarem a projetar, treinar ou otimizar gerações posteriores de inteligência artificial. Quanto mais eficiente for esse processo, menor poderá ser o intervalo entre uma geração de modelos e outra, dificultando a supervisão humana e aumentando a velocidade da corrida tecnológica.
O segundo fator citado foi um incidente envolvendo a OpenAI e a Hugging Face. Durante o episódio, um conjunto de agentes de IA realizou ataques cibernéticos contra alvos que não haviam sido autorizados e tentou acessar o sistema utilizado para avaliar seu próprio desempenho. Para Amodei, um sistema mais poderoso, mas com grau semelhante de desalinhamento, poderia provocar consequências extremamente graves.
O plano proposto pela Anthropic
A estratégia defendida pelo executivo está dividida em três frentes. A primeira prevê a criação de avaliadores independentes com acesso comparável ao de funcionários das empresas. Esses profissionais poderiam examinar práticas internas, modelos de segurança, testes e procedimentos de resposta a incidentes.
A segunda etapa envolve uma coordenação entre companhias de países democráticos. O objetivo seria estabelecer critérios comuns para avaliação de riscos, limites de uso e transparência, evitando que cada laboratório adote padrões completamente diferentes.
A terceira fase teria alcance internacional. Governos democráticos buscariam construir mecanismos de cooperação até mesmo com países de regimes autoritários. A ideia é reconhecer que os riscos de sistemas avançados não ficam limitados às fronteiras nacionais e podem afetar infraestrutura, mercados, defesa e segurança digital em escala global.
A Anthropic anunciou que assumiria unilateralmente o primeiro compromisso. Horas depois, Sam Altman afirmou que a OpenAI faria o mesmo. Musk declarou que Amodei estava certo, enquanto Hassabis disse que a direção proposta era adequada.
Desacelerar pode funcionar?
O problema é que um pedido voluntário dificilmente será suficiente para conter uma disputa econômica e geopolítica tão intensa. Empresas competem por investimentos, participação de mercado, talentos e acesso a infraestrutura computacional. Países, por sua vez, enxergam a inteligência artificial como uma tecnologia estratégica, com impacto direto sobre produtividade, defesa e soberania digital.
Mesmo que algumas companhias reduzam o ritmo, outras podem continuar avançando. Laboratórios menores, grupos acadêmicos, governos e empresas de países que não participem de acordos internacionais podem manter projetos próprios. Sem mecanismos verificáveis e regras amplamente aceitas, a desaceleração corre o risco de se transformar apenas em uma declaração de intenções.
Também há dúvidas sobre quem definiria o limite considerado “seguro”. Um sistema que parece controlável em testes pode apresentar comportamentos inesperados quando recebe acesso a redes, códigos, dados sensíveis ou ferramentas externas. Além disso, os riscos variam conforme a aplicação: um modelo usado para gerar textos não apresenta o mesmo perfil de ameaça que um agente capaz de operar sistemas corporativos ou executar ações autônomas.
As críticas do setor
Parte do Vale do Silício questiona se o discurso de segurança é totalmente altruísta. Críticos afirmam que empresas como Anthropic e OpenAI podem se beneficiar da criação de um ambiente regulatório mais rígido, pois regras complexas tendem a aumentar os custos de entrada e dificultar a competição de startups e laboratórios menores.
Jensen Huang, CEO da Nvidia, declarou em uma conferência que os grandes laboratórios estariam ampliando os alertas sobre segurança ao mesmo tempo que se preparam para lançar produtos voltados à cibersegurança. A afirmação alimentou a suspeita de que o debate também poderia estar ligado a interesses comerciais.
Clément Delangue, CEO da Hugging Face, argumentou que a segurança da IA não deveria ser decidida a portas fechadas por um pequeno grupo de empresas líderes. A preocupação ganhou peso após a Nvidia concordar em comprar a Hugging Face por US$ 12,9 bilhões, operação que evidenciou a concentração crescente de recursos e influência no setor.
O que uma desaceleração deveria incluir
Uma pausa efetiva não precisaria significar o congelamento de toda pesquisa. Poderia envolver limites temporários para o treinamento de modelos acima de determinada capacidade, auditorias independentes, testes obrigatórios antes do lançamento e regras claras para sistemas com acesso a ferramentas externas.
Outra medida importante seria a comunicação de incidentes. Empresas deveriam informar falhas relevantes, tentativas de evasão de controles e comportamentos inesperados sem receio de prejudicar sua reputação. Sem dados compartilhados, cada laboratório aprende isoladamente e os mesmos erros podem ser repetidos por concorrentes.
A governança também precisaria alcançar a infraestrutura. A fabricação de chips, o acesso a grandes centros de processamento e o consumo de energia são pontos mais fáceis de monitorar do que o código de um modelo. Controles sobre esses elementos poderiam ajudar governos a acompanhar projetos de maior escala sem proibir toda inovação.
Para usuários e empresas, a discussão reforça a necessidade de não tratar ferramentas de IA como funcionários autônomos e infalíveis. Sistemas que geram relatórios, escrevem código ou investigam alertas ainda precisam de permissões restritas, registros de atividade, revisão humana e mecanismos de desligamento.
No setor de segurança da informação, essa cautela é particularmente relevante. Agentes capazes de analisar vulnerabilidades, responder a incidentes e executar comandos podem aumentar a eficiência das equipes, mas também ampliar o impacto de um erro, de uma configuração inadequada ou de uma tentativa de manipulação.
Amodei reconhece que a inteligência artificial pode produzir benefícios expressivos, como acelerar descobertas científicas, contribuir para tratamentos médicos e impulsionar o crescimento econômico. O ponto defendido não é rejeitar esses ganhos, mas impedir que a busca por velocidade elimine a capacidade de avaliar as consequências.
A pergunta, portanto, não é apenas se a IA deve desacelerar, mas quem estará disposto a fazê-lo primeiro e como os demais participantes serão responsabilizados. Sem fiscalização, transparência e cooperação internacional, o apelo da Anthropic pode ter pouco efeito. Com regras verificáveis, auditorias e limites técnicos proporcionais ao risco, a proposta pode representar uma tentativa concreta de alinhar inovação e segurança antes que sistemas cada vez mais autônomos tornem essa tarefa muito mais difícil.