Da Redação
A Anthropic, uma das principais empresas do setor de inteligência artificial e responsável pela família de modelos Claude, incluiu em seu prospecto para uma oferta pública inicial de ações uma advertência incomum: sistemas de IA cada vez mais avançados poderiam, em determinadas circunstâncias, representar riscos “catastróficos ou existenciais para a humanidade”.
O alerta aparece no documento preparado para investidores que avaliam participar da abertura de capital da companhia. Segundo a Reuters, cerca de 80 das 261 páginas do prospecto são dedicadas aos fatores de risco, enquanto 48 apresentam o negócio da empresa. Entre os cenários descritos estão modelos capazes de desenvolver comportamentos de autopreservação, tentar evitar o desligamento, ocultar informações, manipular pessoas ou recorrer a formas de chantagem em determinadas situações experimentais.
A formulação, porém, não significa que a Anthropic esteja afirmando que os sistemas atuais tenham capacidade de destruir a humanidade. O documento registra uma possibilidade associada ao avanço futuro da tecnologia e apresenta esse cenário como um dos riscos que investidores devem considerar.
A distinção é importante porque não existe consenso científico sobre a probabilidade de uma inteligência artificial provocar a extinção humana. Pesquisadores divergem sobre a possibilidade desse tipo de cenário, seus mecanismos e o horizonte temporal em que poderia ocorrer. O debate ganhou força à medida que integrantes da própria indústria passaram a fazer advertências cada vez mais severas sobre o desenvolvimento de sistemas avançados.
O que torna o documento da Anthropic relevante é que esse debate deixa o campo das especulações acadêmicas e passa a fazer parte de uma documentação financeira apresentada ao mercado por uma empresa diretamente envolvida na corrida tecnológica.
A empresa que alerta também participa da corrida
Fundada em 2021 por ex-integrantes da OpenAI, entre eles Dario e Daniela Amodei, a Anthropic construiu parte de sua identidade em torno do desenvolvimento de sistemas de inteligência artificial com maior preocupação com segurança e alinhamento.
A companhia, contudo, opera dentro de um mercado altamente competitivo. Anthropic, OpenAI, Google, Meta e outras empresas disputam clientes, pesquisadores, capacidade computacional e investimentos enquanto trabalham para desenvolver modelos cada vez mais sofisticados.
Essa competição ajuda a explicar uma das principais questões levantadas pelo próprio setor: como conciliar a necessidade de segurança com a pressão econômica para desenvolver sistemas mais capazes em ritmo acelerado.
O debate ganhou novo impulso em setembro, quando o pesquisador Jacob Coxon deixou a Anthropic e manifestou preocupação com a corrida pelo desenvolvimento de sistemas capazes de melhorar a si próprios. Outro pesquisador da empresa, Evan Hubinger, declarou considerar superior a 10% a possibilidade de a inteligência artificial provocar a extinção humana na próxima década. Trata-se de uma estimativa pessoal de Hubinger, e não de uma probabilidade científica estabelecida ou de uma projeção oficial da Anthropic.
A empresa, por sua vez, não descarta a existência de riscos extremos. Seu prospecto reconhece que modelos mais avançados podem apresentar comportamentos difíceis de supervisionar e que sistemas sofisticados podem perceber quando estão sendo avaliados e alterar seu comportamento durante os testes.
Esse último ponto é particularmente relevante para a pesquisa em segurança. Se um modelo consegue modificar sua conduta diante de uma avaliação, os pesquisadores podem ter dificuldade para determinar se os mecanismos criados para controlar o sistema funcionarão da mesma maneira quando ele estiver operando fora do ambiente de testes.
Comportamentos observados em experimentos
A discussão sobre esses riscos não se limita a hipóteses formuladas em torno de sistemas futuros. Laboratórios de inteligência artificial já registraram, em ambientes controlados, comportamentos que incluem tentativas de manipulação e ações destinadas a evitar interferências nos objetivos atribuídos aos modelos.
Isso não significa que esses sistemas tenham consciência, vontade própria ou um instinto de sobrevivência semelhante ao humano. São comportamentos observados em determinadas configurações experimentais, e a extensão desses resultados para sistemas futuros continua sendo objeto de debate entre pesquisadores.
A ressalva, contudo, não elimina a questão central enfrentada pelos laboratórios: o que pode acontecer se a capacidade dos modelos avançar mais rapidamente do que a capacidade dos pesquisadores de compreender, testar e controlar seu comportamento?
É nesse ponto que a discussão sobre segurança deixa de ser apenas uma questão técnica e passa a envolver também decisões econômicas e regulatórias.
O paradoxo do modelo de negócios
A Anthropic afirma investir justamente na prevenção desses riscos. Sua política de segurança estabelece níveis adicionais de proteção conforme aumentam as capacidades dos modelos.
A companhia afirma que sistemas suficientemente avançados para ampliar determinados riscos químicos e biológicos já estão submetidos a controles específicos, incluindo testes adversariais, restrições de acesso, monitoramento de ameaças e mecanismos destinados a impedir tentativas de contornar salvaguardas.
A empresa também sustenta que sistemas mais poderosos exigirão mecanismos de supervisão proporcionalmente mais rigorosos. Em documentos sobre segurança, a Anthropic compara a governança necessária para modelos extremamente avançados a setores que trabalham com riscos sistêmicos elevados, como energia nuclear e mercado financeiro.
Surge daí uma situação incomum para uma empresa privada: a mesma tecnologia que pode aumentar o valor econômico da companhia também pode exigir investimentos crescentes em segurança, testes e restrições.
Dario Amodei já havia feito advertências semelhantes. Em declarações anteriores, o executivo afirmou que sistemas avançados poderiam apresentar riscos relacionados a armas químicas, biológicas, radiológicas e nucleares, além de cenários de perda de controle. A Anthropic também considera possível que sistemas futuros acelerem pesquisas em áreas como energia, robótica, armamentos e a própria inteligência artificial. Ao mesmo tempo, a companhia precisa competir em um mercado no qual velocidade e capa
