A Anthropic, empresa fundada por ex-funcionários da OpenAI preocupados com os perigos da IA, está flexibilizando o princípio fundamental de segurança em resposta à concorrência.
A Anthropic está adotando uma estrutura de segurança não vinculativa que, segundo a empresa, pode e irá mudar.
Em uma postagem no blog da companhia na terça-feira (24), detalhando a nova política, a Anthropic afirmou que as deficiências na Política de Escalabilidade Responsável, em vigor há dois anos, podem prejudicar a capacidade de competir em um mercado de IA em rápido crescimento.
O anúncio ocorre na mesma semana em que a Anthropic trava uma batalha significativa com o Pentágono dos Estados Unidos sobre as diretrizes da IA.
Não está claro se a mudança da Anthropic está relacionada à reunião de terça-feira (24) com o Secretário de Defesa dos EUA, Pete Hegseth, que deu um ultimato ao CEO da Anthropic, Dario Amodei, para que revogasse as medidas de segurança de IA da empresa ou corresse o risco de perder um contrato de US$ 200 milhões com o Pentágono. O Pentágono ameaçou colocar a Anthropic no que é, na prática, uma “lista negra do governo americano”.
Mas a empresa afirmou na publicação que a política de segurança anterior foi criada para gerar consenso na indústria em torno da mitigação dos riscos da IA – medidas que a indústria, segundo a companhia, ignorou completamente. A Anthropic também apontou que a política de segurança estava em desacordo com o atual clima político antirregrulamentação de Washington.
A política anterior da Anthropic estipulava que ela deveria pausar o treinamento de modelos mais poderosos se as capacidades destes ultrapassassem a capacidade da empresa de controlá-los e garantir a segurança – uma medida que foi removida na nova política. A Anthropic argumentou que desenvolvedores de IA responsáveis que pausam o crescimento enquanto agentes menos cuidadosos seguem em frente podem “resultar em um mundo menos seguro”.
Como parte da nova política, a Anthropic afirmou que irá separar os próprios planos de segurança das recomendações para a indústria de IA.
A Anthropic escreveu que esperava que os princípios de segurança originais “incentivassem outras empresas de IA a adotar políticas semelhantes”. “Essa é a ideia de uma ‘corrida para o topo’ (o oposto de uma ‘corrida para o fundo do poço’), na qual diferentes participantes do setor são incentivados a aprimorar, em vez de enfraquecer, as salvaguardas dos modelos e da postura geral de segurança”, destacou.
A empresa sugere que isso não tem acontecido agora. Um porta-voz da Anthropic não respondeu imediatamente a um pedido de comentário.
Nova política de segurança
A nova política de segurança da Anthropic inclui um “Roteiro de Segurança de Fronteira” que descreve as diretrizes e salvaguardas autoimpostas pela empresa. Mas a empresa reconheceu que a nova estrutura é mais flexível do que a política anterior.
“Em vez de compromissos rígidos, estes são objetivos públicos para os quais avaliaremos abertamente nosso progresso”, declarou a empresa.
A mudança ocorre um dia depois de o Secretário de Defesa dos EUA, Pete Hegseth, ter dado ao CEO da Anthropic, Dario Amodei, um prazo até sexta-feira (27) para reverter as medidas de segurança de IA da empresa, sob o risco de perder um contrato de US$ 200 milhões com o Pentágono e ser incluído no que é, na prática, uma “lista negra do governo”.
A Anthropic tem preocupações com duas questões que não está disposta a abandonar, de acordo com uma fonte familiarizada com a reunião da empresa com Hegseth: armas controladas por IA e vigilância doméstica em massa de cidadãos americanos. A Anthropic acredita que a IA não é confiável o suficiente para operar armas e que ainda não existem leis ou regulamentações que abranjam como a IA poderia ser usada em vigilância em massa, acrescentou a fonte.
Pesquisadores de IA aplaudiram a posição da Anthropic nas redes sociais na terça-feira (24) e expressaram preocupação com a ideia da IA ser usada para vigilância governamental.
A empresa sempre se posicionou como a empresa de IA que prioriza a segurança. A Anthropic publicou pesquisas mostrando como os próprios modelos de IA poderiam ser usados para chantagem sob certas condições. Recentemente, a empresa doou US$ 20 milhões para a Public First Action, um grupo político que defende salvaguardas e educação em IA.
Mas a empresa tem enfrentado crescente pressão e concorrência tanto do governo quanto de rivais. Hegseth, por exemplo, planeja invocar a Lei de Produção de Defesa contra a Anthropic e designá-la como um risco na cadeia de suprimentos caso não cumpra as exigências do Pentágono, informou a CNN na terça-feira (24). A OpenAI e a Anthropic também estão em uma corrida para lançar novas ferramentas de IA corporativas, em uma tentativa de conquistar o mercado de trabalho.
Jared Kaplan, diretor científico da Anthropic, sugeriu em uma entrevista à revista Time que a mudança foi feita em nome da segurança, mais do que do aumento da concorrência.
“Sentimos que não ajudaria ninguém se parássemos de treinar modelos de IA”, sinalizou Kaplan à revista. “Com o rápido avanço da IA, não nos pareceu sensato assumir compromissos unilaterais, se os concorrentes estão avançando a passos largos”.
*Hadas Gold, da CNN, contribuiu com esta matéria
