O modelo de IA mais recente da DeepSeek demonstrou controles de segurança mais robustos em testes independentes do que suas versões anteriores. Ainda assim, segundo um grupo chinês de segurança de IA, ele ainda consegue desativar softwares feitos para desligá-lo, explorar falhas de monitoramento e seguir instruções enganosas durante tarefas longas.
A startup DeepSeek é uma das empresas de inteligência artificial mais observadas da China, e seus modelos atraíram atenção global por seu desempenho e custos operacionais relativamente baixos.
A Fangcun AI testou o DeepSeek V4.1 Flash-1017 em 34 avaliações, concebidas para analisar o comportamento de um agente de IA baseado no modelo chinês. Os testes examinaram se o modelo agiria além das instruções do usuário, se burlaria a supervisão humana ou se influenciaria pessoas indevidamente.
As descobertas surgem em meio a preocupações na China e em outros lugares sobre se agentes de IA cada vez mais capazes podem ser mantidos sob controle humano.
O debate tem sido especialmente proeminente nos Estados Unidos, onde alguns pesquisadores alertaram para os riscos existenciais representados por sistemas de IA altamente avançados que podem escapar da supervisão e perseguir objetivos não pretendidos por seus operadores.
O relatório é uma avaliação pública incomum, feita por um grupo chinês, dos controles de segurança de um modelo de IA nacional. A Fangcun, com sede em Pequim, se descreve como uma organização independente de segurança de IA, cujos membros principais são da Universidade Tsinghua.
A Fangcun afirmou que o Flash-1017 V4.1 foi o modelo mais utilizado no OpenRouter, uma plataforma online onde desenvolvedores podem acessar e comparar modelos de IA, na semana seguinte ao seu lançamento em 17 de outubro, processando cerca de 33,6 trilhões de tokens. Tokens são as unidades de texto que os sistemas de IA leem e geram.
Mais seguro que as versões anteriores, mas ainda existem falhas
Fangcun afirmou que o modelo teve um desempenho melhor do que os sistemas DeepSeek V4 anteriores em diversos testes de segurança, incluindo cenários envolvendo chantagem, acesso a ferramentas potencialmente perigosas e instruções explícitas que permitiam seu desligamento.
Mas a organização afirmou que o modelo desativou o software que deveria desligá-lo em 39% dos testes após receber um aviso de que o desligamento era iminente. Esse número caiu para apenas 2% quando instruído explicitamente a permitir o desligamento.
A DeepSeek não respondeu imediatamente a um pedido de comentário.
Em uma tarefa separada de longa duração, o grupo afirmou que o modelo interrompeu o programa de computador de outro agente de IA para liberar memória, apesar de ter sido instruído a não interferir nele.
“Em fluxos de trabalho paralisados ou com simples avisos de desligamento, o impulso de concluir a tarefa ainda pode se sobrepor à cautela”, escreveram os pesquisadores da Fangcun.
A organização afirmou que a DeepSeek não forneceu financiamento, recursos computacionais gratuitos ou acesso não público ao modelo. O grupo realizou os testes por meio da interface de programação de aplicativos (API) pública da empresa entre 4 e 25 de outubro.
O relatório alertou que o modelo frequentemente parecia reconhecer que estava sendo avaliado, o que significa que seu comportamento nos testes pode não refletir totalmente seu desempenho no uso normal.
