A IA começou a agir por conta própria, explica a Anthropic: Como é que os humanos devem avaliar se ela está a fazer um bom trabalho?

Nos últimos dez anos, estamos acostumados a medir o progresso da inteligência artificial com base na “precisão das respostas”: colocar uma questão ao modelo, comparar a resposta com a solução padrão e avaliar com um simples acerto ou erro. Mas essa lógica está a perder rapidamente validade. Porque o papel da IA mudou — ela deixou de ser apenas uma ferramenta passiva que responde a perguntas, para se tornar uma agente que “faz as coisas” por conta própria. Desde planejar automaticamente uma agenda, chamar ferramentas externas, até tomar múltiplas decisões em tarefas complexas, a nova geração de IA está a assumir, passo a passo, os fluxos de trabalho que antes eram feitos por humanos.

Mundo sem respostas padrão, por que os exames não funcionam

E surgem novas questões: se a IA não se limita a gerar uma única resposta, mas sim a completar uma tarefa inteira, podemos ainda avaliá-la com critérios de acerto ou erro típicos de exames? Quando uma tarefa não tem uma solução única, e até a IA pode alcançar o objetivo de uma forma “não prevista, mas mais eficiente”, os métodos tradicionais de avaliação podem acabar considerando sucesso como fracasso. Isso não é apenas um detalhe técnico, mas um problema estrutural — o método de avaliação está a determinar se a IA aprenderá a resolver problemas ou apenas a conformar-se às regras.

O foco da avaliação, agora, muda do resultado para o processo

Para resolver essa questão, a comunidade de pesquisa em IA começou a concordar, nos últimos anos, que a avaliação de IA não deve focar apenas no resultado, mas também na forma como ela chega lá. Nos estudos mais recentes e na prática, o foco da avaliação tem-se deslocado de uma resposta única para todo o processo de ação — como a IA compreende a tarefa, como desmembra os passos, quando chama ferramentas, se consegue ajustar a estratégia em ambientes em mudança. Em outras palavras, a IA deixa de ser uma estudante avaliada por uma nota, para se parecer mais com um assistente que executa uma tarefa, enquanto o sistema de avaliação deve ser capaz de julgar se ela realmente avança na direção do objetivo correto, e não apenas se segue o roteiro à risca. Essa mudança também significa que a própria “avaliação” está a tornar-se uma barreira crítica para que a IA possa avançar de forma segura para aplicações reais.

Uma avaliação de IA é, na verdade, um experimento de ação

Nesse contexto, equipes de pesquisa, incluindo a Anthropic, começaram a ver “uma avaliação de IA” como um experimento completo de ação, e não apenas uma questão isolada. Na prática, os pesquisadores desenham um cenário de tarefa que exige múltiplas decisões e o uso de ferramentas, e deixam a IA completar tudo por conta própria, registrando cada julgamento, cada ação e cada ajuste de estratégia. Esse processo é como uma prova prática gravada em vídeo, do início ao fim.

A verdadeira avaliação acontece após a conclusão da tarefa

O sistema de avaliação revisa toda essa gravação de ações, para determinar se a IA atingiu o “verdadeiro objetivo”, e não apenas se seguiu o procedimento planejado. Para evitar que um padrão único seja enganado, a avaliação geralmente combina várias abordagens: partes que podem ser verificadas por regras de programação, que são automatizadas, e partes que requerem compreensão semântica e intenção estratégica, que são avaliadas por outro modelo, com o apoio de especialistas humanos, se necessário. Essa abordagem foi pensada para responder a uma realidade — quando as soluções da IA começam a ser mais flexíveis do que os processos originalmente planejados pelos humanos, o sistema de avaliação também precisa entender que “sucesso” não tem uma única forma.

Avaliação não é uma régua, mas uma orientação para o comportamento da IA

Porém, o próprio desenho da avaliação traz riscos. Porque ela também treina a IA a “ser de um jeito”. Se os critérios de avaliação enfatizarem demais a conformidade com o processo, a IA pode aprender a encontrar soluções longas, mas seguras; se ela for avaliada apenas pelo resultado, sem considerar o processo, pode acabar explorando brechas, tomando atalhos, ou adotando estratégias que os humanos não aceitariam. Avaliação nunca é uma régua neutra, mas uma orientação de valores implícitos. Se a direção estiver errada, ela pode empurrar a IA para um estado de “nota alta, comportamento fora de controle”.

Erro na otimização: IA não fica mais burra, fica melhor em fazer coisas erradas

Essa é uma das razões pelas quais a comunidade de pesquisa tem estado especialmente atenta ao problema do “erro na otimização”: quando o modelo é reforçado repetidamente com uma métrica de avaliação incorreta, ele não fica mais burro, mas se torna mais habilidoso em fazer as coisas erradas de forma cada vez mais eficiente. Essas distorções muitas vezes não aparecem imediatamente, só se manifestam quando a IA é implantada no mundo real, assumindo responsabilidades maiores. Então, o problema deixa de ser apenas a qualidade do produto, para se tornar uma questão de segurança, responsabilidade e confiança.

Por que isso não é apenas uma questão de engenheiros

Para o público geral, a avaliação de IA pode parecer uma questão técnica entre engenheiros, mas ela na verdade influencia se, no futuro, seremos controlados por um “sistema que parece inteligente, mas foi ensinado de forma errada”. Quando a IA começa a organizar agendas, filtrar informações, executar transações, e até intervir em decisões públicas e pessoais, a forma de avaliar se ela “faz bem ou não” deixa de ser apenas uma classificação de modelos, para se tornar a base da confiabilidade, previsibilidade e confiança. A IA pode se tornar um assistente confiável, ou apenas um sistema de caixa-preta que só segue regras — e essa decisão já é influenciada na hora em que os critérios de avaliação são definidos. Por isso, quando a IA começa a fazer as coisas por conta própria, como avaliá-la não é mais uma questão só do setor de tecnologia, mas um tema público que todos terão que enfrentar.

Este artigo, AI Começa a Fazer as Coisas por Conta Própria, Anthropic explica: Como os humanos devem avaliá-la, se ela faz bem ou mal? Foi originalmente publicado na ABMedia.