Tenho usado o GitHub Copilot para revisar PRs, afinal o GitHub faz a revisão automática e parece não cobrar por isso.

Mas nas últimas revisões, comecei a duvidar do que exatamente ele "entende".

Por exemplo, um problema bem básico: ele ainda considera que 1.82.0 é maior que 1.91.1, uma falha comum de versões em modelos antigos.

Se isso fosse um problema do modelo, ele também acharia que rust 1.91.1 ainda não foi lançado, o que revela que a capacidade de busca e avaliação do estado real do agent também não é lá essas coisas.

Outro problema maior é: a revisão do Copilot claramente é feita por arquivo.

Ele consegue verificar o estilo de código e condições de borda razoavelmente bem, mas falta uma visão global. Por exemplo, em um PR, o agent por calcular mal o caminho relativo, duplicou o mesmo arquivo várias vezes, quando na verdade só uma versão deveria estar ativa — ele não percebeu esse problema, e nem se importa com o que a issue original do PR pede.

Na minha opinião, um agent de revisão de código qualificado deve primeiramente fazer uma avaliação global:

Se o PR atende à issue, se está alinhado com os objetivos do projeto, se a estrutura de arquivos e arquitetura fazem sentido, e só depois verificar questões de sintaxe e detalhes.

Recentemente, estou pensando em adicionar um modo de reviewer ao holon.
Vocês estão realmente usando um agent de revisão agora? Geralmente, qual usam?