Завжди використовував GitHub Copilot для перегляду PR, адже GitHub автоматично запускає його, і здається, що це безкоштовно.

Але останні кілька переглядів змусили мене почати сумніватися, чи «розуміє» він взагалі, що саме бачить.

Наприклад, дуже базове питання: він досі вважає, що 1.82.0 вище за 1.91.1, що є типовою помилкою ранніх великих моделей у визначенні версій.

Якщо це проблема моделі, то він ще й вважає, що rust 1.91.1 ще не випущено, що показує, що здатність агента до пошуку та оцінки актуального стану теж залишає бажати кращого.

Ще одна більша проблема — це те, що перегляд Copilot явно базується на одному файлі.

Він добре перевіряє стиль коду та крайні випадки, але йому бракує глобального огляду. Наприклад, у одному PR агент через неправильний розрахунок відносних шляхів копіює один і той самий файл кілька разів, хоча фактично працює лише один — він зовсім не помітив таку проблему і навіть не цікавиться, що вимагає оригінальна issue, до якої прив’язаний PR.

На мою думку, кваліфікований агент для рецензування коду має спершу оцінювати все глобально:

Чи відповідає PR issue, чи відповідає цільовій задачі проекту, чи логічна структура файлів і архітектура, і вже потім — питання синтаксису та деталей.

Нещодавно я планую додати режим рецензента до holon.
А ви зараз справді використовуєте reviewer agent? Зазвичай який?