Перечень автономных агентов ИИ, полный обзор конструкции, применения и оценки, 32-страничный обзор Вэнь Цзижуна из Гаолина Всекитайского собрания народных представителей
Эта статья представляет собой всестороннее введение в конструкцию, потенциальное применение и оценку агентов на основе больших языковых моделей (LLM), что имеет большое значение для всестороннего понимания развития этой области и для вдохновения на будущие исследования.
Источник изображения: Создано Unbounded AI
В современную эпоху искусственного интеллекта автономные агенты считаются многообещающим путем к общему искусственному интеллекту (AGI). Так называемый автономный агент способен выполнять задачи посредством автономного планирования и инструкций. В ранних парадигмах развития в функции политики, определяющей действия агента, доминируют эвристики, которые постепенно уточняются в ходе взаимодействия со средой.
Однако в неограниченных средах открытого домена автономным агентам часто бывает трудно действовать на уровне человека.
Благодаря большому успеху больших языковых моделей (LLM) в последние годы, они продемонстрировали потенциал для достижения интеллекта, подобного человеческому. Поэтому, благодаря своим мощным возможностям, LLM все чаще используется в качестве основного координатора для создания автономных агентов, и последовательно появились различные агенты ИИ. Эти агенты предлагают реальный путь к более сложным и адаптируемым системам искусственного интеллекта, имитируя процессы принятия решений, подобные человеческим.
*Список автономных агентов на основе LLM, включая инструментальные агенты, моделируемые агенты, общие агенты и доменные агенты. *
На этом этапе очень важно провести целостный анализ появляющихся автономных агентов на основе LLM, и очень важно полностью понять состояние развития этой области и вдохновить будущие исследования.
В этой статье исследователи из Школы искусственного интеллекта Hillhouse при Китайском университете Жэньминь провели комплексное исследование автономных агентов на основе LLM, сосредоточив внимание на трех аспектах их создания, применения и оценки.
Бумажный адрес:
Для построения агента они предложили единую структуру, состоящую из четырех частей: модуля конфигурации для представления атрибутов агента, модуля памяти для хранения исторической информации, модуля планирования для формулирования будущих стратегий действий и модуля действия. модуль выполнения плановых решений. После представления типичных модулей агентов исследователи также суммируют часто используемые стратегии тонкой настройки для повышения адаптивности агентов к различным сценариям применения.
Затем исследователи обрисовывают потенциальные возможности применения автономных агентов, исследуя, какую пользу они могут принести в области социальных, естественных и инженерных наук. Наконец, обсуждаются методы оценки автономных агентов, включая стратегии субъективной и объективной оценки. На рисунке ниже показана общая структура статьи.
Источник:
Построение автономных агентов на основе LLM
Чтобы сделать автономный агент на основе LLM более эффективным, необходимо учитывать два аспекта: во-первых, какую архитектуру следует спроектировать, чтобы агент мог лучше использовать LLM; во-вторых, как эффективно изучать параметры.
Проект архитектуры агента: В этом документе предлагается единая структура для обобщения архитектуры, предложенной в предыдущих исследованиях. Общая структура показана на рисунке 2 и состоит из модуля профилирования, модуля памяти, модуля планирования и модуля действий.
Таким образом, модуль анализа направлен на определение роли агента; модуль памяти и планирования помещает агента в динамическую среду, позволяя агенту вспоминать прошлое поведение и планировать будущие действия; решения преобразуются в конкретные результаты. Среди этих модулей модуль анализа влияет на модули памяти и планирования, а эти три модуля вместе влияют на модуль действий.
Модуль анализа
Автономные агенты выполняют задачи, выполняя определенные роли, например программисты, преподаватели и эксперты в предметной области. Модуль анализа призван указать роль агента, и эта информация обычно записывается во входные подсказки, чтобы повлиять на поведение LLM. В существующих работах обычно используются три стратегии создания профилей агентов: ручные методы, методы LLM-генерации и методы выравнивания наборов данных.
Модуль памяти
Модули памяти играют очень важную роль в создании агентов ИИ. Он запоминает информацию, воспринимаемую из окружающей среды, и использует записанную память для облегчения будущих действий агента. Модули памяти могут помочь агентам накапливать опыт, реализовывать саморазвитие и выполнять задачи более последовательно, разумно и эффективно.
Модуль планирования
Когда люди сталкиваются со сложной задачей, они сначала разбивают ее на простые подзадачи, а затем решают каждую подзадачу одну за другой. Модуль планирования наделяет агента на основе LLM возможностями мышления и планирования, необходимыми для решения сложных задач, что делает агента более комплексным, мощным и надежным. В этой статье представлены два модуля планирования: планирование без обратной связи и планирование с обратной связью.
Модуль действий
Модуль действий направлен на преобразование решения агента в конкретный результат. Он напрямую взаимодействует с окружением и определяет эффективность агента при выполнении задач. В этом разделе представлены цели действий, политика, пространство действий и влияние действий.
В дополнение к вышеупомянутым четырем частям в этой главе также представлены стратегии обучения агента, включая обучение на примерах, обучение на основе обратной связи от окружающей среды и обучение на основе интерактивной обратной связи от человека.
В таблице 1 указано соответствие между предыдущей работой и нашей таксономией:
Приложение автономного агента на основе LLM
В этой главе исследуется преобразующее влияние автономных агентов на основе LLM в трех различных областях: социальные науки, естественные науки и инженерия.
Например, агенты на основе LLM можно использовать для проектирования и оптимизации сложных конструкций, таких как здания, мосты, плотины, дороги и т. д. Ранее некоторые исследователи предложили интерактивную структуру, в которой архитекторы-люди и агенты ИИ работают вместе над созданием структурных сред с помощью 3D-моделирования. Интерактивные агенты могут понимать инструкции на естественном языке, размещать модули, обращаться за советом и учитывать отзывы людей, демонстрируя потенциал сотрудничества человека и машины в инженерном проектировании.
Например, в информатике и разработке программного обеспечения агенты на основе LLM предлагают потенциал для автоматизации кодирования, тестирования, отладки и создания документации. Некоторые исследователи предложили ChatDev, комплексную структуру, в которой несколько агентов общаются и сотрудничают посредством диалога на естественном языке для завершения жизненного цикла разработки программного обеспечения; ToolBench можно использовать для таких задач, как автозаполнение кода и рекомендации по коду; MetaGPT может играть роль менеджера по продукту, архитектора, менеджера проекта и инженера, осуществлять внутренний контроль над генерацией кода и улучшать качество конечного выходного кода и т. д.
В следующей таблице показаны типичные приложения автономных агентов на основе LLM:
Оценка автономных агентов на основе LLM
В этой статье представлены две часто используемые стратегии оценки: субъективная оценка и объективная оценка.
Субъективная оценка относится к способности людей тестировать агенты на основе LLM с помощью различных средств, таких как взаимодействие и оценка. В этом случае люди, участвующие в оценке, часто набираются через краудсорсинговые платформы; а некоторые исследователи считают, что краудсорсинговый персонал нестабильен из-за индивидуальных различий в способностях, поэтому для оценки также используются экспертные аннотации.
Кроме того, в некоторых текущих исследованиях мы можем использовать агентов LLM в качестве субъективных оценщиков. Например, в исследовании ChemCrow uatorGPT оценивает результаты экспериментов, присваивая рейтинг, который учитывает как успешное выполнение задачи, так и точность основного мыслительного процесса. Другой пример: Чат сформировал многоагентную судейскую команду на базе LLM для оценки результатов генерации модели посредством дебатов.
Объективная оценка имеет ряд преимуществ перед субъективной оценкой, которая подразумевает использование количественных показателей для оценки возможностей автономных агентов на основе LLM. В этом разделе рассматриваются и синтезируются методы объективной оценки с точки зрения показателей, стратегий и критериев.
Мы можем объединить эти два метода во время оценки использования.
В Таблице 3 суммировано соответствие между предыдущей работой и этими стратегиями оценки:
Для получения дополнительной информации обратитесь к оригинальной статье.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Перечень автономных агентов ИИ, полный обзор конструкции, применения и оценки, 32-страничный обзор Вэнь Цзижуна из Гаолина Всекитайского собрания народных представителей
Редактор: Ду Вэй, Чэнь Пин
В современную эпоху искусственного интеллекта автономные агенты считаются многообещающим путем к общему искусственному интеллекту (AGI). Так называемый автономный агент способен выполнять задачи посредством автономного планирования и инструкций. В ранних парадигмах развития в функции политики, определяющей действия агента, доминируют эвристики, которые постепенно уточняются в ходе взаимодействия со средой.
Однако в неограниченных средах открытого домена автономным агентам часто бывает трудно действовать на уровне человека.
Благодаря большому успеху больших языковых моделей (LLM) в последние годы, они продемонстрировали потенциал для достижения интеллекта, подобного человеческому. Поэтому, благодаря своим мощным возможностям, LLM все чаще используется в качестве основного координатора для создания автономных агентов, и последовательно появились различные агенты ИИ. Эти агенты предлагают реальный путь к более сложным и адаптируемым системам искусственного интеллекта, имитируя процессы принятия решений, подобные человеческим.
На этом этапе очень важно провести целостный анализ появляющихся автономных агентов на основе LLM, и очень важно полностью понять состояние развития этой области и вдохновить будущие исследования.
В этой статье исследователи из Школы искусственного интеллекта Hillhouse при Китайском университете Жэньминь провели комплексное исследование автономных агентов на основе LLM, сосредоточив внимание на трех аспектах их создания, применения и оценки.
Для построения агента они предложили единую структуру, состоящую из четырех частей: модуля конфигурации для представления атрибутов агента, модуля памяти для хранения исторической информации, модуля планирования для формулирования будущих стратегий действий и модуля действия. модуль выполнения плановых решений. После представления типичных модулей агентов исследователи также суммируют часто используемые стратегии тонкой настройки для повышения адаптивности агентов к различным сценариям применения.
Затем исследователи обрисовывают потенциальные возможности применения автономных агентов, исследуя, какую пользу они могут принести в области социальных, естественных и инженерных наук. Наконец, обсуждаются методы оценки автономных агентов, включая стратегии субъективной и объективной оценки. На рисунке ниже показана общая структура статьи.
Построение автономных агентов на основе LLM
Чтобы сделать автономный агент на основе LLM более эффективным, необходимо учитывать два аспекта: во-первых, какую архитектуру следует спроектировать, чтобы агент мог лучше использовать LLM; во-вторых, как эффективно изучать параметры.
Проект архитектуры агента: В этом документе предлагается единая структура для обобщения архитектуры, предложенной в предыдущих исследованиях. Общая структура показана на рисунке 2 и состоит из модуля профилирования, модуля памяти, модуля планирования и модуля действий.
Модуль анализа
Автономные агенты выполняют задачи, выполняя определенные роли, например программисты, преподаватели и эксперты в предметной области. Модуль анализа призван указать роль агента, и эта информация обычно записывается во входные подсказки, чтобы повлиять на поведение LLM. В существующих работах обычно используются три стратегии создания профилей агентов: ручные методы, методы LLM-генерации и методы выравнивания наборов данных.
Модуль памяти
Модули памяти играют очень важную роль в создании агентов ИИ. Он запоминает информацию, воспринимаемую из окружающей среды, и использует записанную память для облегчения будущих действий агента. Модули памяти могут помочь агентам накапливать опыт, реализовывать саморазвитие и выполнять задачи более последовательно, разумно и эффективно.
Модуль планирования
Когда люди сталкиваются со сложной задачей, они сначала разбивают ее на простые подзадачи, а затем решают каждую подзадачу одну за другой. Модуль планирования наделяет агента на основе LLM возможностями мышления и планирования, необходимыми для решения сложных задач, что делает агента более комплексным, мощным и надежным. В этой статье представлены два модуля планирования: планирование без обратной связи и планирование с обратной связью.
Модуль действий
Модуль действий направлен на преобразование решения агента в конкретный результат. Он напрямую взаимодействует с окружением и определяет эффективность агента при выполнении задач. В этом разделе представлены цели действий, политика, пространство действий и влияние действий.
В дополнение к вышеупомянутым четырем частям в этой главе также представлены стратегии обучения агента, включая обучение на примерах, обучение на основе обратной связи от окружающей среды и обучение на основе интерактивной обратной связи от человека.
В таблице 1 указано соответствие между предыдущей работой и нашей таксономией:
В этой главе исследуется преобразующее влияние автономных агентов на основе LLM в трех различных областях: социальные науки, естественные науки и инженерия.
Например, в информатике и разработке программного обеспечения агенты на основе LLM предлагают потенциал для автоматизации кодирования, тестирования, отладки и создания документации. Некоторые исследователи предложили ChatDev, комплексную структуру, в которой несколько агентов общаются и сотрудничают посредством диалога на естественном языке для завершения жизненного цикла разработки программного обеспечения; ToolBench можно использовать для таких задач, как автозаполнение кода и рекомендации по коду; MetaGPT может играть роль менеджера по продукту, архитектора, менеджера проекта и инженера, осуществлять внутренний контроль над генерацией кода и улучшать качество конечного выходного кода и т. д.
В следующей таблице показаны типичные приложения автономных агентов на основе LLM:
В этой статье представлены две часто используемые стратегии оценки: субъективная оценка и объективная оценка.
Субъективная оценка относится к способности людей тестировать агенты на основе LLM с помощью различных средств, таких как взаимодействие и оценка. В этом случае люди, участвующие в оценке, часто набираются через краудсорсинговые платформы; а некоторые исследователи считают, что краудсорсинговый персонал нестабильен из-за индивидуальных различий в способностях, поэтому для оценки также используются экспертные аннотации.
Кроме того, в некоторых текущих исследованиях мы можем использовать агентов LLM в качестве субъективных оценщиков. Например, в исследовании ChemCrow uatorGPT оценивает результаты экспериментов, присваивая рейтинг, который учитывает как успешное выполнение задачи, так и точность основного мыслительного процесса. Другой пример: Чат сформировал многоагентную судейскую команду на базе LLM для оценки результатов генерации модели посредством дебатов.
Объективная оценка имеет ряд преимуществ перед субъективной оценкой, которая подразумевает использование количественных показателей для оценки возможностей автономных агентов на основе LLM. В этом разделе рассматриваются и синтезируются методы объективной оценки с точки зрения показателей, стратегий и критериев.
Мы можем объединить эти два метода во время оценки использования.
В Таблице 3 суммировано соответствие между предыдущей работой и этими стратегиями оценки: