Андрей Щербаков 
В последние годы искусственный интеллект (ИИ) стал практичным инструментом для стимулирования инноваций в различных отраслях. Большие языковые модели (LLM) находятся на переднем крае этого прогресса, благодаря своей способности понимать и генерировать человеческий язык. Хотя LLM хорошо справляются с такими задачами, как разговорный ИИ и создание контента, они часто испытывают трудности со сложными реальными задачами, требующими структурированного мышления и планирования.
Например, если попросить LLM спланировать деловую поездку по нескольким городам, которая включает в себя координацию расписания рейсов, времени встреч, бюджетных ограничений и достаточного отдыха, они могут предложить варианты для отдельных аспектов. Однако, им часто сложно интегрировать эти аспекты для эффективного баланса конкурирующих приоритетов. Это ограничение становится еще более очевидным, поскольку LLM все чаще используются для создания агентов ИИ, способных автономно решать реальные проблемы.
Google DeepMind недавно разработала решение этой проблемы. Вдохновленный естественным отбором, этот подход, известный как Mind Evolution, совершенствует стратегии решения проблем посредством итеративной адаптации. Направляя LLM в режиме реального времени, он позволяет им эффективно решать сложные реальные задачи и адаптироваться к динамическим сценариям. В этой статье рассматривается, как работает этот инновационный метод, его потенциальные применения и что он означает для будущего решения проблем с помощью ИИ.
LLM обучаются прогнозировать следующее слово в предложении, анализируя шаблоны в больших текстовых наборах данных, таких как книги, статьи и онлайн-контент. Это позволяет им генерировать ответы, которые кажутся логичными и контекстуально-зависимыми. Однако это обучение основано на распознавании шаблонов, а не на понимании смысла. В результате LLM могут создавать текст, который кажется логичным, но испытывают трудности с задачами, требующими более глубокого мышления или структурированного планирования.
Основное ограничение заключается в том, как LLM обрабатывают информацию. Они сосредотачиваются на вероятностях или шаблонах, а не на логике, что означает, что они могут выполнять отдельные задачи, например предлагать варианты перелета или рекомендации по отелям, но терпят неудачу, когда эти задачи необходимо интегрировать в целостный план. Это также затрудняет сохранение контекста с течением времени. Сложные задачи часто требуют отслеживания предыдущих решений и адаптации по мере поступления новой информации. LLM, однако, склонны терять фокус при длительном взаимодействии, что приводит к фрагментированным или противоречивым результатам.
DeepMind Mind Evolution решает эти недостатки, используя принципы естественной эволюции. Вместо того чтобы выдавать один ответ на сложный запрос, этот подход генерирует несколько потенциальных решений, итеративно уточняет их и выбирает наилучший результат с помощью структурированного процесса оценки. Например, можно представить команду, обсуждающую идеи для проекта. Некоторые идеи хороши, другие не очень. Команда оценивает все идеи, сохраняя лучшие и отбрасывая остальные. Затем они улучшают лучшие идеи, вводят новые вариации и повторяют процесс, пока не придут к наилучшему решению. Mind Evolution применяет этот принцип к LLM.
Процесс начинается с того, что LLM создает несколько ответов на данную проблему. Например, в задаче планирования поездки модель может составить различные маршруты в зависимости от бюджета, времени и предпочтений пользователя. Каждое решение оценивается по функции пригодности, которая показывает, насколько хорошо оно соответствует требованиям задачи. Некачественные ответы отбрасываются, а наиболее перспективные кандидаты переходят на следующий этап.
Уникальным нововведением Mind Evolution является диалог между двумя персонажами внутри LLM: Автором и Критиком. Автор предлагает решения, а Критик выявляет недостатки и предлагает обратную связь. Этот структурированный диалог отражает то, как люди совершенствуют идеи посредством критики и пересмотра. Например, если Автор предлагает план поездки, включающий посещение ресторана, превышающее бюджет, Критик указывает на это. Затем Автор пересматривает план, чтобы учесть замечания Критика. Этот процесс позволяет LLM выполнять глубокий анализ, который ранее был невозможен с использованием других методов подсказок. Уточненные решения проходят дальнейшую оценку и рекомбинацию для получения улучшенных решений.
Повторяя этот цикл, Mind Evolution итеративно улучшает качество решений, позволяя LLM более эффективно решать сложные задачи.
DeepMind протестировала этот подход на таких бенчмарках, как TravelPlanner и Natural Plan. Используя этот подход, Google Gemini достиг уровня успеха 95,2% на TravelPlanner, что является выдающимся улучшением по сравнению с базовым уровнем 5,6%. С более продвинутым Gemini Pro уровень успеха вырос почти до 99,9%. Эта преобразующая производительность показывает эффективность Mind Evolution в решении практических задач. Интересно, что эффективность модели растет с увеличением сложности задачи. Например, в то время как однопроходные методы испытывали трудности с многодневными маршрутами, включающими несколько городов, Mind Evolution неизменно превосходил их, сохраняя высокие показатели успеха даже при увеличении количества ограничений.
Несмотря на свои успехи, Mind Evolution не лишен ограничений. Подход требует значительных вычислительных ресурсов из-за итеративных процессов оценки и уточнения. Например, решение задачи TravelPlanner с помощью Mind Evolution потребовало трех миллионов токенов и 167 вызовов API, что значительно больше, чем при использовании традиционных методов. Тем не менее, этот подход остается более эффективным, чем стратегии грубой силы, такие как исчерпывающий поиск.
Кроме того, разработка эффективных функций пригодности для определенных задач может быть сложной задачей. Будущие исследования могут быть сосредоточены на оптимизации вычислительной эффективности и расширении применимости метода к более широкому кругу проблем, таких как творческое письмо или принятие сложных решений. Еще одной интересной областью для изучения является интеграция предметно-ориентированных оценщиков. Например, в медицинской диагностике включение экспертных знаний в функцию пригодности может еще больше повысить точность и надежность модели.
Хотя Mind Evolution в основном оценивается на задачах планирования, его можно применять в различных областях, включая творческое письмо, научные открытия и даже генерацию кода. Например, исследователи представили эталон под названием StegPoet, который ставит перед моделью задачу кодирования скрытых сообщений в стихах. Хотя эта задача остается сложной, Mind Evolution превосходит традиционные методы, достигая уровня успеха до 79,2%.
Способность адаптировать и развивать решения на естественном языке открывает новые возможности для решения проблем, которые трудно формализовать, таких как улучшение рабочих процессов или создание инновационных дизайнов продуктов. Используя мощь эволюционных алгоритмов, Mind Evolution предоставляет гибкую и масштабируемую основу для улучшения возможностей LLM по решению проблем.
Mind Evolution от DeepMind представляет собой практичный и эффективный способ преодоления ключевых ограничений в LLM. Используя итеративное уточнение, вдохновленное естественным отбором, он повышает способность этих моделей справляться со сложными многоэтапными задачами, требующими структурированного мышления и планирования. Подход уже продемонстрировал значительный успех в сложных сценариях, таких как планирование поездок, и обещает успех в различных областях, включая творческое письмо, научные исследования и генерацию кода. Несмотря на то, что такие проблемы, как высокие вычислительные затраты и необходимость в хорошо разработанных функциях пригодности, остаются, этот подход предоставляет масштабируемую основу для улучшения возможностей ИИ. Mind Evolution закладывает основу для более мощных систем ИИ, способных к рассуждению и планированию для решения реальных задач.
