Agent Laboratory: ускорение науки за счет сотрудничества человека и ИИ

Пока все обсуждают ИИ-агентов и автоматизацию, компания AMD и Университет Джонса Хопкинса работают над улучшением взаимодействия людей и ИИ в исследованиях. Их новая открытая платформа, Agent Laboratory, полностью переосмысляет то, как научные исследования могут быть ускорены за счет сотрудничества человека и ИИ.

После изучения многочисленных фреймворков для исследований в области ИИ, Agent Laboratory выделяется своим практическим подходом. Вместо того, чтобы пытаться заменить человеческих исследователей (как это делают многие существующие решения), она сосредоточена на увеличении их возможностей, беря на себя времязатратные аспекты исследований, при этом оставляя людей в главной роли.

Основная инновация здесь проста, но мощна: вместо того чтобы стремиться к полностью автономным исследованиям (что часто приводит к сомнительным результатам), Agent Laboratory создает виртуальную лабораторию, где несколько специализированных ИИ-агентов работают вместе, каждый управляя разными аспектами исследовательского процесса, оставаясь при этом под руководством человека.

Представьте себе Agent Laboratory как хорошо организованную исследовательскую группу, в которой ИИ-агенты играют специализированные роли. Подобно реальной исследовательской лаборатории, каждый агент имеет свои конкретные обязанности и экспертизу:

— Агент PhD занимается обзором литературы и планированием исследований.

— Постдокторы помогают уточнять экспериментальные подходы.

— Инженеры по машинному обучению занимаются технической реализацией.

— Профессора оценивают и проверяют результаты исследований.

Что делает эту систему особенно интересной, так это ее рабочий процесс. В отличие от традиционных инструментов ИИ, которые работают в изоляции, Agent Laboratory создает совместную среду, где эти агенты взаимодействуют и развивают работу друг друга.

Процесс идет в естественном порядке исследования:

— Обзор литературы: Агент PhD просматривает академические статьи с использованием API arXiv, собирая и организуя соответствующие исследования.

— Формулирование плана: Агенты PhD и постдокторы объединяются для создания подробных исследовательских планов.

— Реализация: Инженеры по машинному обучению пишут и тестируют код.

— Анализ и документация: Команда совместно интерпретирует результаты и генерирует обширные отчеты.

Но вот где это становится действительно практичным: фреймворк является вычислительно гибким, что означает, что исследователи могут выделять ресурсы в зависимости от доступа к вычислительной мощности и бюджетных ограничений. Это делает его инструментом, разработанным для реальных исследовательских условий.

Фактор человеческого участия: где ИИ встречается с экспертизой

Хотя Agent Laboratory обладает впечатляющими возможностями автоматизации, настоящая магия происходит в том, что они называют режимом «ко-пилота». В этом режиме исследователи могут предоставлять обратную связь на каждом этапе процесса, создавая подлинное сотрудничество между человеческой экспертизой и помощью ИИ.

Данные обратной связи в режиме ко-пилота дают некоторые увлекательные результаты. В автономном режиме статьи, сгенерированные Agent Laboratory, получили в среднем 3.8/10 по оценке людей. Но когда исследователи участвовали в режиме ко-пилота, эти оценки увеличились до 4.38/10. Особенно интересно, что эти улучшения проявились в том, что статьи оценивались значительно выше по ясности (+0.23) и презентации (+0.33).

Но вот реальность: даже с участием людей эти статьи по-прежнему получили на 1.45 балла ниже среднего принятого документа NeurIPS (который составляет 5.85). Это не провал, но это важный урок о том, как ИИ и человеческая экспертиза должны дополнять друг друга.

Оценка также выявила еще кое-что интересное: рецензенты ИИ последовательно оценивали статьи на 2.3 балла выше, чем человеческие рецензенты. Этот разрыв подчеркивает, почему человеческий контроль остается важным при оценке исследований.

Анализируем цифры

Что действительно важно в исследовательской среде? Стоимость и производительность. Подход Agent Laboratory к сравнению моделей демонстрирует некоторые удивительные повышения эффективности в этом отношении.

GPT-4o стал чемпионом по скорости, завершив весь рабочий процесс всего за 1 165,4 секунды – это в 3,2 раза быстрее, чем o1-mini, и в 5,3 раза быстрее, чем o1-preview. Но что еще более важно, так это то, что стоимость составляет всего $2,33 за статью. По сравнению с предыдущими методами автономных исследований, которые стоили около $15, мы наблюдаем сокращение затрат на 84%.

Что касается производительности моделей:

• o1-preview получил наивысшие оценки за полезность и ясность
• o1-mini достиг лучших баллов в экспериментальном качестве
• GPT-4o отставал по метрикам, но лидировал по стоимости

Реальные последствия здесь значительны.

Исследователи теперь могут выбирать свой подход в зависимости от своих конкретных потребностей:

• Нужен быстрый прототип? GPT-4o предлагает скорость и экономию
• Приоритизируете экспериментальное качество? o1-mini может быть вашим наилучшим выбором
• Ищете самый лучший результат? o1-preview многообещающ

Эта гибкость означает, что исследовательские группы могут адаптировать структуру под свои ресурсы и требования, а не быть привязанными к универсальному решению.

Новая глава в исследованиях

После изучения возможностей и результатов Agent Laboratory, есть уверенность, что мы наблюдаем значительный сдвиг в том, как будут проводиться исследования. Но это не нарратив замены, который часто доминирует в заголовках – это нечто гораздо более тонкое и мощное.

Хотя статьи Agent Laboratory пока не достигают стандартов лучших конференций сами по себе, они создают новую парадигму для ускорения исследований. Думайте об этом как о команде ИИ-ассистентов по исследованиям, которые никогда не спят, каждый из которых специализируется на разных аспектах научного процесса.

Последствия для исследователей глубоки:

• Время, затрачиваемое на обзоры литературы и базовое кодирование, может быть перераспределено на креативные идеи
• Идеи для исследований, которые могли быть отложены из-за ограничений ресурсов, становятся жизнеспособными
• Способность быстро прототипировать и тестировать гипотезы может привести к более быстрым прорывам

Текущие ограничения, такие как разрыв между оценками ИИ и человеческими, являются возможностями. Каждая итерация этих систем приближает нас к более сложному исследовательскому сотрудничеству между людьми и ИИ.

Глядя вперед, можно увидеть три ключевых момента, которые могут изменить научное открытие:

1. Будут возникать более сложные модели сотрудничества между человеком и ИИ по мере того, как исследователи будут учиться эффективно использовать эти инструменты
2. Экономия времени и затрат может демократизировать исследования, позволяя более мелким лабораториям и учреждениям осуществлять более амбициозные проекты
3. Возможности быстрого прототипирования могут привести к более экспериментальным подходам в исследованиях

Ключ к максимизации этого потенциала? Понимание того, что Agent Laboratory и подобные структуры являются инструментами для усиления, а не автоматизации. Будущее исследований не заключается в выборе между человеческой экспертизой и возможностями ИИ – оно заключается в поиске инновационных способов их сочетания.