Андрей Щербаков 
В последнее время заголовки новостей пестрят сообщениями о прорывных достижениях моделей искусственного интеллекта, бьющих рекорды в различных тестах. Начиная от задач распознавания изображений в ImageNet и заканчивая сверхчеловеческими результатами в переводе и медицинской диагностике, бенчмарки долгое время считались золотым стандартом измерения производительности ИИ. Однако, какими бы впечатляющими ни были эти цифры, они не всегда отражают сложность реальных приложений. Модель, безупречно работающая в рамках эталонного теста, может оказаться несостоятельной при столкновении с реальными условиями эксплуатации.
На протяжении многих лет бенчмарки составляли основу оценки ИИ. Они предлагают статические наборы данных, предназначенные для измерения конкретных задач, таких как распознавание объектов или машинный перевод. Например, ImageNet широко используется для тестирования классификации объектов, а метрики BLEU и ROUGE оценивают качество машинного перевода, сравнивая его с эталонными текстами, написанными человеком. Эти стандартизированные тесты позволяют исследователям сравнивать прогресс и стимулируют здоровую конкуренцию в отрасли. Бенчмарки сыграли ключевую роль в достижении значительных успехов, например, конкурс ImageNet способствовал революции в глубоком обучении, продемонстрировав существенное улучшение точности.
Тем не менее, бенчмарки часто упрощают действительность. Поскольку модели ИИ обычно обучаются для улучшения выполнения одной четко определенной задачи в фиксированных условиях, это может привести к чрезмерной оптимизации. Для достижения высоких баллов модели могут полагаться на закономерности в наборе данных, которые не существуют за пределами этого теста. Известен пример модели компьютерного зрения, обученной отличать волков от хаски. Вместо того чтобы научиться различать характерные черты животных, модель ориентировалась на наличие снежного фона, часто ассоциирующегося с волками в обучающих данных. В результате, когда модели показали хаски на снегу, она уверенно ошибочно классифицировала ее как волка. Это демонстрирует, как «подгонка» под бенчмарк может привести к созданию ошибочных моделей. Согласно закону Гудхарта, когда показатель становится целью, он перестает быть хорошим показателем. Таким образом, когда баллы в бенчмарках становятся самоцелью, модели ИИ иллюстрируют этот закон: они показывают впечатляющие результаты в рейтингах, но испытывают трудности при решении реальных проблем.
Одно из главных ограничений бенчмарков заключается в том, что они часто не способны уловить то, что действительно важно для людей. Возьмем машинный перевод. Модель может получить высокий балл по метрике BLEU, которая измеряет степень совпадения между машинным переводом и эталонным. Хотя эта метрика может оценить правдоподобность перевода с точки зрения совпадения слов, она не учитывает беглость речи или смысл. Перевод может получить низкую оценку, несмотря на то, что он более естественен или даже более точен, просто потому, что в нем использовались другие формулировки, чем в эталоне. Однако пользователей волнует смысл и беглость перевода, а не только точное совпадение с образцом. Та же проблема касается и суммирования текстов: высокий балл по ROUGE не гарантирует, что резюме будет связным или отразит ключевые моменты, которые ожидает увидеть читатель.
Для генеративных моделей ИИ проблема становится еще сложнее. Например, большие языковые модели (LLM) обычно оцениваются по бенчмарку MMLU, чтобы проверить их способность отвечать на вопросы в различных областях. Хотя этот тест может помочь оценить производительность LLM в ответах на вопросы, он не гарантирует надежности. Эти модели все еще могут «галлюцинировать», представляя ложные, но правдоподобно звучащие факты. Этот недостаток трудно обнаружить с помощью бенчмарков, которые фокусируются на правильных ответах, не оценивая правдивость, контекст или связность. В одном широко освещавшемся случае ИИ-ассистент, использованный для составления юридической справки, сослался на полностью вымышленные судебные дела. Искусственный интеллект может выглядеть убедительно на бумаге, но не соответствовать базовым человеческим ожиданиям в отношении правдивости.
Статические бенчмарки оценивают производительность ИИ в контролируемых условиях, но реальные сценарии непредсказуемы. Например, разговорный ИИ может превосходно справляться с одноэтапными вопросами по сценарию в рамках теста, но испытывать трудности в многоэтапном диалоге, включающем уточнения, сленг или опечатки. Аналогично, беспилотные автомобили часто хорошо проходят тесты на обнаружение объектов в идеальных условиях, но дают сбой в необычных обстоятельствах, таких как плохое освещение, неблагоприятные погодные условия или неожиданные препятствия. Например, дорожный знак «стоп», измененный с помощью наклеек, может сбить с толку систему компьютерного зрения автомобиля, что приведет к неверной интерпретации. Эти примеры подчеркивают, что статические бенчмарки не позволяют надежно измерить сложности реального мира.
Традиционные бенчмарки часто не в состоянии оценить этическую производительность ИИ. Модель распознавания изображений может достигать высокой точности, но неправильно идентифицировать людей из определенных этнических групп из-за предвзятых обучающих данных. Точно так же языковые модели могут хорошо справляться с грамматикой и беглостью речи, но при этом генерировать предвзятый или вредоносный контент. Эти проблемы, которые не отражаются в метриках бенчмарков, имеют серьезные последствия в реальных приложениях.
Бенчмарки отлично справляются с проверкой поверхностных навыков, например, может ли модель генерировать грамматически правильный текст или реалистичное изображение. Но они часто испытывают трудности с более глубокими качествами, такими как здравый смысл или контекстуальная уместность. Например, модель может преуспеть в тесте, создав идеальное предложение, но если это предложение фактически неверно, оно бесполезно. ИИ должен понимать, когда и как что-то сказать, а не только что сказать. Бенчмарки редко проверяют этот уровень интеллекта, который критически важен для таких приложений, как чат-боты или создание контента.
Модели ИИ часто с трудом адаптируются к новым контекстам, особенно когда сталкиваются с данными, выходящими за рамки их обучающего набора. Бенчмарки обычно разрабатываются с использованием данных, аналогичных тем, на которых обучалась модель. Это означает, что они не в полной мере проверяют, насколько хорошо модель может обрабатывать новые или неожиданные входные данные — критическое требование в реальных приложениях. Например, чат-бот может превосходить других по стандартным вопросам, но испытывать трудности, когда пользователи спрашивают о чем-то нерелевантном, используют сленг или затрагивают узкоспециализированные темы.
Хотя бенчмарки могут измерять распознавание образов или генерацию контента, они часто не справляются с оценкой более сложных когнитивных способностей, таких как рассуждение и логический вывод. ИИ должен делать больше, чем просто имитировать шаблоны. Он должен понимать последствия, устанавливать логические связи и выводить новую информацию. Например, модель может сгенерировать фактически правильный ответ, но не суметь логически связать его с более широким контекстом беседы. Текущие бенчмарки могут не полностью отражать эти продвинутые когнитивные навыки, оставляя у нас неполное представление о возможностях ИИ.
Чтобы преодолеть разрыв между производительностью в бенчмарках и успехом в реальном мире, появляется новый подход к оценке ИИ. Среди набирающих популярность стратегий можно выделить привлечение людей-оценщиков, которые могут анализировать результаты работы ИИ на предмет качества, полезности и уместности, лучше оценивая такие аспекты, как тон, релевантность и этические соображения. Системы ИИ следует тестировать в условиях, максимально приближенных к реальным: например, беспилотные автомобили могут проходить испытания на симулированных дорогах с непредсказуемыми дорожными ситуациями, а чат-боты — развертываться в реальных средах для обработки разнообразных разговоров. Важно также проводить стресс-тестирование систем ИИ в необычных или враждебных условиях, например, проверяя модель распознавания изображений искаженными или зашумленными картинками. Вместо того чтобы полагаться на один балл бенчмарка, ИИ следует оценивать по ряду метрик, включая точность, справедливость, устойчивость и этические соображения, что обеспечит более полное понимание его сильных и слабых сторон. Оценка должна быть адаптирована к конкретной области применения ИИ: медицинский ИИ следует тестировать на клинических случаях, разработанных профессионалами, а ИИ для финансовых рынков — на стабильность во время экономических колебаний.
Хотя бенчмарки способствовали развитию исследований в области ИИ, они не справляются с задачей отражения реальной производительности. По мере того как ИИ переходит из лабораторий в практическое применение, его оценка должна становиться ориентированной на человека и комплексной. Тестирование в реальных условиях, учет обратной связи от людей, а также приоритизация справедливости и надежности становятся критически важными. Цель состоит не в том, чтобы возглавлять рейтинги, а в разработке ИИ, который будет надежным, адаптируемым и ценным в динамичном и сложном мире.
