Андрей Щербаков 
Искусственный интеллект совершает новый прорыв: еще десятилетие назад технологии распознавания образов и понимания языка развивались параллельно. Модели компьютерного зрения могли идентифицировать объекты, но не описывать их, а языковые модели генерировали текст, но были «слепы». Сегодня это разделение стремительно исчезает благодаря появлению визуально-языковых моделей (VLM). Эти системы объединяют зрительные и языковые навыки, позволяя интерпретировать изображения и объяснять их содержание способом, который кажется почти человеческим. Особую значимость им придает способность к пошаговому мышлению, известному как «Цепочка рассуждений» (Chain-of-Thought), что превращает эти модели в мощные и практичные инструменты для различных отраслей, от здравоохранения до образования и автономного транспорта.
Визуально-языковые модели, или VLM, представляют собой тип искусственного интеллекта, способный одновременно понимать как изображения, так и текст. В отличие от старых систем ИИ, которые могли обрабатывать либо только текст, либо только изображения, VLM объединяют эти две компетенции. Это делает их невероятно универсальными: они могут посмотреть на картинку и описать происходящее, ответить на вопросы о видео или даже создать изображение на основе текстового описания.
Например, если попросить VLM описать фотографию собаки, бегущей в парке, система не просто сообщает, что «там собака». Она может уточнить, что «собака гонится за мячом рядом с большим дубом». VLM видит изображение и связывает его со словами осмысленным образом. Такая способность комбинировать визуальное и языковое понимание открывает множество возможностей, от помощи в поиске фотографий в интернете до содействия в более сложных задачах, таких как анализ медицинских снимков.
В основе своей VLM объединяют два ключевых компонента: систему компьютерного зрения, которая анализирует изображения, и языковую систему, обрабатывающую текст. Зрительная часть улавливает детали, такие как формы и цвета, в то время как языковая часть преобразует эти детали в связные предложения. Обучение VLM происходит на гигантских наборах данных, содержащих миллиарды пар «изображение-текст», что позволяет им накопить обширный опыт для формирования глубокого понимания и достижения высокой точности.
«Цепочка рассуждений», или CoT, – это метод, заставляющий искусственный интеллект мыслить пошагово, подобно тому, как человек решает проблему, разбивая ее на части. В контексте VLM это означает, что ИИ не просто дает ответ на вопрос об изображении, но и объясняет, как он к нему пришел, детализируя каждый логический шаг своего анализа.
Представим, что VLM показывают изображение праздничного торта со свечами и задают вопрос, сколько лет имениннику. Без использования CoT модель могла бы просто предположить число. Однако с CoT ИИ размышляет последовательно: он сообщает, что видит торт со свечами, отмечает, что свечи обычно указывают на возраст, подсчитывает их – допустим, их десять – и приходит к выводу, что человеку, вероятно, десять лет. Возможность проследить эту логику делает ответ гораздо более достоверным.
Аналогично, если VLM демонстрируют изображение дорожной ситуации и спрашивают, безопасно ли переходить дорогу, модель может рассуждать следующим образом: она отмечает, что пешеходный светофор красный, поэтому переходить нельзя. Также она замечает, что рядом поворачивает автомобиль, который движется, а не стоит. Из этого ИИ заключает, что в данный момент переходить небезопасно. Проходя через эти этапы, ИИ наглядно демонстрирует, на что именно он обращает внимание на изображении и почему принимает то или иное решение.
Интеграция «Цепочки рассуждений» в VLM дает несколько ключевых преимуществ. Во-первых, это повышает доверие к ИИ. Когда система объясняет свои шаги, пользователь получает ясное понимание того, как был получен ответ. Это особенно важно в таких областях, как здравоохранение. Например, анализируя МРТ-снимок, VLM может сообщить, что видит тень в левой части мозга, уточнить, что эта область контролирует речь, а у пациента наблюдаются трудности с речью, и на основании этого предположить, что это может быть опухоль. Врач может проследить эту логику и с большей уверенностью использовать данные, предоставленные ИИ.
Во-вторых, CoT помогает ИИ справляться со сложными проблемами. Разбивая задачи на более мелкие этапы, он может обрабатывать вопросы, требующие более детального анализа, чем просто беглый взгляд. Например, подсчет свечей – задача простая, но определение безопасности на оживленной улице требует выполнения нескольких шагов, включая проверку сигналов светофора, обнаружение автомобилей и оценку их скорости. «Цепочка рассуждений» позволяет ИИ справляться с такой сложностью, разделяя процесс на последовательные этапы.
Наконец, пошаговое мышление делает ИИ более адаптивным. Когда система рассуждает поэтапно, она может применять свои знания к новым, незнакомым ситуациям. Если VLM никогда раньше не встречала торт определенного вида, она все равно сможет установить связь между свечами и возрастом, потому что она анализирует ситуацию логически, а не просто полагается на заученные шаблоны.
Сочетание «Цепочки рассуждений» и визуально-языковых моделей уже оказывает значительное влияние на различные отрасли, кардинально меняя подходы к решению задач.
В медицине VLM, такие как Med-PaLM 2 от Google, используют CoT для разбиения сложных медицинских вопросов на более мелкие диагностические этапы. Например, получив рентгеновский снимок грудной клетки и информацию о симптомах, таких как кашель и головная боль, ИИ может рассуждать, что эти симптомы могут указывать на простуду, аллергию или что-то более серьезное. Далее он может отметить, что отсутствие увеличенных лимфоузлов снижает вероятность серьезной инфекции, а если легкие выглядят чистыми, то пневмония маловероятна. В итоге ИИ приходит к выводу, что наиболее вероятным диагнозом является обычная простуда, предоставляя врачам четкое объяснение для дальнейшей работы.
В сфере автономного вождения VLM, дополненные «Цепочкой рассуждений», повышают безопасность и качество принятия решений. Беспилотный автомобиль может пошагово анализировать дорожную обстановку: проверять сигналы для пешеходов, идентифицировать движущиеся транспортные средства и решать, безопасно ли продолжать движение. Системы, подобные LINGO-1 от Wayve, генерируют комментарии на естественном языке для объяснения своих действий, например, замедления перед велосипедистом. Это помогает инженерам и пассажирам понимать логику принятия решений автомобилем. Пошаговая логика также позволяет лучше справляться с нестандартными дорожными условиями, сочетая визуальные данные с контекстуальными знаниями.
В геопространственном анализе модель Gemini от Google применяет «Цепочку рассуждений» к пространственным данным, таким как карты и спутниковые снимки. Например, она может оценивать ущерб от урагана, интегрируя спутниковые изображения, прогнозы погоды и демографические данные, а затем генерировать наглядные визуализации и ответы на сложные вопросы. Эта возможность ускоряет реагирование на стихийные бедствия, предоставляя лицам, принимающим решения, своевременную и полезную информацию, не требующую специальных технических знаний для ее интерпретации.
В робототехнике интеграция CoT и VLM позволяет роботам лучше планировать и выполнять многоэтапные задачи. Например, когда роботу поручают взять предмет, VLM с поддержкой CoT дает ему возможность идентифицировать чашку, определить наилучшие точки захвата, спланировать траекторию без столкновений и выполнить движение, при этом объясняя каждый шаг своего процесса. Проекты, такие как RT-2, демонстрируют, как «Цепочка рассуждений» позволяет роботам лучше адаптироваться к новым задачам и реагировать на сложные команды с четкой аргументацией своих действий.
В образовательной сфере ИИ-репетиторы, такие как Khanmigo, используют CoT для более эффективного обучения. При решении математической задачи такой репетитор может направлять ученика, предлагая ему сначала записать уравнение, затем изолировать переменную, вычтя 5 из обеих частей, и после этого разделить на 2. Вместо того чтобы просто давать готовый ответ, ИИ-помощник проводит ученика через весь процесс решения, помогая ему пошагово понять концепции.
Таким образом, визуально-языковые модели (VLM) открывают перед искусственным интеллектом возможность интерпретировать и объяснять визуальные данные, используя человекоподобное пошаговое мышление с помощью процессов «Цепочки рассуждений» (CoT). Такой подход значительно повышает доверие к ИИ, его адаптивность и способность решать сложные задачи в таких отраслях, как здравоохранение, разработка беспилотных автомобилей, геопространственный анализ, робототехника и образование. Трансформируя методы, с помощью которых ИИ справляется со сложными задачами и поддерживает принятие решений, VLM устанавливают новый стандарт для надежных и практичных интеллектуальных технологий.
