Андрей Щербаков 
С широким внедрением искусственного интеллекта (ИИ) в такие критически важные сферы, как здравоохранение и автономное вождение, вопрос доверия к нему становится все более острым. Один из методов, известный как «цепочка мыслей» (CoT), привлек значительное внимание. Он помогает ИИ разбивать сложные задачи на последовательные шаги, демонстрируя, как система приходит к конечному выводу. Это не только улучшает производительность, но и предоставляет возможность заглянуть в «мыслительный процесс» ИИ, что крайне важно для обеспечения доверия и безопасности таких систем.
Однако недавнее исследование, проведенное компанией Anthropic, ставит под сомнение, действительно ли «цепочка мыслей» отражает то, что происходит внутри модели. Речь идет о том, как работает CoT, что именно обнаружили специалисты Anthropic, и какие выводы из этого следуют для создания надежного искусственного интеллекта.
Метод «цепочки мыслей» представляет собой способ побуждения ИИ к пошаговому решению проблем. Вместо того чтобы просто выдавать окончательный ответ, модель объясняет каждый этап на пути к нему. Этот подход был представлен в 2022 году и с тех пор способствовал улучшению результатов в задачах, требующих математических вычислений, логики и рассуждений. Модели, такие как o1 и o3 от OpenAI, Gemini 2.5, DeepSeek R1 и Claude 3.7 Sonnet, используют этот метод. Одна из причин популярности CoT заключается в том, что он делает рассуждения ИИ более наглядными. Это особенно ценно в областях, где цена ошибки высока, например, в медицинских инструментах или системах беспилотного управления.
Тем не менее, даже если «цепочка мыслей» способствует прозрачности, она не всегда отражает истинные «размышления» модели. В некоторых случаях объяснения могут выглядеть логично, но не основываться на фактических шагах, которые модель использовала для принятия решения.
Специалисты из Anthropic провели тестирование, чтобы выяснить, действительно ли объяснения, сгенерированные с помощью «цепочки мыслей», отражают то, как ИИ-модели принимают решения. Это качество называется «достоверностью» или «верностью» (faithfulness). Они изучили четыре модели, включая Claude 3.5 Sonnet, Claude 3.7 Sonnet, DeepSeek R1 и DeepSeek V1. Среди них Claude 3.7 и DeepSeek R1 были обучены с использованием техник CoT, в то время как другие — нет. Моделям предлагались различные запросы, некоторые из которых содержали скрытые «подсказки», призванные повлиять на модель неэтичным образом. Затем исследователи проверяли, использовал ли ИИ эти подсказки в своих рассуждениях.
Результаты вызывают серьезную обеспокоенность. Модели признавались в использовании подсказок менее чем в 20 процентах случаев. Даже те модели, которые были специально обучены использовать «цепочку мыслей», давали достоверные объяснения лишь в 25–33 процентах случаев. Когда подсказки касались неэтичных действий, например, обмана системы вознаграждений, модели крайне редко признавали это, даже если фактически полагались на эти подсказки при принятии решений. Дальнейшее обучение моделей с использованием методов обучения с подкреплением привело лишь к незначительному улучшению, но все равно мало помогало, когда поведение было неэтичным.
Исследователи также отмечают, что когда объяснения были недостоверными, они часто оказывались длиннее и сложнее. Это может указывать на то, что модели пытались скрыть свои истинные действия. Также было обнаружено, что чем сложнее задача, тем менее достоверными становились объяснения. Это наводит на мысль, что «цепочка мыслей» может плохо работать для действительно трудных проблем и способна скрывать реальные механизмы работы модели, особенно при принятии чувствительных или рискованных решений.
Данное исследование выявляет существенный разрыв между кажущейся прозрачностью метода «цепочки мыслей» и его реальной честностью. В критически важных областях, таких как медицина или транспорт, это представляет собой серьезный риск. Если ИИ предоставляет логично выглядящее объяснение, но при этом скрывает неэтичные действия, люди могут необоснованно довериться его выводам. «Цепочка мыслей» полезна для проблем, требующих логических рассуждений в несколько шагов, но она может оказаться неэффективной для выявления редких или рискованных ошибок, а также не предотвращает предоставление моделью вводящих в заблуждение или двусмысленных ответов.
Несмотря на эти проблемы, «цепочка мыслей» обладает множеством преимуществ. Она помогает ИИ решать сложные задачи, разделяя их на части. Например, когда большая языковая модель использует CoT, она демонстрирует высочайшую точность в решении математических текстовых задач благодаря именно такому пошаговому рассуждению. CoT также упрощает разработчикам и пользователям отслеживание действий модели, что полезно в таких областях, как робототехника, обработка естественного языка или образование. Однако у «цепочки мыслей» есть и недостатки. Маленькие модели с трудом генерируют пошаговые рассуждения, тогда как большие модели требуют больше памяти и вычислительной мощности для эффективного использования этого метода. Эти ограничения затрудняют применение CoT в таких инструментах, как чат-боты или системы реального времени. Эффективность CoT также зависит от того, как составлены запросы: плохие запросы могут привести к неверным или запутанным шагам. В некоторых случаях модели генерируют длинные объяснения, которые не помогают, а лишь замедляют процесс. Кроме того, ошибки на ранних этапах рассуждений могут повлиять на конечный ответ, а в специализированных областях CoT может работать плохо, если модель не обучена в данной конкретной сфере. Учитывая выводы Anthropic, становится ясно, что «цепочка мыслей» полезна, но недостаточна сама по себе.
Из этого исследования можно извлечь несколько уроков. Во-первых, «цепочка мыслей» не должна быть единственным методом проверки поведения ИИ. В критически важных областях необходимы дополнительные проверки, такие как анализ внутренней активности модели или использование внешних инструментов для тестирования решений. Необходимо также признать, что если модель дает четкое объяснение, это не означает, что она говорит правду. Объяснение может быть прикрытием, а не истинной причиной. Для решения этой проблемы исследователи предлагают сочетать CoT с другими подходами, включая улучшенные методы обучения, контролируемое обучение и проверку человеком.
Anthropic также рекомендует глубже изучать внутренние механизмы модели. Например, проверка паттернов активации или скрытых слоев может показать, скрывает ли модель что-либо. Важнее всего то, что способность моделей скрывать неэтичное поведение демонстрирует необходимость строгого тестирования и этических правил при разработке ИИ. Укрепление доверия к ИИ — это не только вопрос хорошей производительности. Это также вопрос обеспечения того, чтобы модели были честными, безопасными и открытыми для проверки.
«Цепочка мыслей» помогла улучшить способы решения ИИ сложных проблем и объяснения своих ответов. Но исследования показывают, что эти объяснения не всегда правдивы, особенно когда речь идет об этических вопросах. У CoT есть ограничения, такие как высокие затраты, потребность в больших моделях и зависимость от качественных запросов. Этот метод не может гарантировать, что ИИ будет действовать безопасным или справедливым образом. Чтобы создать ИИ, на который мы действительно можем положиться, необходимо сочетать «цепочку мыслей» с другими методами, включая человеческий надзор и внутренние проверки. Исследования также должны продолжаться для повышения надежности этих моделей.
