Аружан Ибраева 
Современные системы искусственного интеллекта, такие как большие языковые модели (ИИ), стремительно меняют наш способ работы с информацией. Они способны составлять тексты, обобщать научные исследования и даже отвечать на медицинские вопросы. Однако исследователи начинают выявлять недостатки, которые могут привести к серьезным проблемам, особенно в сфере здравоохранения.
Недавнее исследование, проведенное Медицинской школой Икан на горе Синай, показало, что ИИ-модели, включая ChatGPT, все еще допускают элементарные логические ошибки. Речь идет не о сбоях в коде или неверных входных данных, а о провалах в логике и этическом мышлении, которые происходят даже тогда, когда модель располагает всеми необходимыми фактами. Эти выводы, опубликованные в журнале NPJ Digital Medicine, вызывают серьезную обеспокоенность.
Чтобы проверить ИИ, команда ученых использовала известные моральные дилеммы и логические головоломки, внося в них незначительные изменения. Один из примеров — вариация «дилеммы хирурга». В классическом сценарии хирург, увидев тяжело раненного мальчика, говорит: «Я не могу оперировать этого мальчика — он мой сын!». Загадка заключается в том, что хирург — мать мальчика, что бросает вызов гендерным стереотипам. В измененной версии исследователи прямо указали, что хирургом был отец мальчика. Несмотря на это, некоторые ИИ-модели упорно настаивали, что хирург — это мать. Такая приверженность старым шаблонам, игнорирующая противоречащие факты, обнажает фундаментальный недостаток в понимании контекста.
«ИИ может быть очень мощным и эффективным, но наше исследование показало, что он может по умолчанию выбирать наиболее знакомый или интуитивно понятный ответ, даже если при этом упускаются из виду критически важные детали», — отмечает доктор Эяль Кланг, один из старших авторов исследования. «В повседневных ситуациях такое мышление может остаться незамеченным. Но в здравоохранении, где решения часто имеют серьезные этические и клинические последствия, упущение таких нюансов может иметь реальные последствия для пациентов».
В другом примере рассматривался классический случай, когда родители по религиозным соображениям отказывались от переливания крови своему ребенку. Исследователи изменили историю так, что родители уже дали согласие на процедуру. Несмотря на это, многие ИИ-модели продолжали спорить с мнимым отказом родителей. Эта ошибка говорит о том, что модели больше руководствовались структурой оригинальной истории, чем обновленными фактами.
Возникает вопрос: как подобные ошибки могут навредить в реальных больницах? Дело в том, что этические дилеммы в здравоохранении — обычное явление. Будь то решение о прекращении жизнеобеспечения или баланс между конфиденциальностью пациента и общественной безопасностью, врачи часто сталкиваются с выбором без единственно верного ответа. Чрезмерное доверие к ИИ в таких ситуациях крайне рискованно.
«Безусловно, эти инструменты могут быть невероятно полезны, но они не безошибочны», — подчеркивает доктор Гириш Надкарни, соавтор исследования. «И врачи, и пациенты должны понимать, что ИИ лучше всего использовать как дополнение к клиническому опыту, а не как его замену, особенно при принятии сложных или ответственных решений». Иными словами, искусственный интеллект должен помогать, а не подменять суждения квалифицированных специалистов.
Проблема часто кроется в самом принципе работы этих моделей. Они не «думают» и не «понимают» в человеческом смысле. Вместо этого они предсказывают, какой текст должен идти дальше, основываясь на закономерностях в своих обучающих данных. Это хорошо работает для написания электронного письма, но когда ситуация требует вдумчивого анализа, простого сопоставления с шаблоном недостаточно. Кроме того, ИИ перенимает человеческие предубеждения из огромных массивов текстов, на которых обучается, что может быть опасно при принятии этических решений.
«Простые изменения в знакомых случаях выявили слепые зоны, которые клиницисты не могут себе позволить. Это подчеркивает, почему человеческий надзор должен оставаться центральным элементом при внедрении ИИ в уход за пациентами», — объясняет ведущий автор доктор Шелли Соффер. Этот надзор является своего рода страховкой от ошибок, которые могут быть неочевидны на первый взгляд.
Признание ограничений современных инструментов — первый шаг к их совершенствованию. Команда из Маунт-Синай планирует расширить свою работу, создав «лабораторию по обеспечению качества ИИ». Эта лаборатория будет тестировать, насколько хорошо различные модели справляются со сложными и непредсказуемыми ситуациями, характерными для клинической практики.
Несмотря на трудности, исследователи сохраняют оптимизм. Их цель — не остановить использование ИИ в медицине, а направить его развитие в безопасное русло. При ответственном подходе эти инструменты могут способствовать более быстрой диагностике и персонализированному лечению. Но это обещание зависит от того, сможет ли технология выйти за рамки простого распознавания образов, и будут ли люди, использующие ее, помнить о ее недостатках.
По своей сути, это исследование несет простой посыл: инструменты ИИ мощны, но они нуждаются в человеческом руководстве. По мере того как искусственный интеллект проникает в клиники и больницы, ставки будут только расти. Тщательный надзор и продуманное проектирование необходимы для создания систем, которые не только знают факты, но и понимают их значение. Ведь даже в высокотехнологичном будущем человеческое суждение остается самым главным.