Готовы ли мы к надвигающейся тени галлюцинации ИИ?

Королевский институт искусственного интеллекта (King’s Institute for AI) обсуждает последствия растущего использования GenAI в образовании и риски распространения ложной информации, замаскированной красноречивым письмом.

Быстрая интеграция генеративного искусственного интеллекта (GenAI) в образование представляет собой палку о двух концах. Хотя его потенциал в плане персонализации обучения и повышения качества преподавания неоспорим, растет обеспокоенность по поводу этических последствий, точности и уязвимости учащихся к дезинформации, генерируемой искусственным интеллектом.

В этом комментарии рассматривается текущее состояние знаний о GenAI в сфере образования, подчеркивается критический пробел в понимании способности учащихся распознавать галлюцинации ИИ, которые в нашем исследовании определяются как ответы, генерируемые GenAI, которые содержат неверную информацию.

Одной из особых забот преподавателей является использование GenAI при проведении эффективных оценок и поддержании академической честности.¹  Более широкой проблемой для общества является склонность GenAI генерировать ложную информацию, которая часто может быть замаскирована под связное и красноречивое письмо. Будучи необнаруженной, непроверенной и неподтвержденной, такая ложная информация может быть непреднамеренно использована или неправильно использована с различной степенью опасности.

В этой статье мы предлагаем первый эксперимент для изучения того, могут ли студенты одной из ведущих бизнес-школ Великобритании обнаружить ложную информацию, созданную GenAI, которую часто определяют как галлюцинации искусственного интеллекта, и если да, то как, в контексте оценки с высокими ставками. Хотя мы ограничиваем нашу статью рамками образовательного контекста, она имеет большое значение для новых исследований по выявлению ключевых черт и социально-экономических факторов, которые помогают читателям новостей распознавать ложную информацию и фейковые новости.

В нашей ситуации читатели (студенты) располагают достаточными ресурсами и подготовкой, а также личной заинтересованностью в изучении и оценке информации (сгенерированный ИИ ответ на оценочный вопрос). Мы стремимся пролить свет на то, в какой степени преподаватели курсов, связанных с экономикой и бизнесом, могут оценивать академическую успеваемость студентов, учитывая недавние изменения в GenAI и необходимость избегать упрощенных условий проведения очных экзаменов.

Наши данные о способности учащихся распознавать неверную информацию, выходящую за рамки связных и хорошо продуманных ответов GenAI, способствуют повышению уровня преподавания и изучения грамотности в области искусственного интеллекта в образовательных учреждениях.

Широкий спектр мнений

Исследование выявило широкий спектр мнений по поводу GenAI в сфере образования. Исследования, проведенные в Великобритании, Норвегии и Гонконге, указывают на в целом оптимистичный прогноз, с некоторыми оговорками в отношении точности, конфиденциальности и этических соображений.2 Однако более осторожный подход очевиден в африканских условиях, где преобладают опасения по поводу академической честности и неправильного использования таких инструментов, как ChatGPT.3

Интересно, что американские исследования показывают, что индивидуальные различия существенно влияют на восприятие GenAI: студенты, проявляющие большую уверенность и мотивацию, с большей вероятностью доверяют этим инструментам и активно используют их.⁴ Эти результаты подчеркивают необходимость тонкого подхода, сочетающего инновации с этическими соображениями и надежными механизмами надзора.

Риски галлюцинаций, связанных с искусственным интеллектом

Галлюцинации ИИ включают в себя различные вводящие в заблуждение результаты, генерируемые большими языковыми моделями (LLM), и представляют значительный риск. Эти сфабрикованные ответы могут быть неоднозначными, что затрудняет интерпретацию. Кроме того, ИИ может непреднамеренно воспроизводить потенциальные искажения, присущие обучающим данным, что потенциально усугубляет существующее социальное неравенство. Кроме того, фрагментированная и противоречивая информация, получаемая LLM, может негативно сказаться на онлайн-безопасности и доверии общественности.

Снижение рисков: вмешательство или осторожность

Существуют два основных подхода к решению проблем, связанных с ИИ в образовании: основанный на вмешательстве и более осторожный подход. Вмешательство предполагает внедрение политики и стимулирование открытых дискуссий об использовании ИИ, повышение прозрачности и подотчетности среди заинтересованных сторон. Кроме того, анализ данных об обучении имеет решающее значение для обеспечения целостности и надежности результатов ИИ. И наоборот, осторожный подход призывает к ограничению или даже полному отказу от использования инструментов GenAI. В то время как вмешательство направлено на активное управление рисками, осторожный подход ставит во главу угла полное предотвращение, что потенциально препятствует ценному практическому применению в образовании.

Пробел в знаниях: понимание уязвимости учащихся

Существующие исследования в основном сосредоточены на преимуществах и проблемах интеграции GenAI, игнорируя факторы, влияющие на способность учащихся распознавать фактически неточную информацию. Чтобы устранить этот пробел, в ходе нашего исследования в Королевской бизнес-школе был применен комплексный подход к оценке способности студентов распознавать галлюцинации с помощью искусственного интеллекта в рамках оценки по экономике с высокими ставками.

Дизайн оценки

В ходе оценки ответы, сгенерированные с помощью искусственного интеллекта, были включены в дополнительный вопрос, стоимость которого составляла 15% от оценки. Чтобы обеспечить точность фактических данных, в четких инструкциях студентам предлагалось оценить эконометрическое содержание ответов с помощью искусственного интеллекта, исключая стилистические особенности.

Опрос после окончания курса

После оценки был проведен опрос, в ходе которого изучалось отношение студентов к ИИ. В ходе этого опроса использовалась шкала Лайкерта (от 1 до 4 баллов: от «категорически не согласен» до «категорически не согласен») по четырем ключевым аспектам галлюцинаций ИИ и грамотности в области ИИ.

Когортное воздействие

Мы случайным образом разделили студентов на две равные группы. Одна группа получила информацию об общей частоте выявления галлюцинаций с ИИ в ходе курса, в то время как другая группа этого не сделала. Эта манипуляция позволила нам исследовать, как ознакомление студентов с такой информацией может повлиять на их уровень уверенности в способности обнаружения ИИ.

Полученные данные

Наши предварительные результаты показывают удивительную взаимосвязь между академическими навыками, критическим мышлением и уверенностью студентов в контексте обнаружения ИИ.

• Знания в сравнении с критическим мышлением: в то время как высокая успеваемость по экономике является положительным фактором для обнаружения галлюцинаций GenAI, простые навыки применения знаний оказываются менее эффективными. Это говорит о том, что критическое мышление играет решающую роль в распознавании фактически неточной информации, получаемой от искусственного интеллекта.
• Осторожный подход и критическое мышление: Учащиеся, проявляющие осторожный подход к ИИ в сочетании с сильными навыками критического мышления, продемонстрировали превосходные способности к обнаружению информации. Это подчеркивает важность воспитания здорового скептицизма при работе с информацией, генерируемой ИИ.
• Гендерное неравенство: Интересным открытием является наблюдаемое гендерное неравенство в способности распознавать галлюцинации, что требует дальнейшего изучения для понимания основных причин.

Уверенность в себе и успеваемость сверстников

Учащиеся, случайно распределенные в группу, после того, как им сообщили о слабой способности их сверстников распознавать галлюцинации с ИИ, также стали более осторожными и негативно относиться к ИИ. Полученные результаты свидетельствуют о необходимости информирования учащихся о случаях, когда ИИ предоставляет неверную информацию по предмету, чтобы развить у них критический взгляд на ИИ.

© shutterstock/Терачай Джампанак

Более широкие последствия: призыв к действию

Эта уязвимость имеет серьезные последствия для обучения и академической честности учащихся в будущем, основанном на ИИ. Для решения этой важной проблемы мы предлагаем комплексный подход:

Целенаправленные мероприятия

Основываясь на наших исследованиях, мы можем определить группы учащихся, наиболее подверженные дезинформации с помощью ИИ. Понимая такие факторы, как цифровая грамотность и социально-экономические условия, мы можем разработать целенаправленные мероприятия для развития навыков критического мышления и снабдить этих учащихся инструментами, позволяющими отличать факты от вымысла.

Дизайн оценки в эпоху искусственного интеллекта

Преподавателям необходимо разработать тесты, которые стратегически интегрируют GenAI для оценки способности учащихся критически оценивать информацию. Это выходит за рамки простого определения контента, созданного искусственным интеллектом, и углубляет навыки анализа фактической достоверности представленной информации.

Развитие навыков критического мышления

Необходима прочная образовательная база, в которой особое внимание уделяется навыкам критического мышления. В эпоху искусственного интеллекта первостепенное значение имеет обучение студентов умению анализировать источники, выявлять предубеждения и оценивать достоверность информации.

Равный доступ к ресурсам

Крайне важно обеспечить, чтобы все учащиеся имели доступ к ресурсам и знаниям, необходимым для процветания в будущем, основанном на ИИ. Это включает в себя развитие навыков цифровой грамотности и предоставление возможностей для развития критического мышления с помощью практических упражнений, которые предполагают анализ информации, полученной с помощью ИИ.

Открытые дискуссии и прозрачность

Крайне важно поощрять открытые дискуссии об ограничениях и потенциальных подводных камнях, связанных с ИИ. Способствуя осознанному подходу учащихся и прозрачности использования ИИ в образовании, мы можем помочь учащимся стать ответственными пользователями и разборчивыми в потреблении информации.

Уделяя внимание этим важнейшим областям, мы можем обеспечить, чтобы учащиеся были хорошо подготовлены к тому, чтобы ориентироваться в сложностях мира, основанного на ИИ. Наше исследование служит отправной точкой для дальнейшего изучения уязвимости учащихся к дезинформации с помощью ИИ. Работая сообща, преподаватели, исследователи и политики могут разработать эффективные стратегии для подготовки учащихся к предстоящим вызовам и возможностям.

Вывод

Мы приводим доказательства связи между чертами характера учащихся и их способностью распознавать галлюцинации с помощью искусственного интеллекта в условиях оценки с высокими ставками. С педагогической точки зрения мы предлагаем практический дизайн оценки, позволяющий внедрить GenAI в процесс оценивания и поставить студентов в центр этого процесса обучения и оценки.

Вместо того, чтобы активно отговаривать от его использования, мы меняем оценки, оценивая, как учащиеся оценивают ответы ИИ на тщательно подобранные вопросы, которые могут наглядно продемонстрировать понимание учащимися материала по предмету. Затем мы показываем довольно поразительный результат об опасности и распространенности галлюцинаций с ИИ. Только 20% наших студентов могут обнаружить неверную информацию в ответе искусственного интеллекта на вопрос курсовой работы.

Более того, только те, кто обладает значительно более сильными академическими навыками и навыками письма, способны отличить факты от ложной информации. Силу красноречивого письма GenAI невозможно переоценить.

Во-вторых, мы обращаемся к литературе о равенстве доступа к ИИ и его использования. Мы показываем, что студенты с лучшей академической подготовкой и навыками письма, возможно, находящиеся в более привилегированном положении, по крайней мере в академическом плане, будут иметь преимущество, когда дело дойдет до использования искусственного интеллекта: они смогут отличить правильную информацию от ложной.

Наши результаты по объединению экзаменов и курсовых работ показывают, что этот разрыв можно устранить, обеспечив активное обучение с своевременной обратной связью и правильной информацией. В конечном итоге мы не обнаружили различий на итоговом экзамене, где ставки были выше, между студентами, которые изначально могли обнаружить ошибки ИИ, и теми, кто не мог. Предоставление качественных материалов, по-видимому, имеет ключевое значение. Наконец, мы рассматриваем вопрос о том, что движет студентами, потенциальными пользователями ИИ, в сторону ИИ.

Мы подчеркиваем важность информации и ознакомления с критическими взглядами на ИИ и его потенциальные недостатки: случайно столкнувшись с распространенностью и низкой эффективностью сверстников в выявлении ошибок ИИ, учащиеся становятся менее уверенными в ИИ, в своем понимании галлюцинаций ИИ и в собственной способности их обнаруживать. Обе группы предпочитают проходить дополнительную подготовку по этим вопросам, подчеркивая необходимость более глубокого ознакомления с опасностями галлюцинаций, связанных с искусственным интеллектом, на практике и в образовании.

Наше исследование имеет ряд ограничений. Во-первых, мы не хотим предлагать альтернативу общепринятому и хорошо структурированному инструменту оценки качества результатов обучения в магистратуре, что остается сложной задачей. Поэтому мы по-прежнему открыты для повторения результатов с использованием других вопросов по различным дисциплинам и с различными группами студентов.

Во-вторых, наш ответ ИИ был сгенерирован в августе 2023 года с помощью ChatGPT 3.5, который вскоре может устареть. Поскольку технология постоянно развивается, качество ответов ИИ может улучшиться, а их результаты могут в большей степени учитывать нюансы и значительно повышать качество.

Наша статья основана на текущей версии, которая находится в свободном доступе для общественности и может представлять собой наиболее вероятный инструмент, который могли бы использовать студенты.  В-четвертых, наша группа студентов, изучающих экономику и менеджмент, может представлять собой неслучайную выборку из общей популяции или, по сути, студентов в целом, в то время как наш опрос после окончания курса полностью основан на добровольном участии.

Наконец, хотя мы считаем, что результаты могут быть воспроизведены с помощью материалов других LLM, распространение инструментов LLM предоставляет потенциальную исследовательскую возможность для тиражирования и сравнения качества различных инструментов LLM.

Рекомендации

1. Мурхаус и др., 2023
2. Брайт, Дж., Энок, Ф. Э., Эснаашари, С., Фрэнсис, Дж., Хашем, Ю. и Морган, Д. (2024). Генеративный ИИ уже широко распространен в государственном секторе. Препринт arXiv arXiv: 2401.01291.
3. Севнараян К. И Поттер М.-А. (2024). Генеративный искусственный интеллект в дистанционном образовании: преобразования, вызовы и влияние на академическую честность и голос студентов. Журнал прикладного обучения и преподавания, 7 (1).
4. Амузаде М., Дэниелс Д., Нам Д., Кумар А., Чен С., Хилтон М., Шриниваса Рагаван С. и Алипур М. А. (2024). Доверие студентов к генеративному ИИ: предварительное исследование. Материалы 55-го технического симпозиума ACM по образованию в области компьютерных наук, т. 1, с. 67-73.
5. Чан, К. К. И., & Ху, У. (2023). Мнения студентов о генеративном ИИ: восприятие, преимущества и проблемы в высшем образовании. Международный журнал образовательных технологий в высшем образовании, 20 (1), 43.
6. Расмуссен Д., Карлсен Т. (2023). Принять или отменить? Анализируем отношение студентов и преподавателей к использованию генеративного ИИ в высшем образовании.

Пожалуйста, обратите внимание, что эта статья также появится в 19-м выпуске нашего ежеквартального издания.