Искусственный интеллект активно трансформирует различные отрасли, и одной из самых мощных, но спорных его областей становится машинное обучение на основе видеоданных. Эти системы анализируют поведение людей по видеозаписям, открывая новые возможности для образования, безопасности и других сфер. Однако вместе с этим возникают неотложные этические вопросы, связанные с приватностью, согласием и риском злоупотреблений.
По мере того как такие технологии все шире проникают в высшее образование, учебным заведениям необходимо тщательно изучать и активно реагировать на их последствия для студентов, преподавателей и самих институтов. Следует критически оценивать эти инструменты и внедрять механизмы защиты, чтобы уважать и оберегать право студентов на частную жизнь.
Системы искусственного интеллекта, работающие с видео, используют передовые технологии, такие как компьютерное зрение, обработка естественного языка и обучение с подкреплением, для анализа человеческого поведения и адаптации к нему. В высшем образовании эти инструменты все чаще применяются для улучшения студенческого опыта и результатов обучения, но их внедрение порождает этические дилеммы.
Недавнее исследование социально-ситуационного ИИ дает представление о потенциале этичного применения видеоаналитики. В ходе восьмимесячного эксперимента ИИ-агент взаимодействовал с 236 тысячами пользователей на платформе для обмена фотографиями, обучаясь задавать контекстно-зависимые вопросы, что улучшило его способность распознавать визуальные концепции. Эффективность агента выросла на 112% и превзошла традиционные методы на 25,6%, демонстрируя, как ИИ может способствовать обучению через взаимодействие, а не через слежку.
В высшем образовании адаптивные модели ИИ, основанные на подобном подходе, могли бы кардинально изменить вовлеченность студентов. Можно представить системы, способные наблюдать за пониманием материала студентами во время лекций или выполнения заданий и предлагать персонализированную обратную связь для поддержки их обучения.
Однако те же возможности, что улучшают образовательные результаты, могут стирать этические границы. Например, когда системы прокторинга собирают обширные поведенческие данные, студенты часто плохо представляют, как эта информация хранится, анализируется или передается. Отсутствие прозрачности не только ставит под угрозу частную жизнь, но и подрывает доверие к учебным заведениям.
Системам искусственного интеллекта для обучения алгоритмов требуются огромные объемы данных, значительная часть которых получается из записанного контента. Эта зависимость от данных наблюдения поднимает серьезные вопросы этики и конфиденциальности, особенно в образовательной среде, где студенты могут не до конца осознавать масштабы мониторинга.
В исследовании 2023 года Марк Шварц и Келли МакЭлрой обращают внимание на критические проблемы, связанные с повсеместным использованием технологий наблюдения на базе ИИ в университетах. Исследование описывает гипотетическую ситуацию студентки университета, подвергающейся постоянному мониторингу с помощью таких инструментов, как Proctorio — автоматизированного программного обеспечения для прокторинга. Proctorio анализирует выражение лица, движения глаз и окружающие звуки во время онлайн-экзаменов для выявления возможного списывания. Хотя такие системы позиционируются как средство защиты академической честности, подобные инвазивные практики часто заставляют студентов чувствовать себя под пристальным наблюдением, бесправными и лишенными доверия.
Кроме того, университеты зачастую вводят жесткие правила онлайн-взаимодействия и прокторинга, не оставляя места для индивидуальных обстоятельств. Когда студенты отстаивают свою приватность или просят учесть их религиозные или культурные убеждения, им часто ставят ультиматум: подчиняться или столкнуться с отказом в зачислении или отчислением с онлайн-курсов. Такой подход создает недоступную, нетерпимую и дискриминационную учебную среду, подрывая принципы инклюзивности и равенства, которые должно поддерживать образование.
Данные, собираемые этими системами, могут непреднамеренно раскрывать конфиденциальную информацию, например, о проблемах с психическим здоровьем или социально-экономическом положении, через поведенческие паттерны. Более того, образовательным учреждениям часто не хватает инфраструктуры для надежной защиты этих данных, что делает их уязвимыми для утечек и неправомерного использования.
Шварц и МакЭлрой критикуют так называемый «техноспасительство» — чрезмерное упование на технологические решения без учета этических последствий. Университеты должны критически оценивать эти инструменты и внедрять гарантии для защиты и уважения частной жизни студентов, обеспечивая их информированное участие в решениях, касающихся их данных. Прозрачность, подотчетность и надежная защита конфиденциальности необходимы для поддержания доверия и академической добросовестности.
Серьезные риски представляют дипфейки, профилирование и алгоритмическая предвзятость, особенно в высшем образовании, где эти технологии используются все активнее.
Исследование 2023 года, подчеркивающее эти опасности, привлекло студентов университетов к анализу дипфейков — созданных ИИ медиаматериалов, которые выглядят подлинными, но полностью сфабрикованы. Признавая творческий потенциал дипфейков, студенты также указывают на связанные с ними риски.
Дипфейки могут использоваться как оружие для дезинформации, создания неконсенсуального контента откровенного характера и выдачи себя за другое лицо, что способно подорвать доверие и нанести непоправимый ущерб репутации. Например, некоторые созданные ИИ видео изображают публичных деятелей, совершающих спорные или преступные действия, стирая грань между вымыслом и реальностью и подрывая доверие к достоверной информации.
В высшем образовании риски дипфейков усугубляются алгоритмической предвзятостью. Системы ИИ, обученные на искаженных наборах данных, часто неправильно идентифицируют или ставят в невыгодное положение представителей недопредставленных групп. Например, программное обеспечение для распознавания лиц, используемое в системах безопасности кампусов, непропорционально часто ошибается при идентификации людей с другим цветом кожи, усиливая системное неравенство. В сочетании с технологией дипфейков профилирование может усугублять дезинформацию и дискриминацию, создавая среду, в которой доверие к институтам и справедливость оказываются под серьезной угрозой.
Видеоаналитика на базе ИИ обладает огромным потенциалом для улучшения образования, оптимизации процессов и повышения качества жизни. Однако эти преимущества необходимо соизмерять с этическими проблемами нарушений приватности, злоупотреблений и системной предвзятости.
Решение этих проблем требует комплексного подхода. Образовательные учреждения и поставщики технологий должны обеспечивать четкие и информированные процессы получения согласия на сбор и использование данных. Студенты должны ясно понимать, как их данные собираются, хранятся и используются, что способствует укреплению доверия к этим системам. Регулирующим органам необходимо внедрять надежные нормативные базы, такие как европейский закон об ИИ (AI Act), чтобы привлекать компании к ответственности за защиту конфиденциальных данных. Учреждениям следует требовать от поставщиков технологий прозрачности и соблюдения этических норм. Разработчики должны устранять предвзятость в обучающих наборах данных и создавать алгоритмы, способствующие равенству и репрезентативности, целенаправленно работая над диверсификацией данных и обеспечением справедливой работы ИИ для различных демографических групп. Университетам следует включать медиаграмотность и этику ИИ в учебные программы, вооружая студентов инструментами для навигации в сложных этических ландшафтах и ответственного участия в использовании ИИ.
Образовательные учреждения должны активно противодействовать этим рискам. Включение обсуждений дипфейков, профилирования и этики ИИ в учебные планы может развить у студентов навыки критического мышления, необходимые для осмысленного взаимодействия с этими технологиями и их оспаривания. Способствуя этической осведомленности и поощряя информированный диалог, университеты могут помочь гарантировать, что эти мощные инструменты используются для инноваций, а не во вред, согласуя образование с более широкой целью продвижения равенства и добросовестности в мире, управляемом ИИ.