Проблема проверки достоверности искусственного интеллекта (ИИ) уже давно вызывает серьезные опасения. Несмотря на стремительное развитие больших языковых моделей (LLM), вопрос подтверждения их точности остается нерешенным. Компания Anthropic, одна из ведущих в области ИИ, предпринимает шаги для решения этой проблемы, и, по мнению экспертов, у нее есть все шансы добиться успеха.
Недавно Anthropic представила новую функцию API под названием Citations, предназначенную для моделей Claude. Эта технология меняет подход к проверке ответов ИИ, автоматически разбивая исходные документы на удобные для анализа фрагменты и связывая каждое утверждение, сгенерированное ИИ, с его первоисточником. Это напоминает систему ссылок в академических статьях, где каждое утверждение подкрепляется соответствующим источником.
Основная цель Citations — решить одну из самых сложных задач в области ИИ: обеспечение точности и надежности генерируемого контента. В отличие от традиционных методов, требующих сложной настройки запросов или ручной проверки, новая система автоматически обрабатывает документы и предоставляет проверку источников на уровне каждого предложения. Уже сейчас данные показывают улучшение точности цитирования на 15% по сравнению с традиционными подходами.
Актуальность этой разработки невозможно переоценить. Доверие к ИИ стало ключевым барьером для его внедрения как в корпоративной среде, так и среди индивидуальных пользователей. По мере того как компании переходят от экспериментального использования ИИ к его интеграции в ключевые бизнес-процессы, невозможность эффективно проверять результаты работы ИИ создает серьезные препятствия. Существующие системы проверки вынуждают организации выбирать между скоростью и точностью: ручная проверка не масштабируется, а непроверенные выводы ИИ несут в себе слишком высокие риски. Особенно остро эта проблема стоит в регулируемых отраслях, где точность является обязательным требованием.
Появление Citations происходит в критический момент развития ИИ. По мере усложнения языковых моделей растет и потребность во встроенных механизмах проверки. Необходимо создавать системы, которые можно уверенно использовать в профессиональной среде, где точность не подлежит обсуждению.
Техническая архитектура Citations основана на уникальном подходе к обработке документов. В отличие от традиционных систем, которые рассматривают документы как простые текстовые блоки, Citations разбивает исходные материалы на так называемые «фрагменты». Это могут быть отдельные предложения или пользовательские разделы, что создает детальную основу для проверки. Например, для текстовых файлов ограничения минимальны, за исключением общего лимита в 200 000 токенов на запрос. Однако обработка PDF-файлов сложнее: система анализирует их визуально, что накладывает определенные ограничения, такие как максимальный размер файла в 32 МБ и не более 100 страниц на документ.
Важно отметить, что Citations — это не система Retrieval Augmented Generation (RAG). Если RAG занимается поиском релевантной информации из базы знаний, то Citations обеспечивает точность использования уже выбранной информации. Другими словами, RAG решает, какую информацию использовать, а Citations гарантирует, что эта информация используется корректно. Такая архитектура позволяет Citations обеспечивать высокую точность в рамках предоставленного контекста, оставляя задачи поиска информации другим системам.
Интеграция Citations осуществляется через стандартный API Anthropic, что упрощает процесс для тех, кто уже использует Claude. Система работает с Messages API, не требуя отдельного хранения файлов или сложных изменений инфраструктуры. Стоимость использования основана на токенах, причем плата взимается только за входные токены из исходных документов, а вывод цитат не требует дополнительных затрат. Это создает предсказуемую структуру расходов, которая масштабируется в зависимости от объема использования.
Результаты работы Citations впечатляют: помимо 15%-го улучшения точности цитирования, система полностью устранила ошибки, связанные с «галлюцинациями» источников (их частота снизилась с 10% до нуля). Каждое утверждение теперь проверяется на уровне предложения, что особенно важно для регулируемых отраслей и ситуаций, где точность имеет критическое значение.
В перспективе можно ожидать, что функции, подобные Citations, станут стандартом в индустрии ИИ. Вероятно, системы проверки эволюционируют за пределы текста, охватывая другие медиаформаты, а также будут разработаны отраслевые стандарты проверки. В целом, индустрии необходимо переосмыслить подход к доверию и проверке ИИ, чтобы пользователи могли легко проверять каждое утверждение, сделанное искусственным интеллектом.