Бауыржан Жакиев 
Компании, стремящиеся активно внедрять сервисы искусственного интеллекта в свои разработки, сталкиваются с серьезной дилеммой: как использовать преимущества быстро развивающейся области, не переписывая приложения под каждую новую модель. Альтернативой представляется выбор одного поставщика и последующая зависимость от него по мере развития индустрии. Однако на горизонте появляется иное решение – промежуточное программное обеспечение для ИИ, или AI middleware.
Специалисты отмечают, что текущая ситуация в сфере ИИ характеризуется высокой степенью неопределенности. Санджив Мохан, основатель консалтинговой компании Sanjmo, говорит, что организациям сложно определить устоявшуюся архитектуру технологического стека. По его словам, они стремятся обеспечить его перспективность и нуждаются в определенном уровне абстракции, чтобы не беспокоиться о постоянно меняющейся инфраструктуре ИИ.
В отчете Gartner «Инновационный взгляд: Шлюзы ИИ» проблема определяется следующим образом: шлюз ИИ – это компонент промежуточного ПО, который перехватывает вызовы API между приложениями и поставщиками ИИ-сервисов. Это позволяет им обеспечивать абстрагирующий слой для трафика ИИ, принимая запросы API от клиента, обрабатывая их на основе определенных политик и направляя к соответствующим большим языковым моделям (LLM) и другим ИИ-сервисам. Затем они также перехватывают ответ, применяя политики перед его маршрутизацией обратно вызывающему клиенту. Вследствие этого, как продолжается в отчете, руководители разработки программного обеспечения используют шлюзы ИИ для обеспечения безопасности, маршрутизации между несколькими LLM и прозрачности затрат, а также для добавления средств защиты данных, сканирования и контроля рисков при использовании ИИ.
Gartner прогнозирует, что к 2028 году 70% организаций, создающих приложения на базе нескольких LLM, будут использовать возможности шлюзов ИИ, особенно для оптимизации соотношения затрат и производительности. Этот показатель значительно вырастet по сравнению с менее чем 5% в 2024 году.
Шлюзы ИИ схожи с более общими шлюзами API, которые используют некоторые организации, но, по данным Gartner, имеют и отличия. Традиционные шлюзы API в основном обрабатывают входящий трафик (от внешних пользователей к внутренней инфраструктуре) и сфокусированы на управлении входящим трафиком и контроле на стороне провайдера для общих сценариев управления API. В отличие от них, шлюзы ИИ ориентированы на исходящий трафик (от внутренних приложений к внешним ИИ-сервисам), специализируясь на взаимодействиях с ИИ-сервисами и решая специфические для ИИ задачи масштабирования, эксплуатации, безопасности и устранения неполадок. Они располагаются между внутренними приложениями и внешними ИИ-сервисами.
Поскольку шлюзы ИИ управляют вызовами ИИ-сервисов, они предоставляют такие функции, как токены ИИ для биллинга, кэширование ответов для сокращения количества вызовов и задержек, порталы ИИ-сервисов, обеспечивающие соблюдение планов использования, а также медиацию ИИ-сервисов для маршрутизации вызовов к различным поставщикам ИИ и интеграции с технологией Retrieval Augmented Generation (RAG). Кроме того, по информации Gartner, они включают защитные механизмы для запросов и ответов, фильтрующие неуместные вопросы или ответы, и обеспечивают безопасность.
Поставщики уже анонсировали или разрабатывают продукты промежуточного ПО для ИИ, однако такое ПО от конкретного вендора не обязательно решает проблему зависимости, а лишь переносит ее на другой уровень стека. Одним из многообещающих примеров является Model Context Protocol (MCP), анонсированный в ноябре производителем Claude, компанией Anthropic. Хотя он был создан ИИ-вендором, компания сделала его открытым исходным кодом, и такие ИИ-вендоры, как Cloudflare, OpenAI и Microsoft, объявили о его поддержке.
Фелипе Харамильо, эксперт по цифровой трансформации и автор VKTR, объясняет, что с Model Context Protocol системы ИИ могут «считывать инструкции» для внешней системы во время выполнения, а не полагаться на разработчиков. Он уточняет, что этот сдвиг отделяет ИИ от фиксированных интеграций, позволяя компаниям развивать свои возможности, подключать новые инструменты или обновлять источники данных гораздо быстрее, оперативнее реагировать на изменения и значительно сокращать накладные расходы на разработку. Харамильо добавляет, что в долгосрочной перспективе экосистема MCP предполагает создание многофункциональных, компонуемых ИИ-приложений и сложных агентных поведений, обеспечиваемых потенциально двунаправленной связью. Несмотря на типичные проблемы, с которыми сталкиваются новые стандарты, Харамильо отмечает, что MCP набирает значительную популярность благодаря высокому спросу со стороны предприятий и растущему сообществу разработчиков. Он считает, что для бизнес-лидеров это представляет собой ключевой сдвиг, требующий стратегических действий: аудита их ИИ-инфраструктуры, запуска целенаправленных пилотных проектов, оценки обязательств поставщиков по обеспечению совместимости и назначения внутренних лидеров для изучения возможностей внедрения.
Компания IBM также может сыграть свою роль, особенно для организаций, ориентированных на устаревшие системы, и для тех, кто использует ИИ локально, а не в облаке. Санджив Мохан говорит, что, если верить экспертам, 60-80% данных все еще находятся локально. По его словам, по разным причинам – будь то размер, задержка или соответствие требованиям – эти данные нельзя переместить. Он утверждает, что ИИ должен идти туда, где находятся данные, и если они находятся локально, у IBM есть огромное преимущество. Другими преимуществами IBM, добавляет он, являются несколько специализированных LLM, предназначенных для конкретных случаев использования, а не конкурирующих с более общими системами ИИ, такими как OpenAI и Anthropic, а также обширная экосистема ИИ, созданная ею за десятилетия. Слабость IBM заключается в том, что ее воспринимают как компанию с устаревшими технологиями (Мохан предпочитает термин «наследие», поскольку он звучит как нечто, заслуживающее уважения). Он задается вопросом, почему облачная компания, ориентированная в первую очередь на ИИ, выберет IBM, когда она может обратиться к Google Cloud. С другой стороны, он указывает, что Microsoft в значительной степени преодолела свою схожую репутацию устаревшей компании. Microsoft, по его словам, также была устаревшей, консервативной компанией, упустившей мобильные технологии, социальные сети, облака и ИИ. Затем они трансформировались и теперь глубоко вовлечены в ИИ. Мохан заключает, что, если извлечь уроки из опыта Microsoft, возможности безграничны.
Организации с открытым исходным кодом, такие как Hugging Face, также разработали платформы промежуточного ПО, но у них есть свои недостатки, говорит Эмили Барнс, директор по ИИ и инновациям в Edapted и автор VKTR. Она уточняет, что это не критика открытого исходного кода. Барнс поясняет, что Unix или базы данных с открытым исходным кодом, широко предлагаемые многими поставщиками, создавались и улучшались со временем сообществом разработчиков. Они рецензируют работу друг друга, следуют руководствам и поддерживают хорошую документацию. По ее словам, коллективный подход помог сделать эти системы более надежными, безопасными и простыми в обслуживании. Но ИИ – это совсем другое дело, добавляет она. Барнс утверждает, что он более непредсказуем и сложен. В отличие от операционной системы, которая каждый раз делает одно и то же, системы ИИ обучаются на огромных наборах данных, которые могут быть неструктурированными, предвзятыми или неточными. Из-за особенностей их работы, по ее словам, сложнее понять, что происходит внутри этих моделей или почему они ведут себя определенным образом. Это затрудняет раннее выявление проблем, будь то скрытая предвзятость, проблемы безопасности или риск использования моделей во вредоносных целях. Это вдвойне актуально для промежуточного ПО. Барнс говорит, что промежуточное ПО скрывает многое из того, что происходит «под капотом». Разработчики, использующие эти инструменты, могут не знать, откуда взялись обучающие данные модели или есть ли у нее встроенные предубеждения. Это, по ее мнению, может привести к этическим проблемам, таким как непреднамеренная дискриминация со стороны моделей или их использование во вредоносных целях, потому что никто внимательно не изучил, как они были созданы и откуда взялись данные. По мнению Барнс, для решения этой проблемы необходимо внедрить более строгие процессы проверки, требовать стандартизированные форматы документации и создать механизмы для аудита и отзыва вредоносных моделей. Она отмечает, что Hugging Face предприняла первые шаги в этой области, продвигая этические принципы ИИ, но для устойчивого прогресса потребуется более широкая координация в отрасли и, возможно, участие регулирующих органов.
Еще одна проблема с промежуточным ПО для ИИ в целом заключается в том, что эта область находится в зачаточном состоянии, по данным Gartner. Это означает, что продукты в этой сфере новые и непроверенные, и не все они предоставляют одинаковые функции. Однако предприятия могут предпринять определенные шаги уже сейчас. Двумя важнейшими факторами для промежуточного ПО для ИИ, по словам Мохана, являются наличие надежной и процветающей партнерской экосистемы и простота использования. Он считает, что если продукт не находит применения, пора обратить внимание на пользовательский опыт. Другие характеристики, которые следует учитывать, включают зрелость, поддержку открытых стандартов и уровень инноваций. Gartner также рекомендует предприятиям использовать такие процессы и процедуры, как направление трафика API ИИ через единую точку контроля, управление учетными данными безопасности любого бэкэнда ИИ из одного места и предоставление стандартных интерфейсов API, которые направляют запросы к нескольким бэкэндам ИИ.
