Андрей Щербаков 
По мере развития технологий искусственного интеллекта стремительно растет потребность в эффективных и масштабируемых решениях для выполнения логических выводов, или инференса. Ожидается, что в ближайшем будущем инференс ИИ станет даже более важным процессом, чем обучение моделей, поскольку компании сосредоточатся на быстром запуске алгоритмов для получения прогнозов в реальном времени. Эта трансформация подчеркивает необходимость создания надежной инфраструктуры, способной обрабатывать большие объемы данных с минимальными задержками.
Инференс играет ключевую роль в таких отраслях, как разработка автономных транспортных средств, обнаружение мошенничества и медицинская диагностика в реальном времени. Однако этот процесс сопряжен с уникальными трудностями, особенно при масштабировании для удовлетворения потребностей таких задач, как потоковая передача видео, анализ данных в режиме реального времени и получение информации о клиентах. Традиционные модели ИИ с трудом справляются с этими задачами, требующими высокой пропускной способности, что часто приводит к высоким затратам и задержкам. По мере расширения возможностей ИИ предприятиям требуются решения, способные управлять большими объемами запросов на инференс без ущерба для производительности и увеличения затрат.
Именно для решения этих задач NVIDIA представила Dynamo. Запущенный в марте 2025 года, Dynamo представляет собой новую программную платформу (фреймворк) для ИИ, разработанную для преодоления трудностей инференса ИИ в больших масштабах. Он помогает предприятиям ускорять рабочие нагрузки инференса, сохраняя при этом высокую производительность и снижая затраты. Основанный на надежной архитектуре графических процессоров NVIDIA и интегрированный с такими инструментами, как CUDA, TensorRT и Triton, Dynamo меняет подходы компаний к управлению инференсом ИИ, делая его проще и эффективнее для предприятий любого размера.
Растущая сложность масштабирования инференса ИИ заключается в том, что это процесс использования предварительно обученной модели машинного обучения для составления прогнозов на основе реальных данных, и он незаменим для многих приложений ИИ, работающих в реальном времени. Однако традиционные системы часто сталкиваются с трудностями при обработке растущего спроса на инференс ИИ, особенно в таких областях, как автономные транспортные средства, обнаружение мошенничества и диагностика в здравоохранении.
Спрос на ИИ в реальном времени быстро растет, что обусловлено необходимостью быстрого принятия решений на месте. Отчет Forrester за май 2024 года показывает, что 67% предприятий интегрируют генеративный ИИ в свою деятельность, что подчеркивает важность ИИ в реальном времени. Инференс лежит в основе многих задач, выполняемых ИИ, таких как обеспечение возможности быстрого принятия решений беспилотными автомобилями, выявление мошенничества в финансовых транзакциях и помощь в постановке медицинских диагнозов, например, при анализе медицинских изображений.
Несмотря на этот спрос, традиционные системы с трудом справляются с масштабом этих задач. Одной из основных проблем является недостаточное использование графических процессоров (GPU). Например, загрузка GPU во многих системах остается на уровне 10–15%, что означает неэффективное использование значительной вычислительной мощности. По мере увеличения рабочей нагрузки на инференс ИИ возникают дополнительные проблемы, такие как ограничения памяти и пробуксовка кэша, которые вызывают задержки и снижают общую производительность.
Достижение низкой задержки имеет решающее значение для приложений ИИ в реальном времени, но многие традиционные системы с трудом справляются с этой задачей, особенно при использовании облачной инфраструктуры. Отчет McKinsey показывает, что 70% проектов ИИ не достигают своих целей из-за проблем с качеством данных и их интеграцией. Эти проблемы подчеркивают необходимость в более эффективных и масштабируемых решениях, и именно здесь на помощь приходит NVIDIA Dynamo.
NVIDIA Dynamo представляет собой модульный фреймворк с открытым исходным кодом, который оптимизирует крупномасштабные задачи инференса ИИ в распределенных средах с несколькими GPU. Он нацелен на решение распространенных проблем в моделях генеративного ИИ и логического вывода, таких как недостаточное использование GPU, узкие места в памяти и неэффективная маршрутизация запросов. Dynamo сочетает аппаратные оптимизации с программными инновациями для решения этих проблем, предлагая более эффективное решение для приложений ИИ с высокими требованиями.
Одной из ключевых особенностей Dynamo является его дезагрегированная архитектура обслуживания. Этот подход разделяет вычислительно интенсивную фазу предварительного заполнения (prefill), которая обрабатывает контекст, от фазы декодирования (decode), включающей генерацию токенов. Назначая каждую фазу отдельным кластерам GPU, Dynamo позволяет проводить независимую оптимизацию. В фазе предварительного заполнения используются GPU с большим объемом памяти для более быстрой обработки контекста, а в фазе декодирования — GPU, оптимизированные для минимизации задержек, для эффективной потоковой генерации токенов. Такое разделение повышает пропускную способность, делая модели, подобные Llama 70B, в два раза быстрее.
Фреймворк включает планировщик ресурсов GPU, который динамически распределяет ресурсы графических процессоров на основе их использования в реальном времени, оптимизируя рабочие нагрузки между кластерами предварительного заполнения и декодирования, чтобы предотвратить избыточное выделение ресурсов и простои. Еще одной ключевой особенностью является интеллектуальный маршрутизатор, учитывающий данные KV-кэша (key-value cache), который гарантирует, что входящие запросы направляются на те GPU, которые хранят соответствующие данные KV-кэша, тем самым минимизируя избыточные вычисления и повышая эффективность. Эта функция особенно полезна для многоэтапных моделей логического вывода, которые генерируют больше токенов, чем стандартные большие языковые модели.
Библиотека NVIDIA Inference TranXfer Library (NIXL) является еще одним важным компонентом, обеспечивающим связь с низкой задержкой между GPU и гетерогенными уровнями памяти/хранилища, такими как HBM и NVMe. Эта функция поддерживает извлечение данных из KV-кэша за время менее миллисекунды, что критически важно для задач, чувствительных ко времени. Распределенный менеджер KV-кэша также помогает выгружать менее часто используемые данные кэша в системную память или на твердотельные накопители (SSD), освобождая память GPU для активных вычислений. Этот подход повышает общую производительность системы до 30 раз, особенно для крупных моделей, таких как DeepSeek-R1 671B.
NVIDIA Dynamo интегрируется с полным стеком технологий NVIDIA, включая CUDA, TensorRT и графические процессоры Blackwell, а также поддерживает популярные серверные компоненты для инференса, такие как vLLM и TensorRT-LLM. Тесты производительности показывают до 30 раз большее количество токенов на GPU в секунду для таких моделей, как DeepSeek-R1, на системах GB200 NVL72.
Являясь преемником Triton Inference Server, Dynamo предназначен для «фабрик ИИ», которым требуются масштабируемые и экономически эффективные решения для инференса. Он приносит пользу автономным системам, аналитике в реальном времени и многомодельным агентным рабочим процессам. Его открытый исходный код и модульная конструкция также обеспечивают легкую настройку, делая его адаптируемым для разнообразных рабочих нагрузок ИИ.
NVIDIA Dynamo уже продемонстрировал свою ценность в отраслях, где критически важен инференс ИИ в реальном времени. Он улучшает автономные системы, аналитику в реальном времени и «фабрики ИИ», обеспечивая работу приложений ИИ с высокой пропускной способностью. Такие компании, как Together AI, использовали Dynamo для масштабирования рабочих нагрузок инференса, достигнув 30-кратного увеличения производительности при запуске моделей DeepSeek-R1 на графических процессорах NVIDIA Blackwell. Кроме того, интеллектуальная маршрутизация запросов и планирование ресурсов GPU в Dynamo повышают эффективность крупномасштабных развертываний ИИ.
NVIDIA Dynamo предлагает ключевые преимущества по сравнению с альтернативными решениями, такими как AWS Inferentia и Google TPU. Он разработан для эффективной обработки крупномасштабных рабочих нагрузок ИИ, оптимизируя планирование GPU, управление памятью и маршрутизацию запросов для повышения производительности на нескольких графических процессорах. В отличие от AWS Inferentia, который тесно связан с облачной инфраструктурой AWS, Dynamo обеспечивает гибкость, поддерживая как гибридные облачные, так и локальные (on-premise) развертывания, помогая предприятиям избежать зависимости от одного поставщика.
Одной из сильных сторон Dynamo является его модульная архитектура с открытым исходным кодом, позволяющая компаниям настраивать фреймворк в соответствии со своими потребностями. Он оптимизирует каждый этап процесса инференса, обеспечивая бесперебойную и эффективную работу моделей ИИ при максимальном использовании доступных вычислительных ресурсов. Благодаря своей ориентации на масштабируемость и гибкость, Dynamo подходит для предприятий, ищущих экономичное и высокопроизводительное решение для инференса ИИ.
NVIDIA Dynamo трансформирует мир инференса ИИ, предоставляя масштабируемое и эффективное решение для проблем, с которыми сталкиваются предприятия при работе с приложениями ИИ в реальном времени. Его открытый исходный код и модульная конструкция позволяют оптимизировать использование GPU, лучше управлять памятью и эффективнее маршрутизировать запросы, что делает его идеальным для крупномасштабных задач ИИ. Разделяя ключевые процессы и позволяя динамически настраивать работу GPU, Dynamo повышает производительность и снижает затраты.
В отличие от традиционных систем или конкурирующих решений, Dynamo поддерживает гибридные облачные и локальные конфигурации, предоставляя предприятиям большую гибкость и снижая зависимость от какого-либо одного поставщика. Благодаря своей впечатляющей производительности и адаптивности, NVIDIA Dynamo устанавливает новый стандарт для инференса ИИ, предлагая компаниям передовое, экономически эффективное и масштабируемое решение для их потребностей в области искусственного интеллекта.
