Бауыржан Жакиев 
Создание реалистичной цифровой копии физического пространства больше не требует специализированного оборудования или трудоемкого ручного моделирования. Новая система под названием DRAWER, разработанная исследователями из Корнелльского университета, способна строить интерактивные 3D-миры на основе всего лишь короткого видео, снятого на обычный смартфон. Теперь простой ролик из вашей кухни или офиса превращается в высокоточную симуляцию, где можно открывать ящики, распахивать шкафы и перемещать предметы — инновация, открывающая новые горизонты для игр, робототехники и цифрового дизайна.
Процесс начинается с простого действия — записи видео. «На входе у нас обычное видео, которое вы можете снять на кухне. Вам не нужно взаимодействовать с какими-либо дверцами шкафов или с объектами», — объяснил Хунчи Ся, один из авторов исследования. Вместо того чтобы полагаться на специальные датчики, DRAWER анализирует визуальные данные, чтобы воссоздать не только внешний вид, но и функциональность сцены. Искусственный интеллект определяет формы, текстуры и размеры всех видимых объектов, создавая 3D-модель, которая не просто выглядит, а ведет себя как настоящая. Это позволяет пользователям виртуально открывать шкафы или выдвигать ящики — действия, которые предыдущие методы реконструкции не могли обеспечить.
В основе этого прорыва лежат два ключевых компонента. Первый — модуль реконструкции, который создает цифровую версию комнаты с мельчайшими геометрическими деталями. Второй — модуль артикуляции, который определяет, какие части окружения являются подвижными, и выясняет, как именно они должны двигаться. Например, система понимает, что дверца холодильника должна распахиваться, а ящик стола — выдвигаться. Даже скрытые части пространства, такие как внутренности закрытого шкафа, генерируются с помощью обученных моделей ИИ. Такой уровень понимания сцены позволяет симуляции не просто выглядеть, а ощущаться реальной.
Хотя последствия для игровой индустрии очевидны — более простое и быстрое создание реалистичных и интерактивных миров, — ценность DRAWER этим не ограничивается. Система открывает огромный потенциал для робототехники. Используя метод «из реальности в симуляцию и обратно в реальность», команда проекта обучила роботизированную руку полностью в цифровой кухне. Научившись раскладывать предметы по виртуальным ящикам, робот смог точно выполнить те же действия в реальном мире. Поскольку симуляция практически идентична настоящей сцене, знания переносятся плавно и без ошибок.
Такой подход имеет колоссальное значение для снижения затрат и повышения безопасности. Обучение роботов непосредственно в физических условиях может быть дорогостоящим и рискованным, особенно когда ошибки могут привести к поломке оборудования или самого робота. Обучение в симуляции снижает оба этих фактора, делая автоматизацию более доступной. В будущем можно представить сценарий: вы заказываете робота-помощника, снимаете свой дом на видео и загружаете его. Компания сможет смоделировать ваше жилище и предварительно обучить робота ориентироваться в нем еще до того, как он прибудет к вашему порогу.
На данный момент DRAWER работает с твердыми объектами, которые не меняют форму. В планах исследователей — расширить возможности системы, включив в нее мягкие или деформируемые предметы, такие как ткань, а также динамические поверхности, например, зеркала и окна. Конечная цель — масштабировать технологию с отдельных комнат до целых зданий и даже открытых пространств. «Наша главная цель — попытаться создать цифрового двойника всего в мире», — заявляют разработчики. Это может звучать как научная фантастика, но с появлением DRAWER человечество сделало к этому важный шаг, стирая грань между физической и виртуальной реальностью.