В MIT создали систему, которая фактически учит роботов "заглядывать" за стены, используя обычные Wi‑Fi‑подобные радиосигналы. Команда исследователей представила технологию Wave-Former - комплекс из миллиметрового радара и генеративной нейросети, который способен по отражённым волнам восстанавливать трёхмерную форму объектов, спрятанных за картоном, гипсокартоном, деревянными панелями или тканью.
Основная идея проста по формулировке и крайне сложна по реализации: миллиметровые радиоволны проникают сквозь многие неплотные материалы, частично отражаются от скрытых предметов и возвращаются к сенсору. По этим крошечным изменениям сигнала система строит 3D-модель того, что находится по другую сторону барьера. В экспериментальных тестах Wave-Former смог реконструировать около 70 разных бытовых объектов - от банок и коробок до фруктов и столовых приборов - и показал на 20% более высокую точность, чем предыдущие подходы.
Главная техническая сложность так называемого беспроводного зрения - "зеркальная" природа отражений. Миллиметровые волны ведут себя похоже на луч света: они отскакивают от поверхности преимущественно в одном направлении. В результате радар видит только часть объекта - как если бы вы смотрели на предмет в темноте узким лучом фонарика. Большая часть формы остаётся скрытой, и на прямых физических моделях её корректно восстановить крайне трудно.
Ранее учёные пытались решать эту задачу, строго опираясь на законы геометрической оптики и распространения волн. По ограниченным измерениям строились грубые приближения: система угадывала примерный объём или контур, но теряла важные детали. Команда Фаделя Адиба выбрала другой путь: физика используется только для первичной, неполной реконструкции, а дальше вступает в игру генеративный ИИ, который "достраивает" невидимые части, ориентируясь на статистику реальных объектов.
Wave-Former работает по двум основным этапам. Сначала радар собирает данные, из которых строится частичная 3D-модель с большими "пробелами": видны лишь фрагменты формы, хорошо попавшие в зону отражения. Затем эта заготовка поступает в генеративную нейросеть, обученную на большом количестве примеров. Модель по сути "догадывается", какие формы больше всего соответствуют увиденным кускам, и восстанавливает объём целиком - так, чтобы он был физически правдоподобен и согласован с сигналами радара.
Отдельный вызов - обучение такой нейросети. Собирать огромный датасет с реальными измерениями миллиметрового радара практически нереально: это требует сложной аппаратуры, длительных экспериментов и точной разметки. Вместо этого исследователи взяли существующие наборы данных по компьютерному зрению, где уже есть тысячи трёхмерных моделей реальных объектов, и "встроили" в них законы распространения миллиметровых волн. Они смоделировали, как бы выглядели отражения радара от этих форм, и таким образом создали синтетическую обучающую выборку.
Такой гибридный подход сочетает сильные стороны двух миров: точность физики и гибкость ИИ. Математическая модель волн даёт реалистичное поведение сигнала, а генеративная сеть учится восстанавливать целостные объекты из фрагментов, опираясь на гигантский статистический опыт. В результате система уверенно распознаёт и реконструирует предметы даже в условиях, когда большая часть информации скрыта и напрямую недоступна.
Параллельно в MIT разработали вторую систему - RISE, которая поднимает идею беспроводного зрения на новый уровень. Если Wave-Former ориентирован на отдельные объекты, то RISE занимается уже целыми помещениями. Один стационарный миллиметровый радар и несколько людей, перемещающихся по комнате, оказываются достаточными, чтобы алгоритм восстановил планировку и расположение крупной мебели.
Ключ к работе RISE - так называемые вторичные или "призрачные" отражения. Когда миллиметровые волны попадают на человека, часть сигнала действительно возвращается обратно к сенсору, но другая часть сначала отражается от человека, затем от стен, шкафов, столов и лишь после этого приходит к радару. В классических радиосистемах такие сложные многократные отражения считаются шумом и помехами и просто отбрасываются. Команда MIT подошла к ним наоборот: как к источнику скрытой информации о геометрии помещения.
ИИ-модель RISE учат находить закономерности именно в этих "грязных" сигналах. По временной задержке и изменению формы отражения система постепенно восстанавливает, где в комнате расположены объекты, какова форма стен, где стоят крупные предметы. В итоге RISE смогла вдвое превзойти по точности ранее существующие методы беспроводной реконструкции интерьеров, используя минимальное количество оборудования.
Обе работы будут представлены на крупной конференции по компьютерному зрению CVPR, что подчёркивает не только инженерную, но и научную значимость подхода. Важно, что речь идёт не о разовом демонстрационном трюке, а о формировании нового класса систем - "беспроводного зрения", где радиоволны и нейросети работают совместно как альтернативный канал восприятия мира для роботов.
Практических сценариев у таких технологий - десятки. Один из наиболее очевидных - логистика и склады. Роботы, оснащённые миллиметровыми радарами и Wave-Former, смогут "просвечивать" запечатанные коробки и проверять содержимое, не вскрывая упаковку. Это позволит заранее обнаруживать брак: например, треснувшую кружку, согнутый столовый прибор или неправильно уложенный товар, который может повредиться в пути.
Другой перспективный вариант - домашние сервисные роботы. В отличие от камер, которые требуют прямой видимости и неизбежно затрагивают вопрос приватности, миллиметровые волны позволяют оценивать присутствие и расположение людей сквозь перегородки и мебель, практически не раскрывая визуальных деталей. Робот сможет понять, в какой части комнаты находится человек, обойти его, подать предмет или, напротив, не заходить в зону, где кто-то отдыхает, при этом не записывая фото- или видеоданные.
Технологии беспроводного зрения потенциально полезны и в медицине - от поисково-спасательных операций до ассистивных систем в домах престарелых. Радар способен "увидеть" человека за лёгкой перегородкой или под завалами, отследить его движения, зафиксировать падение, даже если камеры ничего не фиксируют. В экстренных ситуациях это может помочь спасателям быстрее находить пострадавших, а в быту - автоматически вызывать помощь при опасных инцидентах.
Отдельный пласт применений связан с робототехникой в сложных условиях: на производстве, в дыму, пыли, при плохом освещении. Там, где оптические сенсоры "слепнут", радиоволны сохраняют работоспособность. Робот с системой наподобие Wave-Former или RISE сможет уверенно ориентироваться, обходить препятствия и выполнять задачи без зависимости от качества освещения или прозрачности воздуха.
Однако столь мощные инструменты неизбежно вызывают вопросы о границах допустимого использования. Возможность "видеть" сквозь стены и преграды ассоциируется с рисками слежки, несанкционированного наблюдения и злоупотреблений. Разработчикам придётся не только совершенствовать точность алгоритмов, но и продумывать встроенные механизмы защиты приватности: ограничение разрешения, анонимизацию данных, невозможность идентификации конкретных людей по форме тела и движению.
На техническом уровне эта область тоже далека от завершения. Текущие системы работают в контролируемых условиях и пока ограничены по дальности, скорости и устойчивости к сильным помехам. Миллиметровые волны чувствительны к некоторым материалам и расположению мебели, а генеративные модели могут ошибаться в ситуациях, когда объект сильно отличается от тех, на которых они обучались. Следующий шаг - сделать решения более универсальными, устойчивыми и адаптивными к разнообразным реальным сценариям.
Интересно, что эти разработки меняют само понимание того, каким может быть "зрение" робота. Традиционно под ним подразумевают камеры и обработку изображений, максимально близких к человеческому восприятию. В подходе MIT зрение превращается в абстрактную задачу: по любому сигналу - будь то свет, радиоволны или вовсе ультразвук - восстановить структуру мира вокруг. Это открывает путь к мультисенсорным системам, где оптика, радар и ИИ объединяются, чтобы давать машине намного более полное и надёжное представление о реальности.
Авторы проекта подчёркивают: их цель - не заменить классические камеры, а "разблокировать" скрытый потенциал беспроводных сигналов, которые уже повсюду окружают нас - от роутеров до мобильных устройств. Используя искусственный интеллект, они превращают то, что раньше считалось шумом и помехами, в источник ценной информации, способной сделать роботов безопаснее, умнее и деликатнее по отношению к личному пространству человека.
