HITCH связала зрительно-языковую модель с управлением Unitree G1

Гуманоид Unitree G1 перенёс коробку между столами и дошёл до цели в испытаниях системы HITCH. Для дообучения модели использовали примеры из симуляции, без реальных обучающих данных. Препринт опубликован 5 ноября 2026 года.

Как модель управляет телом

Модель получает изображение с камеры и текстовое задание. Она выбирает точки на изображении, а HITCH определяет их координаты в пространстве. Затем команды для рук, корпуса, ходьбы и направления взгляда превращаются в согласованные движения всего тела с помощью обученного контроллера.

Модель дообучили на примерах выполнения пяти базовых задач, включая перенос предметов, навигацию и открывание дверей.

Что проверили

В симуляции доля успешных попыток составила около 51% в SIMPLE и 42,5% на четырёх выбранных задачах HumanoidArena, без обучающих примеров этих тестовых задач. Пять дополнительных демонстраций каждой задачи SIMPLE подняли результат до 95%.

На физическом G1 авторы сообщили о 13 успешных переносах коробки из 20 попыток и шести успешных проходах к цели из десяти. Это отдельные испытания двух задач; проценты из симуляции на них не распространяются. Результаты описаны в исследовательском препринте.

Источник: HITCH на arXiv, 5 ноября 2026 года.

Иллюстрации показывают модель Unitree G1 на выставках, а не испытания HITCH. Фото: Sayanesy / Wikimedia Commons (CC0), UAV Expo 2024; RuinDig / Yuki Uchida (CC BY 4.0), Japan Mobility Show 2025. Во втором кадре G1 слева, Go2 справа. Изображения масштабированы и кадрированы при показе.