SpatialLM — это большая языковая 3D-модель, предназначенная для обработки данных трехмерного облака точек и создания структурированных выходных данных для понимания трехмерной сцены. Эти выходные данные включают в себя архитектурные элементы, такие как стены, двери, окна и рамки ориентированных объектов с их семантическими категориями. В отличие от предыдущих методов, требующих специального оборудования для сбора данных, SpatialLM может обрабатывать облака точек из различных источников, таких как монокулярные видеопоследовательности, изображения RGBD и датчики LiDAR. Эта мультимодальная архитектура эффективно устраняет разрыв между неструктурированными 3D-геометрическими данными и структурированными 3D-представлениями, обеспечивая семантическое понимание высокого уровня. Он расширяет возможности пространственного мышления для приложений в области встроенной робототехники, автономной навигации и других сложных задач анализа трехмерных сцен. SpatialLM реконструирует 3D-макет на основе монокулярного RGB-видео с помощью MASt3R-SLAM. Результаты сопоставлены с видео камерами GT для визуализации. В текущей версии SpatialLM входные облака точек считаются выровненными по оси, где ось Z является верхней осью. Эта ориентация имеет решающее значение для поддержания согласованности пространственного понимания и интерпретации сцен в различных наборах данных и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: manycore-research
Теги: spatiallm_qwen, conversational, endpoints_compatible
Лайков: 92 | Загрузок: 106
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
