За да се адаптират към отворената градска среда, интелигентните тела трябва да улавят движенията на тялото на околните хора и структурата на сцената в реално време. Традиционното възприятие означава, че се основава на инерционни сензори и камери, които имат проблемите на отдалеването на данните и чувствителността към динамичните промени в светлината и околната среда, съответно, са трудни за задоволяване на търсенето на движение на човешкото тяло и улавяне на сцената в сложни среди в приложението полета на интелигентно шофиране, роботика за обслужване и спортни тренировки.
От 2022 г. екипът на проф. Чен Уанг и проф. Ченглу Вен е първият, който предложи технологията за улавяне на човешкото движение на Lidar на международната арена (Liderarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4d, CVPR 2023). В тази публикация HISC4D екипът пробива метод за улавяне на различни движения за взаимодействие с двама души и 3D сцени в изглед от първо лице в мащабни на закрито и открити сцени. Методът конструира многоетапна рамка за оптимизация на съвместната съвместна работа чрез сливане на инерционни насоки и данни на LiDAR, които ефективно решават проблема с дрейфа, причинен от инерционните насоки и значително подобрява точността на реконструкция на сцената и разширява обхвата на пространственото, човешкото движение и улавянето на взаимодействието. В същото време се освобождава първият мултимодален набор от данни за взаимодействие с двама души, обхващащ различни типове сцени и диверсифицирани човешки движения, предоставяйки ресурси за обучение на данни за свързани изследователски области. Технологията HISC4D използва Lidar като основен сензор за реконструкция на човешките движения и 3D сцени в По същото време, което отваря нов начин на мислене за въплътената интелигентност, за да отиде на огромното на открито и да се интегрира в тълпата.
