על מנת להסתגל לסביבה העירונית הפתוחה, גופים אינטליגנטים צריכים לתפוס את תנועות הגוף של האנשים הסובבים ולמבנה הסצינה בזמן אמת. התפיסה המסורתית פירושה המבוססת על חיישנים ומצלמות אינרציאליות, שיש להן את הבעיות של נתוני זמן סחף ורגישות לשינויים דינמיים באור ולסביבה, בהתאמה, לעמוד בביקוש לתנועת גוף האדם ולתפוס סצינות בסביבות מורכבות ביישום שדות נהיגה חכמה, רובוטיקה שירות ואימוני ספורט.

מאז 2022 הצוות של פרופ 'צ'נג וואנג ופרופ' צ'נגלו וון היה הראשון שהציע טכנולוגיית לכידת תנועה אנושית של לידר בזירה הבינלאומית (LIDARCAP, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023). בפרסום זה, HISC4D, הצוות פורץ שיטה לתפוס תנועות אינטראקציה מגוונות של שני אנשים וסצינות תלת מימד בתצוגה בגוף ראשון בסצינות פתוחות מקורות וחיצוניות רחבות היקף. השיטה בונה מסגרת אופטימיזציה משותפת מרובת שלבים על ידי מיזוג הנחיות אינרציאליות ונתוני LIDAR, אשר פותר למעשה את בעיית הסחף הנגרמת כתוצאה מהדרכה אינרציאלית ומשפר משמעותית את דיוק השחזור של הסצנה ומרחיב את טווח התנועה המרחבית, האנושית ותפיסת האינטראקציה. במקביל, משוחרר מערך האינטראקציה המולטי-מודאלית הראשונה לשני אנשים, המכסה סוגי סצינות שונים ותנועות אנושיות מגוונות, ומספק משאבי נתוני הדרכה לתחומי מחקר קשורים. טכנולוגיית HISC4D משתמשת ב- LIDAR כחיישן הליבה כדי לשחזר תנועות אנושיות וסצינות תלת מימד ב- באותה תקופה, הפותחת דרך חשיבה חדשה שהאינטליגנציה המגולמת תעבור לחיק הטבע והשתלב בקהל.









