В скорошно проучване изследователи от Китай са разработили чип-мащабна LiDAR система, която имитира фовеацията на човешкото око чрез динамично концентриране на усещането с висока-резолюция върху регионите на интерес (ROI), като същевременно поддържа широка осведоменост в цялото зрително поле.
Изследването е публикувано в спNature Communications.
Системите LiDAR захранват машинното зрение в-автомобили, дронове и роботи, като изстрелват лазерни лъчи за картографиране на 3D сцени с милиметрова точност. Окото събира най-плътните си сензори във фовеята (остро централно зрително петно) и премества погледа си към това, което е важно. За разлика от това, повечето LiDAR използват твърди паралелни лъчи или сканирания, които разпространяват еднаква (често груба) резолюция навсякъде. Увеличаването на детайлите означава равномерно добавяне на повече канали, което взривява разходите, мощността и сложността.
Дизайнът на екипа постига ъглова разделителна способност „отвъд-ретината“ от 0,012 градуса в ROI-два пъти по-резки от приблизителното ограничение на окото от 0,017 градуса. Това означава, че системата може да различи точки, разделени от най-малки ъгли, като избиране на фини детайли на отдалечен пътен знак. Той преразпределя паралелни канали за отчитане при поискване, като избягва скъпоструващото грубо-мащабиране.
Phys.org разговаря със съ-авторите на изследването, Ruixuan Chen и Xingjun Wang, от Факултета по електроника на Пекинския университет.
„Мотивацията идва от практическо несъответствие между биологичното и машинното възприятие“, обясняват изследователите. „Човешкото око постига висока острота и енергийна ефективност чрез пренасочване на вниманието-поддържане на широка осведоменост, като същевременно концентрира ресурсите върху това, което има значение. За разлика от това, резолюцията на LiDAR често се преследва от „повече канали навсякъде“, което бързо става скъпо и-енергоемко.“
Проблемът с мащабирането
Системите за машинно зрение се разшириха отвъд традиционните камери, за да включват сензори LiDAR, които позволяват прецизно измерване на разстояние и 3D възприемане на околната среда. За разлика от пасивните камери обаче, LiDAR изисква хардуер за излъчване и приемане за всеки пиксел, ограничавайки постижимата разделителна способност.
Настоящите подходи за подобряване на резолюцията на LiDAR са изправени пред критично тясно място. Дублирането на канали осигурява линейни печалби в разделителната способност, но предизвиква суперлинейни експлозии в сложността, мощността и цената.
„Първо, разделителната способност е тясно свързана с броя на хардуерните канали и механиката на сканиране. Второ, LiDAR е активен сензор: всеки пиксел ефективно струва както ресурси за предаване, така и за получаване“, обясниха изследователите. „Това прави адаптивното фокусиране фундаментално по-трудно, отколкото при пасивното изобразяване, тъй като трябва да управлявате оптичната мощност, чувствителността на приемника и честотната лента на цифровизацията, като същевременно отговаряте на-ограниченията за безопасност.“
За LiDAR с кохерентна честотна-модулирана непрекъсната вълна това предизвикателство е особено остро. Всеки кохерентен канал изисква стабилен контрол на честотата, сложен хардуер за приемане и строго калибриране. Това прави масовото дублиране на канали много по-трудно за икономически оправдание.
Биомиметично решение
Решението на изследователите съчетава две ключови технологии. Те включват гъвкав лазер с външна -кухина (ECL) с обхват на настройка над 100 nm и преконфигурируеми електро-оптични честотни гребени, изградени върху платформи с тънък-слой литиев ниобат (TFLN).
ECL осигурява високо{0}}качествени FMCW чирп сигнали за кохерентно определяне на обхвата и действа като-контролиран лъч-механизъм за управление на дължината на вълната. Чрез настройване на централната дължина на вълната системата може бързо да пренасочи посоката си на гледане в широко зрително поле.
След това електро{0}}оптичният гребен генерира множество паралелни FMCW носители от един и същи чирпиращ лазерен източник. Най-важното е, че регулирането на условията на радиочестотното задвижване променя разстоянието между гребените.
„Това е, което позволява „увеличаване“-ние можем да увеличим плътността на точките в избран регион (по-фино вземане на проби) или да го облекчим (по-грубо вземане на проби), без да променяме оптиката или да добавяме канали“, добавят изследователите.
Системата използва това, което изследователите наричат „микро-паралелизъм“. Това означава използване на умерен брой физически канали за постигане на еквивалента на много повече сканиращи линии чрез динамично препозициониране.
Експериментално валидиране
Екипът демонстрира възможностите на системата в три експериментални сценария, постигайки ъглова разделителна способност от 0,012 градуса във фокусирани области-, надхвърляйки номиналната граница на човешката ретина.
При изобразяване на статични сцени системата засне симулирана пътна среда с разделителна способност от 54 на 71 пиксела за сканиране на пълно поле--изглед и 17 на 71 пиксела за сканиране с локален фокус. Тези фокусирани сканирания учетвориха вертикалната плътност на детайлите, разкривайки препятствия, които преди това бяха невидими, с 90% от точките с точност до под 1,3 cm.
Изследователите също демонстрираха сливане на LiDAR-камера, създавайки оцветени облаци от точки, които комбинират прецизна 3D геометрия с RGB данни за външния вид. При сравняване на стандартни спрямо фокусирани сканирания, подравняването на цветната хистограма се подобри с приблизително 10%, което показва по-добро съответствие между 3D точки и пиксели на изображението.
„Чрез сливането на LiDAR с камера, ние генерираме оцветени облаци от точки и обогатяваме представянето на сцената, което подобрява интерпретируемостта и поддържа задачи за възприемане надолу по веригата, които зависят от текстура и семантични знаци“, обясниха изследователите.
Може би най-впечатляващото е, че екипът е заснел 4D-в реално{0}}време-плюс изображения-баскетболно хвърляне, където всяка точка показва едновременно позиция, скорост на въртене, отразяваща способност на повърхността и цвят. При 8 Hz в широко зрително поле това разкрива модели на движение, невидими за стандартния 3D LiDAR.
Експерименталната работа разкри важни компромиси-на ниво система, които информират за бъдещите пътища на развитие.
„Най-ясното е напрежението между ъгловата разделителна способност и -пространството за измерване на канал“, отбелязват изследователите. „В нашето паралелно кохерентно отчитане всеки канал трябва да заема своя собствена неприпокриваща се електрическа лента. Когато намалим честотата на повторение, можем наистина да увеличим ъгловото вземане на проби по-фино, но експериментът показва, че това също така компресира честотната лента на отчитане на-канал.“
Екипът идентифицира няколко приоритетни насоки за напредване на технологията към практическо внедряване. Те включват по-дълбока монолитна интеграция в платформи TFLN, разработване на ултра-широколентови преместени източници за подобрена разделителна способност на обхвата и внедряване на затворени-циклични политики за внимание за-възприятие, управлявано от събития.
Настоящите експерименти, използващи влакнести връзки, въвеждат поляризационна нестабилност, която ограничава възможностите за класифициране на материалите.
„Въпреки това, ние предвиждаме, че монолитната интеграция ще реши фундаментално това тясно място“, казаха изследователите. „Чрез преминаване от нестабилни влакнести пътища към ограничени върху-чип вълноводи, можем да постигнем стабилно възстановяване на поляризацията.“
Бионичната система LiDAR предлага потенциални приложения, обхващащи автономни превозни средства, въздушни и морски дронове, роботика и невроморфни системи за зрение. Отвъд LiDAR, реконфигурируемите гребени позволяват бърз спектрален анализ за оптични комуникации, кохерентна томография, компресивно наблюдение и прецизна метрология, според изследователите.
