Недавно исследовательская группа разработала нейроморфную систему управления экспозицией (NEC), которая улучшает машинное зрение в условиях экстремальных изменений освещенности. Опубликованная в Nature Communications, эта биологически вдохновленная система имитирует человеческое периферийное зрение, достигая беспрецедентной скорости и надежности в динамических средах восприятия.
Исследовательскую группу возглавляли профессор Цзя Пан и профессор Ифань Эван Пэн с кафедры компьютерных наук и кафедры электротехники и электроники инженерного факультета Университета Гонконга (HKU) в сотрудничестве с исследователем из Австралийского национального университета.
Традиционные системы автоматической экспозиции (AE) полагаются на итеративную обратную связь по изображению, создавая дилемму «курица или яйцо», которая не срабатывает при резких изменениях яркости (например, туннели, блики).
Система NEC решает эту проблему путем интеграции камер событий — датчиков, которые фиксируют изменения яркости по пикселям как асинхронные «события» — с новым алгоритмом Trilinear Event Double Integral (TEDI).
Этот подход: работает со скоростью 130 миллионов событий/сек на одном ЦП, что позволяет развертывать периферию.
«Подобно тому, как наши зрачки мгновенно адаптируются к свету, NEC имитирует биологическую синергию между путями сетчатки», — пояснил Шицзе Линь, первый автор статьи.
«Объединяя потоки событий с физическими показателями света, мы обходим традиционные узкие места, чтобы обеспечить зрение, не зависящее от освещения».
В ходе испытаний группа проверила NEC в критически важных сценариях: Автономное вождение: улучшенная точность обнаружения (mAP +47,3%) при выезде транспортных средств из туннелей на яркий солнечный свет.
Дополненная реальность (AR): достигнуто на 11% более точное определение позы (PCK) при отслеживании руки под хирургическим освещением.
3D-реконструкция: обеспечивает непрерывную SLAM-съемку в условиях чрезмерного воздействия, где обычные методы неэффективны.
Медицинская помощь с дополненной реальностью: сохранение четкой интраоперационной визуализации, несмотря на динамическую регулировку прожектора. Профессор Пан сказал: «Этот прорыв представляет собой значительный скачок в машинном зрении , преодолевая разрыв между биологическими принципами и вычислительной эффективностью.
Система NEC не только устраняет ограничения традиционного контроля экспозиции, но и прокладывает путь для более адаптивных и устойчивых систем зрения в реальных приложениях — от автономных транспортных средств до медицинской робототехники».
Профессор Пэн прокомментировал: «Наша совместная работа сыграла важную роль в расширении границ нейроморфной инженерии.
Используя основанное на событиях зондирование и биоинспирированные алгоритмы, мы создали систему, которая не только быстрее, но и более надежна в экстремальных условиях.
Это свидетельствует о силе междисциплинарных исследований в решении разнообразных сложных инженерных задач».
В долгосрочной перспективе парадигма NEC предлагает новую схему обработки событий и кадров, которая снижает нагрузку на обработку событий/изображений высокого разрешения и включает биологически правдоподобные принципы в низкоуровневый контроль машинных глаз.
Это открывает новые возможности для проектирования камер, системного управления и алгоритмов нисходящего потока.
Успех команды в воплощении нейроморфной синергии в различных системах является важной вехой, которая может вдохновить многие оптические/изображения/нейроморфные конвейеры обработки и подразумевает прямые экономические и практические последствия для отрасли.
Рубрика: Техно и Гаджеты. Читать весь текст на android-robot.com.