Оптичні досенсорні обчислення відкривають нові можливості для машинного зору в робототехніці та AI

 

Дослідники з Університету Цінхуа опублікували науковий огляд, присвячений оптичним досенсорним обчисленням (Optical Pre-sensor Computing) - перспективному підходу до обробки візуальної інформації ще до її фіксації фотодетекторами.

У статті під назвою «Review of Optical Pre-sensor Computing» розглянуто, як використання оптичних операторів та оптичних нейронних мереж дозволяє перенести частину обчислювальних навантажень з електронних процесорів безпосередньо в оптичний домен.

Традиційні системи машинного зору працюють за послідовною схемою: формування зображення -> зчитування сенсором -> оцифрування -> передача -> обробка електронним процесором. Великі обсяги сирих даних вимагають суттєвих енерговитрат та створюють затримки. Це стає критичним бар'єром для автономних роботів та безпілотних транспортних засобів, які змушені швидко реагувати на зміни середовища в умовах жорстких обмежень за потужністю та габаритами.

Досенсорні оптичні обчислення докорінно змінюють цей процес. Оптичні елементи (на основі дифракції, оптики Фур'є, розсіювання чи геометричної оптики) виділяють ключові характеристики або стискають візуальну інформацію безпосередньо під час поширення світлової хвилі.

На сенсор потрапляє вже профільтрований сигнал, що зменшує обсяг оцифрування та навантаження на шину даних.

Дослідники порівнюють оптоелектронні та повністю оптичні механізми нелінійної активації, які є необхідними для виконання складних завдань оптичними нейромережами.

Для успішної інтеграції оптичного фронтенду в реальні системи робототехніки та Physical AI науковці виділяють кілька критичних умов. Перш за все, потрібна компактна інтеграція з можливістю поєднання оптичних модулів із матрицями сенсорів.

Також вказують на сумісність із некогерентним випромінюванням у реальних умовах довкілля.

Йдеться й про ефективне використання активних модуляторів без втрати загальної енергоефективності.

А стійкість до зовнішніх факторів забезпечує здатність зберігати точність обчислень під час руху та вібрацій.

На думку авторів, поєднання досенсорної обробки з обчисленнями всередині сенсорів (in-sensor computing) та фотонними процесорними чипами дозволить створити наскрізну конвеєрну систему сприйняття для автономних систем майбутнього.

Як безпечно перейти до системного та керованого використання ChatGPT Business