AR-окуляри навчилися відстежувати вираз обличчя і рух очей без камер

Співробітники Корнельського університету розробили технології GazeTrak і EyeEcho, здатні зробити технологічний стрибок в сегменті гарнітур доповненої реальності. Обидві розробки допоможуть знизити енергоспоживання гаджетів і вміють фіксувати вираз обличчя і рух очей власника без використання камер.

Розроблені технології дозволяють одночасно відстежувати рухи очей і сканувати вираз обличчя користувача окулярів за допомогою гідролокаторів. Зазвичай для такої роботи використовуються камери, через що система споживає більше електроенергії і знижує автономність AR-гарнітур. Гідролокатори дозволяють вирішити цю проблему.

Система GazeTrak задіє один динамік і чотири мікрофони на кожній оправі. Динаміки випромінюють імпульсні звукові хвилі, непомітні для слуху, а спеціальне програмне забезпечення на основі ШІ постійно відстежує напрямок погляду користувача. В цей же час технологія EyeEcho випромінює і вловлює звукові хвилі за допомогою одного динаміка і одного мікрофона, розташованих поруч з шарнірами окулярів. Програмне забезпечення зіставляє відмінності в часі відгуку звукових хвиль з рухами шкіри і м’язів, дозволяючи відстежувати конкретні зміни на обличчі.

Навіть після чотирьох хвилин тестового режиму з аналізом міміки кожного з дванадцяти випробовуваних система навчилася точно читати міміку під час роботи. Дані рішення дозволять виробникам AR-гарнітур повністю відмовитися від використання камер у власних розробках, знизивши їх вартість і енергоспоживання.