Open AI і Google представили інструмент Activation Atlases, який дозволяє дізнатися, що бачить нейромережа (1)
Компанії Open AI і Google створили новий інструмент під назвою Activation Atlases для візуалізації взаємодій між нейронами в ІІ-системах. Він дозволяє проникнути в «свідомість» машини, щоб краще зрозуміти внутрішні процеси прийняття рішень штучним інтелектом, а також виявити їхні помилки і недоліки. Activation Atlases побудований на методі візуалізації можливостей. Він дає уявлення про те, що собою представляють приховані шари нейронних мереж, які, в свою чергу, роблять машинне навчання більш доступним і интерпретируемым. Іншими словами, з його допомогою дослідники можуть аналізувати роботу окремих алгоритмів, розуміючи, яким чином вони об’єднують різні абстрактні елементи для ідентифікації конкретних об’єктів.
Activation Atlases нарешті допоможе відповісти на питання, що насправді бачить нейронна мережа. Подібні дослідження проводилися і раніше, але тоді це було схоже на виявлення окремих букв у візуальному алфавіті алгоритмів. Нове дослідження вже ближче до цілого словнику, воно пояснює, як ці букви з’єднуються в слова. Один з авторів роботи порівнює Activation Atlases з мікроскопом для нейромереж.
В Open AI вважають, що за допомогою даної технології можна виявити непередбачені проблеми в нейронних мережах, наприклад, в місцях, де мережа покладається на помилкові кореляції при класифікації зображень (алгоритми могли попутати темношкірих людей з горилами), або коли повторне використання функції призводить до дивних помилок.
Activation Atlases використовує відому нейронну мережу під назвою GoogLeNet або InceptionV1, яка навчена на зображеннях з бази даних ImageNet. Вона обробляє дані приблизно через десять шарів, що складаються з сотень нейронів. У свою чергу, кожен нейрон активується різною мірою на різних типах зображень. Дослідники простежили цей процес і з’ясували, які саме елементи зображень викликають відгук у системи. Приклад роботи Activation Atlases можна побачити тут.
Джерело: The Verge
- В Viber з’явилася темна тема і групові дзвінки (2)
- З’явилися перші фото другого покоління очок Google Glass Enterprise Edition з портом USB-C (1)
- ОС Windows Lite буде підтримувати пристрою з двома екранами (1)
- OnePlus 7 з’явився на відео-рендері, показуючи головну особливість (1)
- Моделі Xiaomi отримали оновлення від якого захваті багато користувачів (1)
- Xiaomi Mi 9 отримав перше оновлення, змінює виріз в дисплеї (1)