Open AI і Google представили інструмент Activation Atlases, який дозволяє дізнатися, що бачить нейромережа (1)

Компанії Open AI і Google створили новий інструмент під назвою Activation Atlases для візуалізації взаємодій між нейронами в ІІ-системах. Він дозволяє проникнути в «свідомість» машини, щоб краще зрозуміти внутрішні процеси прийняття рішень штучним інтелектом, а також виявити їхні помилки і недоліки. Activation Atlases побудований на методі візуалізації можливостей. Він дає уявлення про те, що собою представляють приховані шари нейронних мереж, які, в свою чергу, роблять машинне навчання більш доступним і интерпретируемым. Іншими словами, з його допомогою дослідники можуть аналізувати роботу окремих алгоритмів, розуміючи, яким чином вони об’єднують різні абстрактні елементи для ідентифікації конкретних об’єктів.

Activation Atlases нарешті допоможе відповісти на питання, що насправді бачить нейронна мережа. Подібні дослідження проводилися і раніше, але тоді це було схоже на виявлення окремих букв у візуальному алфавіті алгоритмів. Нове дослідження вже ближче до цілого словнику, воно пояснює, як ці букви з’єднуються в слова. Один з авторів роботи порівнює Activation Atlases з мікроскопом для нейромереж.

В Open AI вважають, що за допомогою даної технології можна виявити непередбачені проблеми в нейронних мережах, наприклад, в місцях, де мережа покладається на помилкові кореляції при класифікації зображень (алгоритми могли попутати темношкірих людей з горилами), або коли повторне використання функції призводить до дивних помилок.

Activation Atlases використовує відому нейронну мережу під назвою GoogLeNet або InceptionV1, яка навчена на зображеннях з бази даних ImageNet. Вона обробляє дані приблизно через десять шарів, що складаються з сотень нейронів. У свою чергу, кожен нейрон активується різною мірою на різних типах зображень. Дослідники простежили цей процес і з’ясували, які саме елементи зображень викликають відгук у системи. Приклад роботи Activation Atlases можна побачити тут.

Джерело: The Verge