Алгоритм-психопат, якому ввижаються трупи

Алгоритм Norman назван в честь персонажа фильма Альфреда Хичкока "Психо" Копирайт изображения MIT
Image caption Алгоритм Norman назвали на честь персонажа фільму Альфреда Хічкока "Психо"

Norman - алгоритм, який навчений інтерпретувати фотографії та інші зображення. Але це не звичайний приклад штучного інтелекту (ШІ). Norman у всьому бачить жахи.

Звичайний алгоритм програми штучного інтелекту, відповідаючи на питання, що він бачить на зображенні, зазвичай інтерпретує його як щось суто позитивне.

Приклад: зграя птахів на гілці дерева. Norman, вивчаючи таке зображення, бачить людину, яку катують струмом.

Цей психопатичний алгоритм створила команда дослідників Массачусетського технологічного інституту (MIT).

Вони намагалися зрозуміти, як вплинуть на сприйняття світу штучним інтелектом фотографії та зображення з "темних куточків" інтернету.

Програмі показували викладені у Reddit фотографії людей, що гинуть в жахливих обставинах.

Потім алгоритму, який навчився розпізнавати зображення і описувати, що він бачить, показали тест Роршаха: симетричні щодо вертикальної осі чорнильні плями різних кольорів.

Психологи вже кілька десятиліть використовують подібний тест для того, щоб зрозуміти, наскільки позитивно або негативно пацієнт думає про світ.

Norman постійно бачив жахи - трупи, кров і розруху в кожній такій плямі.

Image caption Стандартний ШІ бачить тут квіти у вазі. Norman - застрелену людину

Одночасно інший алгоритм штучного інтелекту навчався на позитивних фотографіях - знімках людей, пташок, котів тощо.

Другий алгоритм не побачив нічого страшного у плямах Роршаха.

Той факт, що Norman бачить лише жахи, демонструє одну з фундаментальних проблем процесу машинного навчання, вважає професор Массачусетського технологічного інституту Іяд Рахвал.

"Набір вихідних даних важливіший за сам алгоритм, - говорить він. - Відбір інформації, яка застосовується для тренування штучного інтелекту, відбивається на тому, як цей штучний інтелект сприймає навколишній світ і які висновки він робить".

Image caption Стандартний ШІ бачить тут маленьку пташку. Norman - людину, яку затягує до м'ясорубки

Штучний інтелект вже широко застосовують у багатьох сферах життя - від органайзерів до електронної пошти, від програм захисту банків від шахрайства до алгоритмів, здатних розпізнавати обличчя.

Google, наприклад, нещодавно продемонструвала свій алгоритм, який може дзвонити і підтримувати нормальну розмову з людиною, яка навіть не підозрює, що розмовляє з комп'ютером.

Фірма Deepmind розробила алгоритми, які можуть самостійно вчитися грати у складні настільні ігри.

Image caption Стандартний ШІ бачить людину з парасолькою. Norman - чоловіка, якого вбивають перед його дружиною, що кричить від жаху

Програми штучного інтелекту вже можуть писати новинні повідомлення, створювати нові рівні відео ігор, допомагати аналізувати фінансові та медичні звіти і багато іншого.

Експеримент із Norman вказує, якщо алгоритм штучного інтелекту базується на погано підібраній початковій інформації, то він сам стане робити відповідні висновки.

Расизм

Norman бачить у всьому смерть, вбивства і розруху, тому що він не знає нічого іншого. Алгоритми штучного інтелекту, що вже застосовують у повсякденному житті, можуть бути упереджені. Залежно від того, на основі якої інформації їх тренували.

У травні 2017 року, наприклад, опублікували результати дослідження, які показали, що алгоритм, який використовує один із судів у США для визначення ступеня ризику при звільненні затриманих під заставу, упереджено ставився до чорношкірих арештованих.

Image caption Стандартний ШІ бачить фотографію весільного торта. Norman - чоловіка, який потрапив під колеса

Комп'ютерна програма була впевнена, що чорношкірі вдвічі частіше здійснюють повторні злочини лише тому, що алгоритм готували на основі неповних і невірно підібраних даних.

Алгоритми прогнозу злочинності, якими користуються поліцейські багатьох міст в США, також ловили на прихованому расизмі, адже їхні висновки базуються на даних про злочинність минулих років.

У деяких випадках люди навмисно навчають алгоритми штучного інтелекту різним безглуздим ідеям.

Наприклад, після того як 2016 року Microsoft запустила у Twitter свій чатбот Tay, він відразу ж став популярним серед тролів, які навчили його підтримувати расистські ідеї, закликати до геноциду і захоплюватися Гітлером.

Тож Norman - не єдиний штучний інтелект, який легко піддається шкідливим впливам.

І йдеться не лише про расизм.

Результати одного дослідження продемонстрували, що алгоритм штучного інтелекту, який тренувався на новинах від Google, став дотримуватися сексистських переконань.

Коли його попросили додати відсутні слова до фрази "Чоловік - програміст, а жінка ...", алгоритм відповів "домогосподарка".

"Це наші упередження"

Доктор Джоанна Брайсон з Університету Бата каже, що подібний сексизм алгоритмів може пояснюватися тим, що програмують їх найчастіше молоді холостяки з Каліфорнії, й що можна уникнути подібних упереджень, якщо серед програмістів буде більше людей різного віку і походження.

В інтерв'ю ВВС вона сказала, що алгоритми штучного інтелекту відображають упередженість своїх вчителів, й нічого дивного в цьому немає.

"Якщо ми тренуємо машини, ґрунтуючись на нашій власній культурі, то ми передаємо їм власні упередження", - каже вона.

"Справедливості та об'єктивності неможливо досягти математично. У тому, що стосується машинного навчання, упередження не такі погані самі по собі. Це лише означає, що комп'ютерна програма виявляє стабільні параметри поведінки", - стверджує фахівець.

Але Джоану Брайсон турбує можливість того, що хтось із програмістів вирішить навмисне вчити штучний інтелект чогось поганого.

Щоб цьому запобігти, розробка штучного інтелекту повинна бути більш прозорою і дотримуватися певних правил.

Професор Разван каже, що експеримент з Norman демонструє, що програмісти повинні знайти якийсь спосіб балансувати вхідну інформацію. Він визнає, що бурхливе зростання машинного навчання не може залишатися в руках одних лише програмістів.

"Багато хто вважає, що поведінку комп'ютерів можна вивчати так само, як вивчають поведінку людей", - говорить він.

Ця нова епоха психології штучного інтелекту може, наприклад, включати регулярні аудити систем, що розробляються, як це вже відбувається у банківській справі.

Директор Microsoft Search Дейв Коплін вважає, що проект зі створення алгоритму Norman сприятиме громадським дебатам щодо штучного інтелекту і його застосування.

"По-перше, ми всі повинні зрозуміти, як саме ці комп'ютери працюють, - говорить він. - Зараз ми навчаємо алгоритми так само, як ми навчаємо людей, і є ризик того, що ми не все робимо правильно".

"Коли мені відповідає алгоритм, не завадить знати, хто саме його створив, - додає він. - Наприклад, якщо я запитаю створений в Північній Америці алгоритм про те, як зробити собі чаю, він мені скаже, що потрібно налити трохи молока у не дуже гарячу воду".

Штучному інтелекту потрібно ще вчитися і вчитися - і не лише тому, як правильно розливати чай.

Але Дейв Коплін сподівається, що у міру того, як штучний інтелект проникає в різні сфери нашого життя, ми, люди з природним інтелектом, навчимося розпізнавати похибки і упередження в тій початкової інформації, яку ми в нього закладаємо.

Новини на цю ж тему