Штучний інтелект не слідує логіці наукового прогресу
Ми багато разів писали в МТ про дослідників та спеціалістів, які проголошують системи машинного навчання «чорними скриньками» (1) навіть для тих, хто їх будує. Це ускладнює оцінку результатів і повторне використання алгоритмів, що з'являються.
Нейронні мережі — техніка, що дає нам інтелектуальних конвертуючих роботів та геніальні текстові генератори, здатні навіть створювати вірші — для сторонніх спостерігачів залишається незбагненною загадкою.
Вони стають більшими і складнішими, обробляють величезні набори даних і використовують масивні обчислювальні масиви. Це робить тиражування і аналіз отриманих моделей витратним, котрий іноді неможливим інших дослідників, крім великих центрів з величезними бюджетами.
Багато вчених добре розуміють цю проблему. Серед них Жоель Піно (2), голова NeurIPS, головної конференції з «відтворюваності». Експерти під її керівництвом хочуть створити контрольний список відтворюваності.
Ідея, за словами Піно, полягає в тому, щоб спонукати дослідників запропонувати іншим дорожню карту, щоб вони мали можливість відтворити і використати вже виконану роботу. Ви можете захоплюватися красномовством нового текстового генератора або надлюдською спритністю робота відеоігри, але навіть кращі фахівці поняття не мають, як ці чудеса працюють. Тому відтворення моделей ІІ важливо не тільки для визначення нових цілей та напрямів досліджень, але і як суто практичний посібник із використання.
Інші намагаються вирішити цю проблему. Дослідники Google запропонували картки моделей, щоб докладно описати, як тестувалися системи, включаючи результати, що вказують на потенційні помилки. Дослідники з Інституту штучного інтелекту Аллена (AI2) опублікували статтю, метою якої є розширення контрольного списку відтворюваності Піно інші етапи експериментального процесу. "Покажи свою роботу", - закликають вони.
Іноді основної інформації немає, тому що дослідницький проект є власністю, особливо лабораторій, що працюють на компанії. Однак частіше це ознака нездатності описати методи дослідження, що змінюються і ускладнюються. Нейронні мережі дуже складна область. Для отримання кращих результатів часто потрібне тонке настроювання тисяч «ручок і кнопок», яке деякі називають «чорною магією». Вибір оптимальної моделі часто пов'язані з проведенням великої кількості експериментів. Магія стає дуже дорогою.
Наприклад, коли Facebook спробував відтворити роботу AlphaGo, системи, розробленої DeepMind Alphabet, завдання виявилося надзвичайно складним. Величезні обчислювальні вимоги, мільйони експериментів на тисячах пристроїв протягом багатьох днів у поєднанні з відсутністю коду зробили систему «дуже складною, якщо не неможливою для відтворення, тестування, поліпшення та розширення», за оцінкою співробітників Facebook.
Проблема мабуть спеціалізована. Проте, якщо замислитися далі, феномен проблем із відтворюваністю результатів та функцій між одним дослідницьким колективом та іншим підриває усю відому нам логіку функціонування науки та дослідницьких процесів. Як правило, результати попередніх досліджень можуть бути використані як основа для подальших досліджень, які стимулюють розвиток знань, технологій та загального прогресу.
