Inteligența artificială nu urmează logica progresului științific

Am scris de multe ori în MT despre cercetătorii și profesioniștii care proclamă sistemele de învățare automată drept „cutii negre” (1) chiar și pentru cei care le construiesc. Acest lucru face dificilă evaluarea rezultatelor și reutilizarea algoritmilor emergenti.

Rețelele neuronale - tehnica care ne oferă roboți de conversie inteligenți și generatoare de text ingenioase care pot chiar crea poezie - rămâne un mister de neînțeles pentru observatorii din afară.

Ele devin din ce în ce mai mari și mai complexe, gestionând seturi de date uriașe și folosind matrice de calcul masive. Acest lucru face ca replicarea și analiza modelelor obținute să fie costisitoare și uneori imposibilă pentru alți cercetători, cu excepția centrelor mari cu bugete uriașe.

Mulți oameni de știință sunt bine conștienți de această problemă. Printre ei se numără Joel Pino (2), președintele NeurIPS, conferința principală privind reproductibilitatea. Experții sub conducerea ei doresc să creeze o „listă de verificare a reproductibilității”.

Ideea, a spus Pino, este de a încuraja cercetătorii să ofere altora o foaie de parcurs astfel încât să poată recrea și utiliza munca deja făcută. Te poți minuna de elocvența unui nou generator de text sau de dexteritatea supraomenească a unui robot de jocuri video, dar nici cei mai buni experți nu au idee cum funcționează aceste minuni. Prin urmare, reproducerea modelelor AI este importantă nu numai pentru identificarea de noi obiective și direcții de cercetare, ci și ca un ghid pur practic de utilizare.

Alții încearcă să rezolve această problemă. Cercetătorii Google au oferit „modele de carduri” pentru a descrie în detaliu modul în care au fost testate sistemele, inclusiv rezultate care indică potențiale erori. Cercetătorii de la Institutul Allen pentru Inteligență Artificială (AI2) au publicat o lucrare care își propune să extindă lista de verificare a reproductibilității Pinot la alte etape ale procesului experimental. „Arată-ți munca”, îndeamnă ei.

Uneori lipsesc informații de bază pentru că proiectul de cercetare este deținut, în special de laboratoare care lucrează pentru companie. Cel mai adesea, însă, este un semn al incapacității de a descrie metode de cercetare în schimbare și din ce în ce mai complexe. Rețelele neuronale sunt o zonă foarte complexă. Pentru a obține cele mai bune rezultate, este adesea necesară reglarea fină a miilor de „butoane și butoane”, pe care unii le numesc „magie neagră”. Alegerea modelului optim este adesea asociată cu un număr mare de experimente. Magia devine foarte scumpă.

De exemplu, când Facebook a încercat să reproducă munca AlphaGo, un sistem dezvoltat de DeepMind Alphabet, sarcina s-a dovedit extrem de dificilă. Cerințe de calcul uriașe, milioane de experimente pe mii de dispozitive pe parcursul mai multor zile, combinate cu lipsa codului, au făcut ca sistemul să fie „foarte dificil, dacă nu imposibil, de recreat, testat, îmbunătățit și extins”, potrivit angajaților Facebook.

Problema pare a fi de specialitate. Totuși, dacă ne gândim mai departe, fenomenul problemelor cu reproductibilitatea rezultatelor și funcțiilor între o echipă de cercetare și alta subminează toată logica funcționării științei și a proceselor de cercetare cunoscute nouă. De regulă, rezultatele cercetărilor anterioare pot fi folosite ca bază pentru cercetări ulterioare care stimulează dezvoltarea cunoștințelor, tehnologiei și progresul general.