L’apprentissage profond entre mythes et réalités

Le deep lear­ning, dont l’his­toire est née il y a 70 ans et qui a fait un bond en avant avec les réseaux de neu­rones mul­ti­couches, n’est pas une boîte noire qui pour­rait nous échap­per. Il ne faut pas sur­es­ti­mer ses capa­ci­tés même si les pro­grès qu’il a per­mis sont réels. Por­té par la mode il n’est pas tou­jours la réponse la plus adap­tée aux problématiques. 

L’his­toire du deep lear­ning com­mence à la fin des années 1950 où naît l’idée d’un neu­rone élé­men­taire. Appe­lé alors per­cep­tron, il a été conçu comme une machine phy­sique, visant à la recon­nais­sance de formes 2D, et non pas comme un simple algorithme. 

L’idée d’utiliser des suc­ces­sions de neu­rones s’est déve­lop­pée dans les années 80. Le pro­blème cru­cial de ces réseaux mul­ti­couches est l’optimisation de leurs paramètres. 

“ L’histoire du deep learning commence à la fin des années 50 ”

Il explique en par­tie le temps qu’il a fal­lu pour qu’ils s’imposent dans la com­mu­nau­té scien­ti­fique comme un outil impor­tant, mal­gré les suc­cès que les réseaux mul­ti­couches avaient ren­con­trés dès les années 90, par exemple dans la recon­nais­sance de carac­tères ou la détec­tion de visages. 

Cette opti­mi­sa­tion est en effet celle d’un pro­blème non convexe de très grande dimen­sion face auquel l’approche la plus per­for­mante reste l’application d’un simple algo­rithme de gra­dient sto­chas­tique qui per­met sim­ple­ment d’atteindre un opti­mum local. 

La suc­ces­sion de nom­breuses opé­ra­tions com­plique aus­si l’optimisation, qui a été pen­dant long­temps très labo­rieuse, et reste aujourd’hui rela­ti­ve­ment arti­sa­nale, mal­gré des avan­cées certaines. 

DES PROGRÈS À RELATIVISER

On insiste sou­vent sur les pro­grès que le deep lear­ning a per­mis en termes de per­for­mance en vision arti­fi­cielle et plus géné­ra­le­ment en intel­li­gence arti­fi­cielle. Je pense que ceux-ci sont à rela­ti­vi­ser par rap­port à d’autres de ses conséquences. 

“ Le deep learning n’est pas une boîte noire qui pourrait nous échapper comme certains le craignent ”

La pre­mière d’entre elles a été de sus­ci­ter une atten­tion très forte à la fois chez le grand public et les indus­triels. Cette atten­tion a pro­vo­qué une crois­sance très forte à de nom­breux niveaux. Cer­tains d’entre eux posent d’ailleurs problème. 

La taille des com­mu­nau­tés scien­ti­fiques de l’apprentissage auto­ma­tique et de la vision arti­fi­cielle a, par exemple, aug­men­té expo­nen­tiel­le­ment ces der­nières années, posant des pro­blèmes d’évaluation des tra­vaux (peer review).

UNE OCCASION À NE PAS MANQUER

La redé­cou­verte du deep lear­ning a aus­si pro­vo­qué chez nombre d’entreprises et dans un cer­tain nombre de domaines de recherche une peur de man­quer un tour­nant stra­té­gique, et renou­ve­lé l’intérêt pour l’apprentissage arti­fi­ciel et l’utilisation des don­nées qu’elles peuvent collecter. 

Réseau neu­ro­nal du cer­veau, nœuds ner­veux, ren­du 3D
© USTAS

L’apprentissage pro­fond n’est d’ailleurs pas tou­jours la réponse la plus adap­tée à leurs pro­blé­ma­tiques. Cepen­dant, même si c’est par­fois une erreur de pen­ser que le deep lear­ning est la tech­no­lo­gie qu’elles recherchent, je pense que leur inté­rêt pour l’exploitation de leurs don­nées et les recru­te­ments qu’elles opèrent dans ce but leur pro­cu­re­ront une véri­table plus-value. 

L’intérêt des entre­prises et des pou­voirs publics a aus­si des consé­quences pra­tiques pour la recherche, en encou­ra­geant et en per­met­tant des pro­jets com­muns. Les grosses entre­prises qui sou­haitent recru­ter les étu­diants en thèse leur pro­posent des stages très attrac­tifs, y com­pris sur des sujets fondamentaux. 

Un de mes étu­diants est en stage chez Adobe pour tra­vailler sur de nou­velles manières de repré­sen­ter abs­trai­te­ment des scènes tridimensionnelles. 

Les start-up sont aus­si très deman­deuses de col­la­bo­ra­tion avec des labo­ra­toires aca­dé­miques : je viens de com­men­cer un pro­jet avec Dee­po­ma­tic sur l’apprentissage pro­fond à par­tir de faibles quan­ti­tés de données. 

DES PEURS INFONDÉES

Cer­tains craignent que le deep lear­ning crée des machines intel­li­gentes, poten­tiel­le­ment dan­ge­reuses pour les humains. 

Neu­rone artificiel.

Mais je ne vois pas de rai­son pour que le deep lear­ning soit un pas déci­sif vers le déve­lop­pe­ment rapide d’une intel­li­gence arti­fi­cielle géné­rale, qui entre en com­pé­ti­tion avec l’humain.

L’entraînement d’un réseau de neu­rones ne dif­fère pas fon­da­men­ta­le­ment de celui de n’importe quel autre algo­rithme d’apprentissage super­vi­sé : on opti­mise un cer­tain nombre de para­mètres pour mini­mi­ser un coût qui cor­res­pond à une mesure d’efficacité sur une tâche très particulière. 

Si de nom­breux cher­cheurs en intel­li­gence arti­fi­cielle parlent de « neu­rones » de « curio­si­té » ou d’« atten­tion », c’est sim­ple­ment par méta­phore, et la réa­li­té des algo­rithmes reste éloi­gnée des ana­lo­gies biologiques. 

UNE MACHINERIE COMPLEXE ET MAÎTRISABLE

Pour conclure, le deep lear­ning n’est pas une boîte noire qui pour­rait nous échap­per comme cer­tains le craignent. 

S’il est vrai qu’il s’agit d’une machi­ne­rie com­plexe, com­po­sée de nom­breuses opé­ra­tions élé­men­taires, aucune de ces opé­ra­tions n’est dif­fi­cile à com­prendre, et la recherche a beau­coup pro­gres­sé ces der­nières années pour com­prendre les pro­ces­sus en jeu dans l’ensemble d’un réseau de neu­rones, que ce soit de manière visuelle, intui­tive, quan­ti­ta­tive ou mathématique. 

Cepen­dant, il me semble que l’omniprésence de machines com­plexes et de plus en plus per­fec­tion­nées dans notre vie quo­ti­dienne va nous pous­ser à leur prê­ter cette conscience, voire à créer avec elles des rela­tions affec­tives ou du moins des dépendances. 

Elles vont aus­si conti­nuer d’influer sur notre manière de pen­ser, en nous encou­ra­geant à nous repo­ser sur elles pour cer­tains types de pro­ces­sus cognitifs. 

Une réflexion éthique sur leur contrôle et leur place est donc bien sûr essentielle.

---

Articles similaires :

La révo­lu­tion de l’apprentissage machine autonome L’apprentissage pro­fond renou­velle l’intelligence artificielle Détec­ter l’information confi­den­tielle avec un moteur de recherche intelligent L’urgente néces­si­té d’une réap­pro­pria­tion publique de la régu­la­tion de l’IA L’intelligence arti­fi­cielle oblige à repen­ser les fon­de­ments de notre capitalisme