L’apprentissage profond entre mythes et réalités

Le deep learn­ing, dont l’his­toire est née il y a 70 ans et qui a fait un bond en avant avec les réseaux de neu­rones mul­ti­couch­es, n’est pas une boîte noire qui pour­rait nous échap­per. Il ne faut pas sures­timer ses capac­ités même si les pro­grès qu’il a per­mis sont réels. Porté par la mode il n’est pas tou­jours la réponse la plus adap­tée aux problématiques. 

L’his­toire du deep learn­ing com­mence à la fin des années 1950 où naît l’idée d’un neu­rone élé­men­taire. Appelé alors per­cep­tron, il a été conçu comme une machine physique, visant à la recon­nais­sance de formes 2D, et non pas comme un sim­ple algorithme. 

L’idée d’utiliser des suc­ces­sions de neu­rones s’est dévelop­pée dans les années 80. Le prob­lème cru­cial de ces réseaux mul­ti­couch­es est l’optimisation de leurs paramètres. 

“ L’histoire du deep learning commence à la fin des années 50 ”

Il explique en par­tie le temps qu’il a fal­lu pour qu’ils s’imposent dans la com­mu­nauté sci­en­tifique comme un out­il impor­tant, mal­gré les suc­cès que les réseaux mul­ti­couch­es avaient ren­con­trés dès les années 90, par exem­ple dans la recon­nais­sance de car­ac­tères ou la détec­tion de visages. 

Cette opti­mi­sa­tion est en effet celle d’un prob­lème non con­vexe de très grande dimen­sion face auquel l’approche la plus per­for­mante reste l’application d’un sim­ple algo­rithme de gra­di­ent sto­chas­tique qui per­met sim­ple­ment d’atteindre un opti­mum local. 

La suc­ces­sion de nom­breuses opéra­tions com­plique aus­si l’optimisation, qui a été pen­dant longtemps très laborieuse, et reste aujourd’hui rel­a­tive­ment arti­sanale, mal­gré des avancées certaines. 

DES PROGRÈS À RELATIVISER

On insiste sou­vent sur les pro­grès que le deep learn­ing a per­mis en ter­mes de per­for­mance en vision arti­fi­cielle et plus générale­ment en intel­li­gence arti­fi­cielle. Je pense que ceux-ci sont à rel­a­tivis­er par rap­port à d’autres de ses conséquences. 

“ Le deep learning n’est pas une boîte noire qui pourrait nous échapper comme certains le craignent ”

La pre­mière d’entre elles a été de sus­citer une atten­tion très forte à la fois chez le grand pub­lic et les indus­triels. Cette atten­tion a provo­qué une crois­sance très forte à de nom­breux niveaux. Cer­tains d’entre eux posent d’ailleurs problème. 

La taille des com­mu­nautés sci­en­tifiques de l’apprentissage automa­tique et de la vision arti­fi­cielle a, par exem­ple, aug­men­té expo­nen­tielle­ment ces dernières années, posant des prob­lèmes d’évaluation des travaux (peer review).

UNE OCCASION À NE PAS MANQUER

La redé­cou­verte du deep learn­ing a aus­si provo­qué chez nom­bre d’entreprises et dans un cer­tain nom­bre de domaines de recherche une peur de man­quer un tour­nant stratégique, et renou­velé l’intérêt pour l’apprentissage arti­fi­ciel et l’utilisation des don­nées qu’elles peu­vent collecter. 

Réseau neu­ronal du cerveau, nœuds nerveux, ren­du 3D
© USTAS

L’apprentissage pro­fond n’est d’ailleurs pas tou­jours la réponse la plus adap­tée à leurs prob­lé­ma­tiques. Cepen­dant, même si c’est par­fois une erreur de penser que le deep learn­ing est la tech­nolo­gie qu’elles recherchent, je pense que leur intérêt pour l’exploitation de leurs don­nées et les recrute­ments qu’elles opèrent dans ce but leur pro­cureront une véri­ta­ble plus-value. 

L’intérêt des entre­pris­es et des pou­voirs publics a aus­si des con­séquences pra­tiques pour la recherche, en encour­ageant et en per­me­t­tant des pro­jets com­muns. Les gross­es entre­pris­es qui souhait­ent recruter les étu­di­ants en thèse leur pro­posent des stages très attrac­t­ifs, y com­pris sur des sujets fondamentaux. 

Un de mes étu­di­ants est en stage chez Adobe pour tra­vailler sur de nou­velles manières de représen­ter abstraite­ment des scènes tridimensionnelles. 

Les start-up sont aus­si très deman­deuses de col­lab­o­ra­tion avec des lab­o­ra­toires académiques : je viens de com­mencer un pro­jet avec Deep­o­mat­ic sur l’apprentissage pro­fond à par­tir de faibles quan­tités de données. 

DES PEURS INFONDÉES

Cer­tains craig­nent que le deep learn­ing crée des machines intel­li­gentes, poten­tielle­ment dan­gereuses pour les humains. 

Neu­rone artificiel.

Mais je ne vois pas de rai­son pour que le deep learn­ing soit un pas décisif vers le développe­ment rapi­de d’une intel­li­gence arti­fi­cielle générale, qui entre en com­péti­tion avec l’humain.

L’entraînement d’un réseau de neu­rones ne dif­fère pas fon­da­men­tale­ment de celui de n’importe quel autre algo­rithme d’apprentissage super­visé : on opti­mise un cer­tain nom­bre de paramètres pour min­imiser un coût qui cor­re­spond à une mesure d’efficacité sur une tâche très particulière. 

Si de nom­breux chercheurs en intel­li­gence arti­fi­cielle par­lent de « neu­rones » de « curiosité » ou d’« atten­tion », c’est sim­ple­ment par métaphore, et la réal­ité des algo­rithmes reste éloignée des analo­gies biologiques. 

UNE MACHINERIE COMPLEXE ET MAÎTRISABLE

Pour con­clure, le deep learn­ing n’est pas une boîte noire qui pour­rait nous échap­per comme cer­tains le craignent. 

S’il est vrai qu’il s’agit d’une machiner­ie com­plexe, com­posée de nom­breuses opéra­tions élé­men­taires, aucune de ces opéra­tions n’est dif­fi­cile à com­pren­dre, et la recherche a beau­coup pro­gressé ces dernières années pour com­pren­dre les proces­sus en jeu dans l’ensemble d’un réseau de neu­rones, que ce soit de manière visuelle, intu­itive, quan­ti­ta­tive ou mathématique. 

Cepen­dant, il me sem­ble que l’omniprésence de machines com­plex­es et de plus en plus per­fec­tion­nées dans notre vie quo­ti­di­enne va nous pouss­er à leur prêter cette con­science, voire à créer avec elles des rela­tions affec­tives ou du moins des dépendances. 

Elles vont aus­si con­tin­uer d’influer sur notre manière de penser, en nous encour­ageant à nous repos­er sur elles pour cer­tains types de proces­sus cognitifs. 

Une réflex­ion éthique sur leur con­trôle et leur place est donc bien sûr essentielle.

---

Articles similaires :

La révo­lu­tion de l’apprentissage machine autonome L’apprentissage pro­fond renou­velle l’intelligence artificielle Détecter l’information con­fi­den­tielle avec un moteur de recherche intelligent L’urgente néces­sité d’une réap­pro­pri­a­tion publique de la régu­la­tion de l’IA L’intelligence arti­fi­cielle oblige à repenser les fonde­ments de notre capitalisme Vision arti­fi­cielle, entre­tien avec un chercheur