Réseau neuronal du cerveau

L’apprentissage profond entre mythes et réalités

Dossier : L'intelligence artificielleMagazine N°733 Mars 2018
Par Mathieu AUBRY (06)

Le deep learn­ing, dont l’his­toire est née il y a 70 ans et qui a fait un bond en avant avec les réseaux de neu­rones mul­ti­couch­es, n’est pas une boîte noire qui pour­rait nous échap­per. Il ne faut pas sures­timer ses capac­ités même si les pro­grès qu’il a per­mis sont réels. Porté par la mode il n’est pas tou­jours la réponse la plus adap­tée aux problématiques. 

L’his­toire du deep learn­ing com­mence à la fin des années 1950 où naît l’idée d’un neu­rone élé­men­taire. Appelé alors per­cep­tron, il a été conçu comme une machine physique, visant à la recon­nais­sance de formes 2D, et non pas comme un sim­ple algorithme. 

L’idée d’utiliser des suc­ces­sions de neu­rones s’est dévelop­pée dans les années 80. Le prob­lème cru­cial de ces réseaux mul­ti­couch­es est l’optimisation de leurs paramètres. 

“ L’histoire du deep learning commence à la fin des années 50 ”

Il explique en par­tie le temps qu’il a fal­lu pour qu’ils s’imposent dans la com­mu­nauté sci­en­tifique comme un out­il impor­tant, mal­gré les suc­cès que les réseaux mul­ti­couch­es avaient ren­con­trés dès les années 90, par exem­ple dans la recon­nais­sance de car­ac­tères ou la détec­tion de visages. 

Cette opti­mi­sa­tion est en effet celle d’un prob­lème non con­vexe de très grande dimen­sion face auquel l’approche la plus per­for­mante reste l’application d’un sim­ple algo­rithme de gra­di­ent sto­chas­tique qui per­met sim­ple­ment d’atteindre un opti­mum local. 

La suc­ces­sion de nom­breuses opéra­tions com­plique aus­si l’optimisation, qui a été pen­dant longtemps très laborieuse, et reste aujourd’hui rel­a­tive­ment arti­sanale, mal­gré des avancées certaines. 

REPÈRES

L’apprentissage paramétrique vise à résoudre une tâche en apprenant les paramètres d’une fonction de prédiction.
L’idée du deep learning (apprentissage profond en français) est d’exprimer cette fonction de prédiction comme une succession de fonctions élémentaires, tous les paramètres étant appris simultanément, mais en général sans garantie de convergence vers un optimum global.
En vision artificielle, les opérations élémentaires sont essentiellement des convolutions qui alternent avec des non-linéarités sans paramètres appris.

DES PROGRÈS À RELATIVISER

On insiste sou­vent sur les pro­grès que le deep learn­ing a per­mis en ter­mes de per­for­mance en vision arti­fi­cielle et plus générale­ment en intel­li­gence arti­fi­cielle. Je pense que ceux-ci sont à rel­a­tivis­er par rap­port à d’autres de ses conséquences. 

“ Le deep learning n’est pas une boîte noire qui pourrait nous échapper comme certains le craignent ”

La pre­mière d’entre elles a été de sus­citer une atten­tion très forte à la fois chez le grand pub­lic et les indus­triels. Cette atten­tion a provo­qué une crois­sance très forte à de nom­breux niveaux. Cer­tains d’entre eux posent d’ailleurs problème. 

La taille des com­mu­nautés sci­en­tifiques de l’apprentissage automa­tique et de la vision arti­fi­cielle a, par exem­ple, aug­men­té expo­nen­tielle­ment ces dernières années, posant des prob­lèmes d’évaluation des travaux (peer review).

UNE OCCASION À NE PAS MANQUER

La redé­cou­verte du deep learn­ing a aus­si provo­qué chez nom­bre d’entreprises et dans un cer­tain nom­bre de domaines de recherche une peur de man­quer un tour­nant stratégique, et renou­velé l’intérêt pour l’apprentissage arti­fi­ciel et l’utilisation des don­nées qu’elles peu­vent collecter. 


Réseau neu­ronal du cerveau, nœuds nerveux, ren­du 3D
© USTAS

L’apprentissage pro­fond n’est d’ailleurs pas tou­jours la réponse la plus adap­tée à leurs prob­lé­ma­tiques. Cepen­dant, même si c’est par­fois une erreur de penser que le deep learn­ing est la tech­nolo­gie qu’elles recherchent, je pense que leur intérêt pour l’exploitation de leurs don­nées et les recrute­ments qu’elles opèrent dans ce but leur pro­cureront une véri­ta­ble plus-value. 

L’intérêt des entre­pris­es et des pou­voirs publics a aus­si des con­séquences pra­tiques pour la recherche, en encour­ageant et en per­me­t­tant des pro­jets com­muns. Les gross­es entre­pris­es qui souhait­ent recruter les étu­di­ants en thèse leur pro­posent des stages très attrac­t­ifs, y com­pris sur des sujets fondamentaux. 

Un de mes étu­di­ants est en stage chez Adobe pour tra­vailler sur de nou­velles manières de représen­ter abstraite­ment des scènes tridimensionnelles. 

Les start-up sont aus­si très deman­deuses de col­lab­o­ra­tion avec des lab­o­ra­toires académiques : je viens de com­mencer un pro­jet avec Deep­o­mat­ic sur l’apprentissage pro­fond à par­tir de faibles quan­tités de données. 

DES PEURS INFONDÉES

Cer­tains craig­nent que le deep learn­ing crée des machines intel­li­gentes, poten­tielle­ment dan­gereuses pour les humains. 

Équation d'un neurone artificiel
Neu­rone artificiel.

Mais je ne vois pas de rai­son pour que le deep learn­ing soit un pas décisif vers le développe­ment rapi­de d’une intel­li­gence arti­fi­cielle générale, qui entre en com­péti­tion avec l’humain.

L’entraînement d’un réseau de neu­rones ne dif­fère pas fon­da­men­tale­ment de celui de n’importe quel autre algo­rithme d’apprentissage super­visé : on opti­mise un cer­tain nom­bre de paramètres pour min­imiser un coût qui cor­re­spond à une mesure d’efficacité sur une tâche très particulière. 

Si de nom­breux chercheurs en intel­li­gence arti­fi­cielle par­lent de « neu­rones » de « curiosité » ou d’« atten­tion », c’est sim­ple­ment par métaphore, et la réal­ité des algo­rithmes reste éloignée des analo­gies biologiques. 

UNE MACHINERIE COMPLEXE ET MAÎTRISABLE

Pour con­clure, le deep learn­ing n’est pas une boîte noire qui pour­rait nous échap­per comme cer­tains le craignent. 

UN FORT ENGOUEMENT

L’intérêt des étudiants a également augmenté très fortement, faisant pression sur les masters existants et poussant à la création rapide d’autres formations.
À titre d’illustration, environ 120 polytechniciens sur une promotion de 500 ont demandé cette année à suivre le principal master parisien dans le domaine (master MVA, pour mathématiques, vision, apprentissage, cohabilité par plusieurs établissements dont l’ENS Paris-Saclay, Polytechnique et l’École des ponts) pendant leur 4e année.
Et les entreprises, qui recrutent activement à des salaires et dans des conditions très attractives des experts en apprentissage artificiel, rendent difficiles les recrutements sur ces thèmes dans le monde académique.

S’il est vrai qu’il s’agit d’une machiner­ie com­plexe, com­posée de nom­breuses opéra­tions élé­men­taires, aucune de ces opéra­tions n’est dif­fi­cile à com­pren­dre, et la recherche a beau­coup pro­gressé ces dernières années pour com­pren­dre les proces­sus en jeu dans l’ensemble d’un réseau de neu­rones, que ce soit de manière visuelle, intu­itive, quan­ti­ta­tive ou mathématique. 

Cepen­dant, il me sem­ble que l’omniprésence de machines com­plex­es et de plus en plus per­fec­tion­nées dans notre vie quo­ti­di­enne va nous pouss­er à leur prêter cette con­science, voire à créer avec elles des rela­tions affec­tives ou du moins des dépendances. 

Elles vont aus­si con­tin­uer d’influer sur notre manière de penser, en nous encour­ageant à nous repos­er sur elles pour cer­tains types de proces­sus cognitifs. 

Une réflex­ion éthique sur leur con­trôle et leur place est donc bien sûr essentielle.

Poster un commentaire