IA éthique : pour une IA de confiance

IA de confiance : enjeux et solutions pour un traitement éthique des données

Dossier : ExpressionsMagazine N°783 Mars 2023
Par Vincent LUCIANI (X05)

Les risques liés à l’usage mas­sif de l’intelligence arti­fi­cielle résident essen­tiel­le­ment dans la repro­duc­tion de biais et sté­réo­types humains. Pour créer une IA éthique, les déve­lop­peurs doivent créer by desi­gn des solu­tions data-dri­ven dans une démarche tant tech­nique que juri­dique et humaniste.

La science-fic­tion est pleine d’histoires d’intelligences arti­fi­cielles qui se révoltent, où les machines agissent selon leur propre sys­tème de valeur évi­dem­ment malé­fique. Sou­ve­nez-vous d’HAL 9000 dans l’Odyssée de l’espace ou encore de Sky­net dans Ter­mi­na­tor ! De retour dans la vraie vie, les sys­tèmes et algo­rithmes d’IA ont lar­ge­ment inté­gré des actes cou­rants de notre vie quo­ti­dienne comme le shop­ping en ligne, la sous­crip­tion de contrats ban­caires ou encore la consul­ta­tion de conte­nu sur les réseaux sociaux. Si les cas d’IA rebelle res­tent un pur fan­tasme d’auteur, les dérives et dys­fonc­tion­ne­ments d’IA sont, eux, deve­nus cou­rants, sou­vent avec des consé­quences très réelles.

L’éthique contre les stéréotypes

Nous avons tous vu les images géné­rées par des IA comme Dall‑E 2. C’est amu­sant et inno­cent de créer une image d’ourson qui écoute de la musique sous l’eau. Mais saviez-vous que ces algo­rithmes per­pé­tuent des sté­réo­types gen­rés en sur­re­pré­sen­tant des hommes dans des images de doc­teurs, pilotes et PDG, mais en sur­re­pré­sen­tant des femmes dans des images d’infirmières, d’hôtesses de l’air, et de secrétaires ?

Vu la masse de déci­sions du quo­ti­dien délé­guées à l’IA, nous ne pou­vons igno­rer les ques­tions éthiques sou­le­vées par son usage. En géné­ral, l’IA reste un mar­ché et une tech­no­lo­gie peu régle­men­tée encore (la Com­mis­sion euro­péenne planche acti­ve­ment sur un futur règle­ment). Il relève donc de la res­pon­sa­bi­li­té indi­vi­duelle de pro­té­ger les utilisateurs.

La pro­blé­ma­tique de l’IA est de créer by desi­gn des sys­tèmes de confiance qui répondent aux attentes éthiques de notre socié­té. Il en devient impé­ra­tif de se pré­pa­rer, dès main­te­nant, à conce­voir et main­te­nir des sys­tèmes d’IA de confiance. Ce chan­tier est vaste, et l’éthique est un sujet qui se construit tout au long du cycle de vie d’un produit.


Lire aus­si : Défi­nir le cadre nor­ma­tif d’une IA de confiance dans les entreprises


Une intelligence artificielle… qui mime les erreurs humaines

L’IA est un ensemble de théo­ries et de tech­niques per­met­tant à une machine soit de prendre une déci­sion face à une situa­tion pré­dé­fi­nie, soit de simu­ler l’intelligence humaine. Cette pro­gram­ma­tion peut être soit déter­mi­niste, c’est-à-dire met­tant en œuvre une suc­ces­sion de règles humaines à appli­quer selon un sché­ma de déci­sion ; soit pro­ba­bi­liste, c’est-à-dire par infé­rence du bon com­por­te­ment au regard de l’apprentissage fait sur des situa­tions anté­rieures réelles, que l’on appelle machine lear­ning.

Quel que soit le type de pro­gram­ma­tion, l’IA est une auto­ma­ti­sa­tion de la prise de déci­sion. Les risques éthiques ne résident donc pas dans le fait que l’IA puisse mal auto­ma­ti­ser, mais au contraire qu’elle mime par­fai­te­ment les déci­sions humaines, avec son lot d’erreurs et de biais.

Beau­coup de ces dys­fonc­tion­ne­ments pro­viennent du contexte cultu­rel dans lequel a été déve­lop­pée l’IA, lorsqu’elle réplique les sys­tèmes de valeurs his­to­riques d’une socié­té (inéga­li­tés de genre ou eth­niques, par exemple) ou de ses concep­teurs (édu­ca­tion, sen­si­bi­li­té poli­tique, reli­gion, etc.). Ces biais sont par­ti­cu­liè­re­ment pré­sents dans le cadre des algo­rithmes de machine lear­ning puisqu’ils sont entraî­nés sur des bases de don­nées his­to­riques, en infé­rant le futur à par­tir du passé.

Les chan­tiers tech­niques liés à la concep­tion et au cycle de vie d’une IA de confiance répondent tous deux à des ques­tions essen­tielles telles que : com­ment détec­ter avec fia­bi­li­té les éven­tuels biais d’une IA ? Com­ment inter­pré­ter les résul­tats d’un modèle ? Com­ment mesu­rer l’évolution de la per­for­mance d’une IA ? Quelles garan­ties de sécu­ri­té pou­vons-nous appor­ter ? Pou­vons-nous réagir à une dérive ? Cette liste non exhaus­tive tra­duit la diver­si­té des défis à rele­ver pen­dant la mise en pro­duc­tion d’une IA.

IA de confiance : pour plus d'éthique

L’IA au secours de l’IA pour corriger ses biais

À mesure que les modèles d’IA sont pas­sés de concepts à des pro­duits, nombre de solu­tions tech­niques ont été créées pour faci­li­ter l’automation et le déploie­ment de sys­tèmes IA. Récem­ment, l’offre de solu­tions tech­niques a explo­sé, créant un éco­sys­tème riche et nour­ri par l’innovation constante de start-up comme de lea­ders d’industrie. Des exemples notables sont la AI Infra­struc­ture Alliance et la MLOps Com­mu­ni­ty, tous deux dont Arte­fact fait par­tie. Trou­ver le bon outil pour la bonne tâche devient donc plus impor­tant, et plus dif­fi­cile. En paral­lèle, il y a un éco­sys­tème tout aus­si vibrant de cabi­nets de conseil qui s’est déve­lop­pé, pour accom­pa­gner leurs clients dans ces choix stratégiques.

Beau­coup de ces solu­tions tech­niques existent en open source et sont donc en libre accès à tous. Ces boîtes à outils tech­niques peuvent détec­ter et mesu­rer les biais tout le long de la chaîne de trai­te­ment de la don­née : depuis sa col­lecte jusqu’à son exploi­ta­tion, en pas­sant par ses trans­for­ma­tions et sa modé­li­sa­tion. Elles doivent être acti­vées tout au long du cycle de vie du pro­duit, non seule­ment en phase de concep­tion et de déve­lop­pe­ment mais aus­si en pro­duc­tion, afin d’assurer une cor­rec­tion pérenne. Il y a par­ti­cu­liè­re­ment trois biais qui peuvent être réso­lus grâce à des solu­tions techniques.

Corriger les biais du passé

Les biais ne viennent pas des data scien­tists, mais des data­sets. Il faut donc tou­jours com­men­cer par une explo­ra­tion et une réflexion pro­fonde des data­sets. Ces biais peuvent être tant des biais tech­niques (variable omise, pro­blème de base de don­nées ou de sélec­tion) que des biais de socié­té (éco­no­miques, cog­ni­tifs, émotionnels).

Pour redres­ser les jeux d’entraînement, il pour­rait sem­bler logique d’effacer toute trace de don­nées sen­sibles. Pour­tant, cela se révè­le­rait aus­si inutile que dan­ge­reux : d’une part parce qu’une don­née non sen­sible peut être insi­dieu­se­ment cor­ré­lée à des don­nées sen­sibles, et d’autre part parce que ce type de rac­cour­cis incite à limi­ter les contrôles régu­liers des don­nées et processus.

“Les biais ne viennent pas des data scientists, mais des datasets.”

Pour détec­ter ces biais, il faut être au cou­rant qu’ils existent et savoir quoi cher­cher. Il est impor­tant de com­prendre le contexte des don­nées pour les inter­pré­ter cor­rec­te­ment. Un pro­gramme tout seul ne peut pas iden­ti­fier de biais, d’où l’importance d’équipes de data scien­tists diverses.

C’est en pen­sant de façon cri­tique à pro­pos des dif­fé­rentes métriques asso­ciées à un modèle d’IA que nous pou­vons iden­ti­fier et rec­ti­fier des pro­blèmes. Pre­nons un modèle qui doit détec­ter une mala­die pré­sente dans 1 % de la popu­la­tion. Si le modèle pré­dit tou­jours que la per­sonne est saine, le modèle aura un taux de pré­ci­sion de 99 %. Sans contexte, ce score est excellent. Pour­tant, ce modèle est inutile.

L’utilisation de sta­tis­tiques de bases, uni­va­riées et biva­riées, du data­set peut iden­ti­fier cer­tains biais. Par exemple, est-ce que chaque groupe d’âge est repré­sen­té de manière suf­fi­sam­ment égale ? Une solu­tion pour­rait être de chan­ger des don­nées conti­nues en don­nées caté­go­rielles. Des matrices de cor­ré­la­tion peuvent aus­si vali­der des liens entre deux variables liées. Tout ce tra­vail en amont est cru­cial pour s’assurer que les modèles sont entraî­nés sur des data­sets de qua­li­té. En deux mots : Gar­bage in, gar­bage out.

Expliquer les résultats d’un modèle

Les modèles d’IA per­for­mants tels que les réseaux de neu­rones arti­fi­ciels sont très effi­caces et uti­li­sés dans de nom­breux cas d’usage. Tou­te­fois, ils sont dif­fi­ci­le­ment inter­pré­tables. C’est pour­quoi ces algo­rithmes sont aus­si appe­lés boîtes noires (black­box models). En effet, iden­ti­fier et expli­quer la cause des biais plu­tôt que d’en écar­ter les consé­quences est le grand défi du machine lear­ning. Il existe un com­pro­mis entre l’explicabilité et la pré­ci­sion. Cer­tains algo­rithmes comme les arbres de déci­sion sont très expli­cables, mais moins utiles pour des pré­dic­tions complexes.

« Pour être transparente, une IA doit pouvoir expliquer pourquoi le modèle a pris une certaine décision pour une personne – un objet – une ligne de données en particulier. »

Le domaine de l’Explainable AI (Ex-AI) essaye de résoudre cette pro­blé­ma­tique en déve­lop­pant des méthodes et algo­rithmes qui aug­mentent l’explicabilité des sys­tèmes. On peut soit explo­rer la com­pré­hen­sion glo­bale, qui explique com­ment une IA fonc­tionne sur la popu­la­tion glo­bale, ou la com­pré­hen­sion locale, qui explique com­ment l’algorithme fonc­tionne sur un exemple en par­ti­cu­lier. Cette der­nière est deman­dée par le RGPD car, pour être trans­pa­rente, une IA doit pou­voir expli­quer pour­quoi le modèle a pris une cer­taine déci­sion pour une per­sonne – un objet – une ligne de don­nées en par­ti­cu­lier. Il est impor­tant de regar­der à la fois la com­pré­hen­sion glo­bale et la com­pré­hen­sion locale pour ana­ly­ser com­ment le modèle se comporte.

Pour cela, les data scien­tists peuvent regar­der les variables d’importance du modèle. Par exemple, il n’est pas nor­mal qu’un modèle de recru­te­ment ait le genre comme variable d’importance. Ils peuvent aus­si véri­fier les métriques tels que l’accu­ra­cy (pré­ci­sion : nombre de posi­tifs bien pré­dits – vrai posi­tif – divi­sé par l’ensemble des posi­tifs pré­dits – vrai posi­tif + faux posi­tif), le F1 score (per­met de résu­mer les valeurs de la pré­ci­sion et du recall en une seule métrique) ou le recall (nombre de posi­tifs bien pré­dits – vrai posi­tif – divi­sé par l’ensemble des posi­tifs – vrai posi­tif + faux néga­tif), par rap­port à une variable (eg : la pré­ci­sion pour les femmes vs pour les hommes).

Améliorer la robustesse d’un modèle

Les sources de dys­fonc­tion­ne­ment des modèles d’IA peuvent être for­tuites, lorsque les don­nées sont cor­rom­pues, ou inten­tion­nelles, par des hackers par exemple. Ces deux sources de biais induisent les modèles d’IA en erreur en four­nis­sant des pré­dic­tions ou des résul­tats incorrects.

Cer­taines solu­tions data-dri­ven per­mettent d’évaluer, de défendre et de véri­fier des modèles et des appli­ca­tions de machine lear­ning contre les menaces contra­dic­toires qui pour­raient cibler les don­nées (empoi­son­ne­ment des don­nées), le modèle (fuite de modèle) ou l’infrastructure sous-jacente, tant maté­rielle que logicielle.

Sim­ple­ment en super­po­sant une image de « bruit » à une image nor­male, un clas­si­fi­ca­teur peut être ame­né à caté­go­ri­ser à tort un pan­da comme un gib­bon. La dif­fé­rence est imper­cep­tible à l’œil humain, mais cette tech­nique est bien connue comme pou­vant trom­per des modèles d’IA.

Simplement en superposant une image de « bruit » à une image normale, un classificateur peut être amené à catégoriser à tort un panda comme un gibbon. La différence est imperceptible à l’œil humain, mais cette technique est bien connue comme pouvant tromper des modèles d’IA.
Sim­ple­ment en super­po­sant une image de « bruit » à une image nor­male, un clas­si­fi­ca­teur peut être ame­né à caté­go­ri­ser à tort un pan­da comme un gib­bon. La dif­fé­rence est imper­cep­tible à l’œil humain, mais cette tech­nique est bien connue comme pou­vant trom­per des modèles d’IA.

Développer des systèmes moins humains, mais plus humanistes

Le concept d’IA de confiance ne peut se réduire à sa concep­tion juri­dique et tech­nique. En effet, le volet rela­tif à l’humain et à l’organisation est cru­cial pour mener à bien une démarche éthique liée à l’IA. Les chartes éthiques et les solu­tions d’amélioration doivent être connues de toutes les par­ties pre­nantes, appli­quées tout au long du pro­ces­sus de créa­tion et sui­vies dans le temps. Cela néces­site une trans­for­ma­tion de la culture de l’organisation pour y inté­grer en pro­fon­deur les thé­ma­tiques et approches éthiques, pour garan­tir la péren­ni­té des solu­tions et contri­buer à l’IA éthique by desi­gn.

L’IA elle-même n’est pas éthique ou non éthique. Ce sont uni­que­ment la manière dont on a entraî­né le sys­tème et la manière dont on s’en sert qui sont éthiques ou pas. Le véri­table risque éthique lié à l’usage mas­sif de l’IA n’est donc pas que les algo­rithmes se révoltent. Au contraire, le risque inter­vient pré­ci­sé­ment lorsque l’IA se com­porte exac­te­ment comme nous l’avons deman­dé, mimant nos biais, répé­tant nos erreurs, ampli­fiant nos incer­ti­tudes et nos imprécisions.


Lire aus­si : Arte­fact : « Les entre­prises qui dure­ront sont celles qui auront réus­si la dif­fu­sion d’une culture data »


Soyons proactifs sur le sujet de l’IA éthique

C’est un sujet qui nous tient à cœur, à Arte­fact, et c’est pour cela que nous y consa­crons des équipes, et que nous avons déve­lop­pé un accom­pa­gne­ment spé­ci­fique sur ces enjeux d’élaboration de gou­ver­nance, d’implémentation de solu­tions tech­niques et de conseil de stra­té­gie IA. Nous tra­vaillons en étroite col­la­bo­ra­tion avec le monde aca­dé­mique, étant par­te­naire de la chaire Good in Tech, cofon­dée par l’Institut Mines-Télé­com et Sciences Po, pour réduire l’écart entre recherche et pra­tique. Arte­fact a aus­si reçu le label Res­pon­sible and Trus­ted AI, décer­né par l’association indé­pen­dante Labe­lia Labs, qui garan­tit un haut niveau de matu­ri­té sur les sujets d’IA res­pon­sable et de confiance.

“Le risque intervient précisément lorsque l’IA se comporte exactement comme nous l’avons demandé.”

La ques­tion de l’éthique nous concerne tous et il convient donc d’être proac­tif sur le sujet. Adop­ter un com­por­te­ment éthique ne doit pas seule­ment être une réac­tion. L’intelligence arti­fi­cielle tra­verse une période impor­tante, où ses pro­cé­dés et son ethos sont en pleine phase de défi­ni­tion. Dans un domaine pas encore régu­lé, il revient à celles et ceux qui y prennent part de prendre les devants. C’est notre res­pon­sa­bi­li­té à tous, en tant que déve­lop­peur, consul­tant ou mana­ger, de répondre aux attentes des per­sonnes concer­nées – clients et uti­li­sa­teurs des ser­vices, mais sur­tout la socié­té en géné­ral – et d’utiliser les pou­voirs de l’IA pour créer un monde meilleur.


Pour en savoir plus

6 Commentaires

Ajouter un commentaire

Michel Deu­donrépondre
17 avril 2023 à 15 h 41 min

Bon­jour, je ne com­prends pas votre argu­ment « les biais ne viennent pas des data scien­tists, mais des data­sets ». Plus loin vous écri­vez « d’où l’importance d’équipes de data scien­tists diverses ». S’a­git-il d’un rai­son­ne­ment par l’ab­surde ? Pour­quoi ne pas citer le rap­port de Cédric Vil­la­ni de mars 2018 pour en savoir plus ? Mer­ci de vos explications.

Vincent. Lucia­nirépondre
4 mai 2023 à 12 h 32 min
– En réponse à: Michel Deudon

Bon­jour Michel. Pour refor­mu­ler ma pen­sée : les IA et les algo­rithmes sont par nature, ni éthique ni irres­pon­sables. Ce sont les pro­ces­sus, et méthodes effec­tués par des êtres humains qui le sont. Tout en ayant des humains qui pro­gramment le plus sou­vent eux-mêmes bien inten­tion­nés, on peut arri­ver à pro­duire des algo­rithmes biai­sés ou mal­veillants. Il faut donc assu­rer une défi­ni­tion claire des pra­tiques qui amène à la pro­duc­tion de l’IA (par exemple la qua­li­té des don­nées est sou­vent le plus gros pro­blème). Le rap­port Vil­la­ni est en effet un excellent point de départ, on peut aus­si citer l’en­semble des tra­vaux de la CNIL sur le sujet, ain­si que les articles de la com­mis­sion Euro­péenne avec les pre­mières bases du AI act en ce moment au dis­cus­sion au parlement

Michel Deu­donrépondre
5 mai 2023 à 6 h 31 min
– En réponse à: Vincent. Luciani

Mer­ci Vincent de votre retour. Com­ment s’assurer que les hommes (qui pro­gramment ou pas) sont bien inten­tion­nés pour évi­ter de faire de nos don­nées per­son­nelles des pro­blèmes ? Vous citez la CNIL et la com­mis­sion Euro­péenne, donc le RGPD ? Si le rap­port Vil­la­ni est un excellent point de départ, peut-être qu’il serait pos­sible de l’ajouter et l’article de Marie David de mars 2018 dans la Jaune et la Rouge, pour en savoir plus sur l’IA de confiance ? Ils donnent un point de vue dif­fé­rent sur les biais. Aus­si peut-être qu’il fau­drait pré­ci­ser que « les biais ne viennent pas des data scien­tists » n’est pas un argu­ment scien­ti­fique mais votre opi­nion, pour ne pas prê­ter à confu­sion, et cor­ri­ger les biais du pas­sé ? Mer­ci de votre considération.

Rad­ma­cher Maximerépondre
21 avril 2023 à 13 h 37 min

Avant d’a­voir une IA de confiance, il faut des humains de confiance, car comme vous le sou­li­gnez les pré­dic­tions d’un modèle sans défaut concep­tuel ne dépendent que des don­nées sur les­quelles il va être entraî­ner. Mais alors ; puisque la pré­pa­ra­tion des don­nées, la concep­tion des modèles et l’a­na­lyse des résul­tats sont confiés à des per­sonnes dont la car­rière et la richesse dépendent du bon fonc­tion­ne­ment de ses modèles ; com­ment être sûr que le déve­lop­pe­ment de l’IA actuel est un véri­table béné­fice pour l’hu­ma­ni­té ou pas sim­ple­ment un délire technophile.

J’en veux pour preuve l’empreinte car­bone d’un modèle consi­dé­ré comme l’é­tat de l’art en terme de géné­ra­tion de texte : https://medium.com/@chrispointon/the-carbon-footprint-of-chatgpt-e1bc14e4cc2a
Or si on demande direc­te­ment à chatGPT on a une réponse éva­sive comme quoi, en tant qu’IA déma­té­ria­li­sée, elle n’en­gen­dre­rait aucune émis­sion , ce qui est, à mini­ma, un détour­ne­ment très gros­sier de la réalité. 

Je pense qu’il y a dans le domaine de l’é­thique de l’IA un conflit d’in­té­rêt notoire du même aca­bit. Une cri­tique de l’IA ne pour­rait être faite que par une cohorte n’ayant aucun inté­rêt vis à vis de l’IA, or les per­sonnes la fai­sant ont un tra­vail qui dépendent de son exis­tence. Cela éva­cue immé­dia­te­ment la ques­tion du bien fon­dé de l’exis­tence même de l’IA au détri­ment de l’é­thique de l’IA. Avez vous déjà réflé­chi à ce paradoxe ?

Mer­ci d’a­vance pour votre réponse,

Vincent Lucia­nirépondre
4 mai 2023 à 12 h 19 min

Bon­jour Maxime, sur ce sujet, il faut sépa­rer : la recherche, la régu­la­tion, et les acteurs pri­vés. Un cer­tain nombre de labo­ra­toire de recherche indé­pen­dants (je peux citer en France Good in Tech par exemple ou l’IN­RIA qui est très pré­sente sur le sujet notam­ment avec le pro­jet Réga­lia) sont de plus en plus en pointe dans le domaine. Le nombre de papier de recherche sur le sujet publiés à la FACCT qui est la plus grosse confé­rence sur le sujet va crois­sant. Je crois en l’in­dé­pen­dance et la neu­tra­li­té de la recherche. En Ce qui concerne les acteurs pri­vés, ils sont très mobi­li­sés sur ce sujet et cherchent pour beau­coup à s’au­to régu­ler, même si il est vrai que c’est très dur de gar­der un regard com­plè­te­ment agnos­tique. Yann Lecun s’est expri­mé sur les liens par­fois com­plexes entre FAIR et META, Open AI a fini par être ache­té par Micro­soft, etc… C’est pour ça qu’un cer­tain nombre de lan­ceurs d’a­lerte décident de prendre leur indé­pen­dance et quittent notam­ment les GAFA et finissent par avoir une voix qui porte. A mon sens, on a le même pro­blème dans tous les indus­tries à risque (Arme­ment, Cyber­sé­cu­ri­té, Spa­tial…). Il faut dans l’IA comme dans tous ces sec­teurs, qu’on arrive à défi­nir un cer­tain nombre de règles et de normes cer­taines par la loi, d’autres par les pra­tiques, qui viennent enca­drer le tra­vail autour de l’IA, qui est aujourd’­hui très peu normé

Michel DEUDONrépondre
5 mai 2023 à 12 h 18 min
– En réponse à: Vincent Luciani

Mer­ci Vincent de par­ler de lan­ceurs d’a­lerte. Je n’ai pas quit­té les GAFA mais j’ai été licen­cié pour motif éco­no­mique de la star­tup de Yoshua Ben­gio Ele­ment AI, après une levée de fonds auprès de McKin­sey qui a mis fin aux pro­jets AI for social Good en 2019. J’ai retrou­vé mon indé­pen­dance en quit­tant les réseaux sociaux – Lin­ke­dIn, Facebook/Insta, Twit­ter – après avoir lan­cé une alerte début mars sur les Lla­ma en fuite de Yann Lecun et 7 poly­tech­ni­ciens (la recherche/les acteurs pri­vés). Que pen­sez-vous de la loi sur la dés­in­for­ma­tion de 2018 pour une IA de confiance ?

Répondre