IA éthique : pour une IA de confiance

IA de confiance : enjeux et solutions pour un traitement éthique des données

Dossier : ExpressionsMagazine N°783 Mars 2023
Par Vincent LUCIANI (X05)

Les risques liés à l’usage mas­sif de l’intelligence arti­fi­cielle rési­dent essen­tielle­ment dans la repro­duc­tion de biais et stéréo­types humains. Pour créer une IA éthique, les développeurs doivent créer by design des solu­tions data-dri­ven dans une démarche tant tech­nique que juridique et humaniste.

La sci­ence-fic­tion est pleine d’histoires d’intelligences arti­fi­cielles qui se révoltent, où les machines agis­sent selon leur pro­pre sys­tème de valeur évidem­ment malé­fique. Sou­venez-vous d’HAL 9000 dans l’Odyssée de l’espace ou encore de Skynet dans Ter­mi­na­tor ! De retour dans la vraie vie, les sys­tèmes et algo­rithmes d’IA ont large­ment inté­gré des actes courants de notre vie quo­ti­di­enne comme le shop­ping en ligne, la souscrip­tion de con­trats ban­caires ou encore la con­sul­ta­tion de con­tenu sur les réseaux soci­aux. Si les cas d’IA rebelle restent un pur fan­tasme d’auteur, les dérives et dys­fonc­tion­nements d’IA sont, eux, devenus courants, sou­vent avec des con­séquences très réelles.

L’éthique contre les stéréotypes

Nous avons tous vu les images générées par des IA comme Dall‑E 2. C’est amu­sant et inno­cent de créer une image d’ourson qui écoute de la musique sous l’eau. Mais saviez-vous que ces algo­rithmes per­pétuent des stéréo­types gen­rés en sur­représen­tant des hommes dans des images de doc­teurs, pilotes et PDG, mais en sur­représen­tant des femmes dans des images d’infirmières, d’hôtesses de l’air, et de secrétaires ?

Vu la masse de déci­sions du quo­ti­di­en déléguées à l’IA, nous ne pou­vons ignor­er les ques­tions éthiques soulevées par son usage. En général, l’IA reste un marché et une tech­nolo­gie peu régle­men­tée encore (la Com­mis­sion européenne planche active­ment sur un futur règle­ment). Il relève donc de la respon­s­abil­ité indi­vidu­elle de pro­téger les utilisateurs.

La prob­lé­ma­tique de l’IA est de créer by design des sys­tèmes de con­fi­ance qui répon­dent aux attentes éthiques de notre société. Il en devient impératif de se pré­par­er, dès main­tenant, à con­cevoir et main­tenir des sys­tèmes d’IA de con­fi­ance. Ce chantier est vaste, et l’éthique est un sujet qui se con­stru­it tout au long du cycle de vie d’un produit.


Lire aus­si : Définir le cadre nor­matif d’une IA de con­fi­ance dans les entreprises


Une intelligence artificielle… qui mime les erreurs humaines

L’IA est un ensem­ble de théories et de tech­niques per­me­t­tant à une machine soit de pren­dre une déci­sion face à une sit­u­a­tion prédéfinie, soit de simuler l’intelligence humaine. Cette pro­gram­ma­tion peut être soit déter­min­iste, c’est-à-dire met­tant en œuvre une suc­ces­sion de règles humaines à appli­quer selon un sché­ma de déci­sion ; soit prob­a­biliste, c’est-à-dire par inférence du bon com­porte­ment au regard de l’apprentissage fait sur des sit­u­a­tions antérieures réelles, que l’on appelle machine learn­ing.

Quel que soit le type de pro­gram­ma­tion, l’IA est une automa­ti­sa­tion de la prise de déci­sion. Les risques éthiques ne rési­dent donc pas dans le fait que l’IA puisse mal automa­tis­er, mais au con­traire qu’elle mime par­faite­ment les déci­sions humaines, avec son lot d’erreurs et de biais.

Beau­coup de ces dys­fonc­tion­nements provi­en­nent du con­texte cul­turel dans lequel a été dévelop­pée l’IA, lorsqu’elle réplique les sys­tèmes de valeurs his­toriques d’une société (iné­gal­ités de genre ou eth­niques, par exem­ple) ou de ses con­cep­teurs (édu­ca­tion, sen­si­bil­ité poli­tique, reli­gion, etc.). Ces biais sont par­ti­c­ulière­ment présents dans le cadre des algo­rithmes de machine learn­ing puisqu’ils sont entraînés sur des bases de don­nées his­toriques, en inférant le futur à par­tir du passé.

Les chantiers tech­niques liés à la con­cep­tion et au cycle de vie d’une IA de con­fi­ance répon­dent tous deux à des ques­tions essen­tielles telles que : com­ment détecter avec fia­bil­ité les éventuels biais d’une IA ? Com­ment inter­préter les résul­tats d’un mod­èle ? Com­ment mesur­er l’évolution de la per­for­mance d’une IA ? Quelles garanties de sécu­rité pou­vons-nous apporter ? Pou­vons-nous réa­gir à une dérive ? Cette liste non exhaus­tive traduit la diver­sité des défis à relever pen­dant la mise en pro­duc­tion d’une IA.

IA de confiance : pour plus d'éthique

L’IA au secours de l’IA pour corriger ses biais

À mesure que les mod­èles d’IA sont passés de con­cepts à des pro­duits, nom­bre de solu­tions tech­niques ont été créées pour faciliter l’automation et le déploiement de sys­tèmes IA. Récem­ment, l’offre de solu­tions tech­niques a explosé, créant un écosys­tème riche et nour­ri par l’innovation con­stante de start-up comme de lead­ers d’industrie. Des exem­ples nota­bles sont la AI Infra­struc­ture Alliance et la MLOps Com­mu­ni­ty, tous deux dont Arte­fact fait par­tie. Trou­ver le bon out­il pour la bonne tâche devient donc plus impor­tant, et plus dif­fi­cile. En par­al­lèle, il y a un écosys­tème tout aus­si vibrant de cab­i­nets de con­seil qui s’est dévelop­pé, pour accom­pa­g­n­er leurs clients dans ces choix stratégiques.

Beau­coup de ces solu­tions tech­niques exis­tent en open source et sont donc en libre accès à tous. Ces boîtes à out­ils tech­niques peu­vent détecter et mesur­er les biais tout le long de la chaîne de traite­ment de la don­née : depuis sa col­lecte jusqu’à son exploita­tion, en pas­sant par ses trans­for­ma­tions et sa mod­éli­sa­tion. Elles doivent être activées tout au long du cycle de vie du pro­duit, non seule­ment en phase de con­cep­tion et de développe­ment mais aus­si en pro­duc­tion, afin d’assurer une cor­rec­tion pérenne. Il y a par­ti­c­ulière­ment trois biais qui peu­vent être réso­lus grâce à des solu­tions techniques.

Corriger les biais du passé

Les biais ne vien­nent pas des data sci­en­tists, mais des datasets. Il faut donc tou­jours com­mencer par une explo­ration et une réflex­ion pro­fonde des datasets. Ces biais peu­vent être tant des biais tech­niques (vari­able omise, prob­lème de base de don­nées ou de sélec­tion) que des biais de société (économiques, cog­ni­tifs, émotionnels).

Pour redress­er les jeux d’entraînement, il pour­rait sem­bler logique d’effacer toute trace de don­nées sen­si­bles. Pour­tant, cela se révèlerait aus­si inutile que dan­gereux : d’une part parce qu’une don­née non sen­si­ble peut être insi­dieuse­ment cor­rélée à des don­nées sen­si­bles, et d’autre part parce que ce type de rac­cour­cis incite à lim­iter les con­trôles réguliers des don­nées et processus.

“Les biais ne viennent pas des data scientists, mais des datasets.”

Pour détecter ces biais, il faut être au courant qu’ils exis­tent et savoir quoi chercher. Il est impor­tant de com­pren­dre le con­texte des don­nées pour les inter­préter cor­recte­ment. Un pro­gramme tout seul ne peut pas iden­ti­fi­er de biais, d’où l’importance d’équipes de data sci­en­tists diverses.

C’est en pen­sant de façon cri­tique à pro­pos des dif­férentes métriques asso­ciées à un mod­èle d’IA que nous pou­vons iden­ti­fi­er et rec­ti­fi­er des prob­lèmes. Prenons un mod­èle qui doit détecter une mal­adie présente dans 1 % de la pop­u­la­tion. Si le mod­èle prédit tou­jours que la per­son­ne est saine, le mod­èle aura un taux de pré­ci­sion de 99 %. Sans con­texte, ce score est excel­lent. Pour­tant, ce mod­èle est inutile.

L’utilisation de sta­tis­tiques de bases, uni­var­iées et bivar­iées, du dataset peut iden­ti­fi­er cer­tains biais. Par exem­ple, est-ce que chaque groupe d’âge est représen­té de manière suff­isam­ment égale ? Une solu­tion pour­rait être de chang­er des don­nées con­tin­ues en don­nées caté­gorielles. Des matri­ces de cor­réla­tion peu­vent aus­si valid­er des liens entre deux vari­ables liées. Tout ce tra­vail en amont est cru­cial pour s’assurer que les mod­èles sont entraînés sur des datasets de qual­ité. En deux mots : Garbage in, garbage out.

Expliquer les résultats d’un modèle

Les mod­èles d’IA per­for­mants tels que les réseaux de neu­rones arti­fi­ciels sont très effi­caces et util­isés dans de nom­breux cas d’usage. Toute­fois, ils sont dif­fi­cile­ment inter­préta­bles. C’est pourquoi ces algo­rithmes sont aus­si appelés boîtes noires (black­box mod­els). En effet, iden­ti­fi­er et expli­quer la cause des biais plutôt que d’en écarter les con­séquences est le grand défi du machine learn­ing. Il existe un com­pro­mis entre l’explicabilité et la pré­ci­sion. Cer­tains algo­rithmes comme les arbres de déci­sion sont très explic­a­bles, mais moins utiles pour des pré­dic­tions complexes.

“Pour être transparente, une IA doit pouvoir expliquer pourquoi le modèle a pris une certaine décision pour une personne – un objet – une ligne de données en particulier.”

Le domaine de l’Explainable AI (Ex-AI) essaye de résoudre cette prob­lé­ma­tique en dévelop­pant des méth­odes et algo­rithmes qui aug­mentent l’explicabilité des sys­tèmes. On peut soit explor­er la com­préhen­sion glob­ale, qui explique com­ment une IA fonc­tionne sur la pop­u­la­tion glob­ale, ou la com­préhen­sion locale, qui explique com­ment l’algorithme fonc­tionne sur un exem­ple en par­ti­c­uli­er. Cette dernière est demandée par le RGPD car, pour être trans­par­ente, une IA doit pou­voir expli­quer pourquoi le mod­èle a pris une cer­taine déci­sion pour une per­son­ne – un objet – une ligne de don­nées en par­ti­c­uli­er. Il est impor­tant de regarder à la fois la com­préhen­sion glob­ale et la com­préhen­sion locale pour analyser com­ment le mod­èle se comporte.

Pour cela, les data sci­en­tists peu­vent regarder les vari­ables d’importance du mod­èle. Par exem­ple, il n’est pas nor­mal qu’un mod­èle de recrute­ment ait le genre comme vari­able d’importance. Ils peu­vent aus­si véri­fi­er les métriques tels que l’accu­ra­cy (pré­ci­sion : nom­bre de posi­tifs bien prédits – vrai posi­tif – divisé par l’ensemble des posi­tifs prédits – vrai posi­tif + faux posi­tif), le F1 score (per­met de résumer les valeurs de la pré­ci­sion et du recall en une seule métrique) ou le recall (nom­bre de posi­tifs bien prédits – vrai posi­tif – divisé par l’ensemble des posi­tifs – vrai posi­tif + faux négatif), par rap­port à une vari­able (eg : la pré­ci­sion pour les femmes vs pour les hommes).

Améliorer la robustesse d’un modèle

Les sources de dys­fonc­tion­nement des mod­èles d’IA peu­vent être for­tu­ites, lorsque les don­nées sont cor­rompues, ou inten­tion­nelles, par des hack­ers par exem­ple. Ces deux sources de biais induisent les mod­èles d’IA en erreur en four­nissant des pré­dic­tions ou des résul­tats incorrects.

Cer­taines solu­tions data-dri­ven per­me­t­tent d’évaluer, de défendre et de véri­fi­er des mod­èles et des appli­ca­tions de machine learn­ing con­tre les men­aces con­tra­dic­toires qui pour­raient cibler les don­nées (empoi­son­nement des don­nées), le mod­èle (fuite de mod­èle) ou l’infrastructure sous-jacente, tant matérielle que logicielle.

Sim­ple­ment en super­posant une image de « bruit » à une image nor­male, un clas­sifi­ca­teur peut être amené à caté­goris­er à tort un pan­da comme un gib­bon. La dif­férence est imper­cep­ti­ble à l’œil humain, mais cette tech­nique est bien con­nue comme pou­vant tromper des mod­èles d’IA.

Simplement en superposant une image de « bruit » à une image normale, un classificateur peut être amené à catégoriser à tort un panda comme un gibbon. La différence est imperceptible à l’œil humain, mais cette technique est bien connue comme pouvant tromper des modèles d’IA.
Sim­ple­ment en super­posant une image de « bruit » à une image nor­male, un clas­sifi­ca­teur peut être amené à caté­goris­er à tort un pan­da comme un gib­bon. La dif­férence est imper­cep­ti­ble à l’œil humain, mais cette tech­nique est bien con­nue comme pou­vant tromper des mod­èles d’IA.

Développer des systèmes moins humains, mais plus humanistes

Le con­cept d’IA de con­fi­ance ne peut se réduire à sa con­cep­tion juridique et tech­nique. En effet, le volet relatif à l’humain et à l’organisation est cru­cial pour men­er à bien une démarche éthique liée à l’IA. Les chartes éthiques et les solu­tions d’amélioration doivent être con­nues de toutes les par­ties prenantes, appliquées tout au long du proces­sus de créa­tion et suiv­ies dans le temps. Cela néces­site une trans­for­ma­tion de la cul­ture de l’organisation pour y inté­gr­er en pro­fondeur les thé­ma­tiques et approches éthiques, pour garan­tir la péren­nité des solu­tions et con­tribuer à l’IA éthique by design.

L’IA elle-même n’est pas éthique ou non éthique. Ce sont unique­ment la manière dont on a entraîné le sys­tème et la manière dont on s’en sert qui sont éthiques ou pas. Le véri­ta­ble risque éthique lié à l’usage mas­sif de l’IA n’est donc pas que les algo­rithmes se révoltent. Au con­traire, le risque inter­vient pré­cisé­ment lorsque l’IA se com­porte exacte­ment comme nous l’avons demandé, mimant nos biais, répé­tant nos erreurs, ampli­fi­ant nos incer­ti­tudes et nos imprécisions.


Lire aus­si : Arte­fact : « Les entre­pris­es qui dureront sont celles qui auront réus­si la dif­fu­sion d’une cul­ture data »


Soyons proactifs sur le sujet de l’IA éthique

C’est un sujet qui nous tient à cœur, à Arte­fact, et c’est pour cela que nous y con­sacrons des équipes, et que nous avons dévelop­pé un accom­pa­g­ne­ment spé­ci­fique sur ces enjeux d’élaboration de gou­ver­nance, d’implémentation de solu­tions tech­niques et de con­seil de stratégie IA. Nous tra­vail­lons en étroite col­lab­o­ra­tion avec le monde académique, étant parte­naire de la chaire Good in Tech, cofondée par l’Institut Mines-Télé­com et Sci­ences Po, pour réduire l’écart entre recherche et pra­tique. Arte­fact a aus­si reçu le label Respon­si­ble and Trust­ed AI, décerné par l’association indépen­dante Labelia Labs, qui garan­tit un haut niveau de matu­rité sur les sujets d’IA respon­s­able et de confiance.

“Le risque intervient précisément lorsque l’IA se comporte exactement comme nous l’avons demandé.”

La ques­tion de l’éthique nous con­cerne tous et il con­vient donc d’être proac­t­if sur le sujet. Adopter un com­porte­ment éthique ne doit pas seule­ment être une réac­tion. L’intelligence arti­fi­cielle tra­verse une péri­ode impor­tante, où ses procédés et son ethos sont en pleine phase de déf­i­ni­tion. Dans un domaine pas encore régulé, il revient à celles et ceux qui y pren­nent part de pren­dre les devants. C’est notre respon­s­abil­ité à tous, en tant que développeur, con­sul­tant ou man­ag­er, de répon­dre aux attentes des per­son­nes con­cernées – clients et util­isa­teurs des ser­vices, mais surtout la société en général – et d’utiliser les pou­voirs de l’IA pour créer un monde meilleur.


Pour en savoir plus

6 Commentaires

Ajouter un commentaire

Michel Deudonrépondre
17 avril 2023 à 15 h 41 min

Bon­jour, je ne com­prends pas votre argu­ment “les biais ne vien­nent pas des data sci­en­tists, mais des datasets”. Plus loin vous écrivez “d’où l’importance d’équipes de data sci­en­tists divers­es”. S’ag­it-il d’un raison­nement par l’ab­surde ? Pourquoi ne pas citer le rap­port de Cédric Vil­lani de mars 2018 pour en savoir plus ? Mer­ci de vos explications.

Vin­cent. Lucianirépondre
4 mai 2023 à 12 h 32 min
– En réponse à: Michel Deudon

Bon­jour Michel. Pour refor­muler ma pen­sée : les IA et les algo­rithmes sont par nature, ni éthique ni irre­spon­s­ables. Ce sont les proces­sus, et méth­odes effec­tués par des êtres humains qui le sont. Tout en ayant des humains qui pro­gram­ment le plus sou­vent eux-mêmes bien inten­tion­nés, on peut arriv­er à pro­duire des algo­rithmes biaisés ou malveil­lants. Il faut donc assur­er une déf­i­ni­tion claire des pra­tiques qui amène à la pro­duc­tion de l’IA (par exem­ple la qual­ité des don­nées est sou­vent le plus gros prob­lème). Le rap­port Vil­lani est en effet un excel­lent point de départ, on peut aus­si citer l’ensem­ble des travaux de la CNIL sur le sujet, ain­si que les arti­cles de la com­mis­sion Européenne avec les pre­mières bases du AI act en ce moment au dis­cus­sion au parlement

Michel Deudonrépondre
5 mai 2023 à 6 h 31 min
– En réponse à: Vincent. Luciani

Mer­ci Vin­cent de votre retour. Com­ment s’assurer que les hommes (qui pro­gram­ment ou pas) sont bien inten­tion­nés pour éviter de faire de nos don­nées per­son­nelles des prob­lèmes ? Vous citez la CNIL et la com­mis­sion Européenne, donc le RGPD ? Si le rap­port Vil­lani est un excel­lent point de départ, peut-être qu’il serait pos­si­ble de l’ajouter et l’article de Marie David de mars 2018 dans la Jaune et la Rouge, pour en savoir plus sur l’IA de con­fi­ance ? Ils don­nent un point de vue dif­férent sur les biais. Aus­si peut-être qu’il faudrait pré­cis­er que “les biais ne vien­nent pas des data sci­en­tists” n’est pas un argu­ment sci­en­tifique mais votre opin­ion, pour ne pas prêter à con­fu­sion, et cor­riger les biais du passé ? Mer­ci de votre considération.

Rad­mach­er Maximerépondre
21 avril 2023 à 13 h 37 min

Avant d’avoir une IA de con­fi­ance, il faut des humains de con­fi­ance, car comme vous le soulignez les pré­dic­tions d’un mod­èle sans défaut con­ceptuel ne dépen­dent que des don­nées sur lesquelles il va être entraîn­er. Mais alors ; puisque la pré­pa­ra­tion des don­nées, la con­cep­tion des mod­èles et l’analyse des résul­tats sont con­fiés à des per­son­nes dont la car­rière et la richesse dépen­dent du bon fonc­tion­nement de ses mod­èles ; com­ment être sûr que le développe­ment de l’IA actuel est un véri­ta­ble béné­fice pour l’hu­man­ité ou pas sim­ple­ment un délire technophile.

J’en veux pour preuve l’empreinte car­bone d’un mod­èle con­sid­éré comme l’é­tat de l’art en terme de généra­tion de texte : https://medium.com/@chrispointon/the-carbon-footprint-of-chatgpt-e1bc14e4cc2a
Or si on demande directe­ment à chat­G­PT on a une réponse éva­sive comme quoi, en tant qu’IA dématéri­al­isée, elle n’en­gen­dr­erait aucune émis­sion , ce qui est, à min­i­ma, un détourne­ment très grossier de la réalité. 

Je pense qu’il y a dans le domaine de l’éthique de l’IA un con­flit d’in­térêt notoire du même acabit. Une cri­tique de l’IA ne pour­rait être faite que par une cohorte n’ayant aucun intérêt vis à vis de l’IA, or les per­son­nes la faisant ont un tra­vail qui dépen­dent de son exis­tence. Cela évac­ue immé­di­ate­ment la ques­tion du bien fondé de l’ex­is­tence même de l’IA au détri­ment de l’éthique de l’IA. Avez vous déjà réfléchi à ce paradoxe ?

Mer­ci d’a­vance pour votre réponse,

Vin­cent Lucianirépondre
4 mai 2023 à 12 h 19 min

Bon­jour Maxime, sur ce sujet, il faut sépar­er : la recherche, la régu­la­tion, et les acteurs privés. Un cer­tain nom­bre de lab­o­ra­toire de recherche indépen­dants (je peux citer en France Good in Tech par exem­ple ou l’IN­RIA qui est très présente sur le sujet notam­ment avec le pro­jet Régalia) sont de plus en plus en pointe dans le domaine. Le nom­bre de papi­er de recherche sur le sujet pub­liés à la FACCT qui est la plus grosse con­férence sur le sujet va crois­sant. Je crois en l’indépen­dance et la neu­tral­ité de la recherche. En Ce qui con­cerne les acteurs privés, ils sont très mobil­isés sur ce sujet et cherchent pour beau­coup à s’au­to réguler, même si il est vrai que c’est très dur de garder un regard com­plète­ment agnos­tique. Yann Lecun s’est exprimé sur les liens par­fois com­plex­es entre FAIR et META, Open AI a fini par être acheté par Microsoft, etc… C’est pour ça qu’un cer­tain nom­bre de lanceurs d’alerte déci­dent de pren­dre leur indépen­dance et quit­tent notam­ment les GAFA et finis­sent par avoir une voix qui porte. A mon sens, on a le même prob­lème dans tous les indus­tries à risque (Arme­ment, Cyber­sécu­rité, Spa­tial…). Il faut dans l’IA comme dans tous ces secteurs, qu’on arrive à définir un cer­tain nom­bre de règles et de normes cer­taines par la loi, d’autres par les pra­tiques, qui vien­nent encadr­er le tra­vail autour de l’IA, qui est aujour­d’hui très peu normé

Michel DEUDONrépondre
5 mai 2023 à 12 h 18 min
– En réponse à: Vincent Luciani

Mer­ci Vin­cent de par­ler de lanceurs d’alerte. Je n’ai pas quit­té les GAFA mais j’ai été licen­cié pour motif économique de la start­up de Yoshua Ben­gio Ele­ment AI, après une lev­ée de fonds auprès de McK­in­sey qui a mis fin aux pro­jets AI for social Good en 2019. J’ai retrou­vé mon indépen­dance en quit­tant les réseaux soci­aux — LinkedIn, Facebook/Insta, Twit­ter — après avoir lancé une alerte début mars sur les Lla­ma en fuite de Yann Lecun et 7 poly­tech­ni­ciens (la recherche/les acteurs privés). Que pensez-vous de la loi sur la dés­in­for­ma­tion de 2018 pour une IA de confiance ?

Répondre