IA de confiance : enjeux et solutions pour un traitement éthique des données

Les risques liés à l’usage mas­sif de l’intelligence arti­fi­cielle rési­dent essen­tielle­ment dans la repro­duc­tion de biais et stéréo­types humains. Pour créer une IA éthique, les développeurs doivent créer by design des solu­tions data-dri­ven dans une démarche tant tech­nique que juridique et humaniste.

La sci­ence-fic­tion est pleine d’histoires d’intelligences arti­fi­cielles qui se révoltent, où les machines agis­sent selon leur pro­pre sys­tème de valeur évidem­ment malé­fique. Sou­venez-vous d’HAL 9000 dans l’Odyssée de l’espace ou encore de Skynet dans Ter­mi­na­tor ! De retour dans la vraie vie, les sys­tèmes et algo­rithmes d’IA ont large­ment inté­gré des actes courants de notre vie quo­ti­di­enne comme le shop­ping en ligne, la souscrip­tion de con­trats ban­caires ou encore la con­sul­ta­tion de con­tenu sur les réseaux soci­aux. Si les cas d’IA rebelle restent un pur fan­tasme d’auteur, les dérives et dys­fonc­tion­nements d’IA sont, eux, devenus courants, sou­vent avec des con­séquences très réelles.

L’éthique contre les stéréotypes

Nous avons tous vu les images générées par des IA comme Dall‑E 2. C’est amu­sant et inno­cent de créer une image d’ourson qui écoute de la musique sous l’eau. Mais saviez-vous que ces algo­rithmes per­pétuent des stéréo­types gen­rés en sur­représen­tant des hommes dans des images de doc­teurs, pilotes et PDG, mais en sur­représen­tant des femmes dans des images d’infirmières, d’hôtesses de l’air, et de secrétaires ?

Vu la masse de déci­sions du quo­ti­di­en déléguées à l’IA, nous ne pou­vons ignor­er les ques­tions éthiques soulevées par son usage. En général, l’IA reste un marché et une tech­nolo­gie peu régle­men­tée encore (la Com­mis­sion européenne planche active­ment sur un futur règle­ment). Il relève donc de la respon­s­abil­ité indi­vidu­elle de pro­téger les utilisateurs.

La prob­lé­ma­tique de l’IA est de créer by design des sys­tèmes de con­fi­ance qui répon­dent aux attentes éthiques de notre société. Il en devient impératif de se pré­par­er, dès main­tenant, à con­cevoir et main­tenir des sys­tèmes d’IA de con­fi­ance. Ce chantier est vaste, et l’éthique est un sujet qui se con­stru­it tout au long du cycle de vie d’un produit.

Lire aus­si : Définir le cadre nor­matif d’une IA de con­fi­ance dans les entreprises

Une intelligence artificielle… qui mime les erreurs humaines

L’IA est un ensem­ble de théories et de tech­niques per­me­t­tant à une machine soit de pren­dre une déci­sion face à une sit­u­a­tion prédéfinie, soit de simuler l’intelligence humaine. Cette pro­gram­ma­tion peut être soit déter­min­iste, c’est-à-dire met­tant en œuvre une suc­ces­sion de règles humaines à appli­quer selon un sché­ma de déci­sion ; soit prob­a­biliste, c’est-à-dire par inférence du bon com­porte­ment au regard de l’apprentissage fait sur des sit­u­a­tions antérieures réelles, que l’on appelle machine learn­ing.

Quel que soit le type de pro­gram­ma­tion, l’IA est une automa­ti­sa­tion de la prise de déci­sion. Les risques éthiques ne rési­dent donc pas dans le fait que l’IA puisse mal automa­tis­er, mais au con­traire qu’elle mime par­faite­ment les déci­sions humaines, avec son lot d’erreurs et de biais.

Beau­coup de ces dys­fonc­tion­nements provi­en­nent du con­texte cul­turel dans lequel a été dévelop­pée l’IA, lorsqu’elle réplique les sys­tèmes de valeurs his­toriques d’une société (iné­gal­ités de genre ou eth­niques, par exem­ple) ou de ses con­cep­teurs (édu­ca­tion, sen­si­bil­ité poli­tique, reli­gion, etc.). Ces biais sont par­ti­c­ulière­ment présents dans le cadre des algo­rithmes de machine learn­ing puisqu’ils sont entraînés sur des bases de don­nées his­toriques, en inférant le futur à par­tir du passé.

Les chantiers tech­niques liés à la con­cep­tion et au cycle de vie d’une IA de con­fi­ance répon­dent tous deux à des ques­tions essen­tielles telles que : com­ment détecter avec fia­bil­ité les éventuels biais d’une IA ? Com­ment inter­préter les résul­tats d’un mod­èle ? Com­ment mesur­er l’évolution de la per­for­mance d’une IA ? Quelles garanties de sécu­rité pou­vons-nous apporter ? Pou­vons-nous réa­gir à une dérive ? Cette liste non exhaus­tive traduit la diver­sité des défis à relever pen­dant la mise en pro­duc­tion d’une IA.

L’IA au secours de l’IA pour corriger ses biais

À mesure que les mod­èles d’IA sont passés de con­cepts à des pro­duits, nom­bre de solu­tions tech­niques ont été créées pour faciliter l’automation et le déploiement de sys­tèmes IA. Récem­ment, l’offre de solu­tions tech­niques a explosé, créant un écosys­tème riche et nour­ri par l’innovation con­stante de start-up comme de lead­ers d’industrie. Des exem­ples nota­bles sont la AI Infra­struc­ture Alliance et la MLOps Com­mu­ni­ty, tous deux dont Arte­fact fait par­tie. Trou­ver le bon out­il pour la bonne tâche devient donc plus impor­tant, et plus dif­fi­cile. En par­al­lèle, il y a un écosys­tème tout aus­si vibrant de cab­i­nets de con­seil qui s’est dévelop­pé, pour accom­pa­g­n­er leurs clients dans ces choix stratégiques.

Beau­coup de ces solu­tions tech­niques exis­tent en open source et sont donc en libre accès à tous. Ces boîtes à out­ils tech­niques peu­vent détecter et mesur­er les biais tout le long de la chaîne de traite­ment de la don­née : depuis sa col­lecte jusqu’à son exploita­tion, en pas­sant par ses trans­for­ma­tions et sa mod­éli­sa­tion. Elles doivent être activées tout au long du cycle de vie du pro­duit, non seule­ment en phase de con­cep­tion et de développe­ment mais aus­si en pro­duc­tion, afin d’assurer une cor­rec­tion pérenne. Il y a par­ti­c­ulière­ment trois biais qui peu­vent être réso­lus grâce à des solu­tions techniques.

Corriger les biais du passé

Les biais ne vien­nent pas des data sci­en­tists, mais des datasets. Il faut donc tou­jours com­mencer par une explo­ration et une réflex­ion pro­fonde des datasets. Ces biais peu­vent être tant des biais tech­niques (vari­able omise, prob­lème de base de don­nées ou de sélec­tion) que des biais de société (économiques, cog­ni­tifs, émotionnels).

Pour redress­er les jeux d’entraînement, il pour­rait sem­bler logique d’effacer toute trace de don­nées sen­si­bles. Pour­tant, cela se révèlerait aus­si inutile que dan­gereux : d’une part parce qu’une don­née non sen­si­ble peut être insi­dieuse­ment cor­rélée à des don­nées sen­si­bles, et d’autre part parce que ce type de rac­cour­cis incite à lim­iter les con­trôles réguliers des don­nées et processus.

“Les biais ne viennent pas des data scientists, mais des datasets.”

Pour détecter ces biais, il faut être au courant qu’ils exis­tent et savoir quoi chercher. Il est impor­tant de com­pren­dre le con­texte des don­nées pour les inter­préter cor­recte­ment. Un pro­gramme tout seul ne peut pas iden­ti­fi­er de biais, d’où l’importance d’équipes de data sci­en­tists diverses.

C’est en pen­sant de façon cri­tique à pro­pos des dif­férentes métriques asso­ciées à un mod­èle d’IA que nous pou­vons iden­ti­fi­er et rec­ti­fi­er des prob­lèmes. Prenons un mod­èle qui doit détecter une mal­adie présente dans 1 % de la pop­u­la­tion. Si le mod­èle prédit tou­jours que la per­son­ne est saine, le mod­èle aura un taux de pré­ci­sion de 99 %. Sans con­texte, ce score est excel­lent. Pour­tant, ce mod­èle est inutile.

L’utilisation de sta­tis­tiques de bases, uni­var­iées et bivar­iées, du dataset peut iden­ti­fi­er cer­tains biais. Par exem­ple, est-ce que chaque groupe d’âge est représen­té de manière suff­isam­ment égale ? Une solu­tion pour­rait être de chang­er des don­nées con­tin­ues en don­nées caté­gorielles. Des matri­ces de cor­réla­tion peu­vent aus­si valid­er des liens entre deux vari­ables liées. Tout ce tra­vail en amont est cru­cial pour s’assurer que les mod­èles sont entraînés sur des datasets de qual­ité. En deux mots : Garbage in, garbage out.

Expliquer les résultats d’un modèle

Les mod­èles d’IA per­for­mants tels que les réseaux de neu­rones arti­fi­ciels sont très effi­caces et util­isés dans de nom­breux cas d’usage. Toute­fois, ils sont dif­fi­cile­ment inter­préta­bles. C’est pourquoi ces algo­rithmes sont aus­si appelés boîtes noires (black­box mod­els). En effet, iden­ti­fi­er et expli­quer la cause des biais plutôt que d’en écarter les con­séquences est le grand défi du machine learn­ing. Il existe un com­pro­mis entre l’explicabilité et la pré­ci­sion. Cer­tains algo­rithmes comme les arbres de déci­sion sont très explic­a­bles, mais moins utiles pour des pré­dic­tions complexes.

“Pour être transparente, une IA doit pouvoir expliquer pourquoi le modèle a pris une certaine décision pour une personne – un objet – une ligne de données en particulier.”

Le domaine de l’Explainable AI (Ex-AI) essaye de résoudre cette prob­lé­ma­tique en dévelop­pant des méth­odes et algo­rithmes qui aug­mentent l’explicabilité des sys­tèmes. On peut soit explor­er la com­préhen­sion glob­ale, qui explique com­ment une IA fonc­tionne sur la pop­u­la­tion glob­ale, ou la com­préhen­sion locale, qui explique com­ment l’algorithme fonc­tionne sur un exem­ple en par­ti­c­uli­er. Cette dernière est demandée par le RGPD car, pour être trans­par­ente, une IA doit pou­voir expli­quer pourquoi le mod­èle a pris une cer­taine déci­sion pour une per­son­ne – un objet – une ligne de don­nées en par­ti­c­uli­er. Il est impor­tant de regarder à la fois la com­préhen­sion glob­ale et la com­préhen­sion locale pour analyser com­ment le mod­èle se comporte.

Pour cela, les data sci­en­tists peu­vent regarder les vari­ables d’importance du mod­èle. Par exem­ple, il n’est pas nor­mal qu’un mod­èle de recrute­ment ait le genre comme vari­able d’importance. Ils peu­vent aus­si véri­fi­er les métriques tels que l’accu­ra­cy (pré­ci­sion : nom­bre de posi­tifs bien prédits – vrai posi­tif – divisé par l’ensemble des posi­tifs prédits – vrai posi­tif + faux posi­tif), le F1 score (per­met de résumer les valeurs de la pré­ci­sion et du recall en une seule métrique) ou le recall (nom­bre de posi­tifs bien prédits – vrai posi­tif – divisé par l’ensemble des posi­tifs – vrai posi­tif + faux négatif), par rap­port à une vari­able (eg : la pré­ci­sion pour les femmes vs pour les hommes).

Améliorer la robustesse d’un modèle

Les sources de dys­fonc­tion­nement des mod­èles d’IA peu­vent être for­tu­ites, lorsque les don­nées sont cor­rompues, ou inten­tion­nelles, par des hack­ers par exem­ple. Ces deux sources de biais induisent les mod­èles d’IA en erreur en four­nissant des pré­dic­tions ou des résul­tats incorrects.

Cer­taines solu­tions data-dri­ven per­me­t­tent d’évaluer, de défendre et de véri­fi­er des mod­èles et des appli­ca­tions de machine learn­ing con­tre les men­aces con­tra­dic­toires qui pour­raient cibler les don­nées (empoi­son­nement des don­nées), le mod­èle (fuite de mod­èle) ou l’infrastructure sous-jacente, tant matérielle que logicielle.

Sim­ple­ment en super­posant une image de « bruit » à une image nor­male, un clas­sifi­ca­teur peut être amené à caté­goris­er à tort un pan­da comme un gib­bon. La dif­férence est imper­cep­ti­ble à l’œil humain, mais cette tech­nique est bien con­nue comme pou­vant tromper des mod­èles d’IA.

Développer des systèmes moins humains, mais plus humanistes

Le con­cept d’IA de con­fi­ance ne peut se réduire à sa con­cep­tion juridique et tech­nique. En effet, le volet relatif à l’humain et à l’organisation est cru­cial pour men­er à bien une démarche éthique liée à l’IA. Les chartes éthiques et les solu­tions d’amélioration doivent être con­nues de toutes les par­ties prenantes, appliquées tout au long du proces­sus de créa­tion et suiv­ies dans le temps. Cela néces­site une trans­for­ma­tion de la cul­ture de l’organisation pour y inté­gr­er en pro­fondeur les thé­ma­tiques et approches éthiques, pour garan­tir la péren­nité des solu­tions et con­tribuer à l’IA éthique by design.

L’IA elle-même n’est pas éthique ou non éthique. Ce sont unique­ment la manière dont on a entraîné le sys­tème et la manière dont on s’en sert qui sont éthiques ou pas. Le véri­ta­ble risque éthique lié à l’usage mas­sif de l’IA n’est donc pas que les algo­rithmes se révoltent. Au con­traire, le risque inter­vient pré­cisé­ment lorsque l’IA se com­porte exacte­ment comme nous l’avons demandé, mimant nos biais, répé­tant nos erreurs, ampli­fi­ant nos incer­ti­tudes et nos imprécisions.

Lire aus­si : Arte­fact : « Les entre­pris­es qui dureront sont celles qui auront réus­si la dif­fu­sion d’une cul­ture data »

Soyons proactifs sur le sujet de l’IA éthique

C’est un sujet qui nous tient à cœur, à Arte­fact, et c’est pour cela que nous y con­sacrons des équipes, et que nous avons dévelop­pé un accom­pa­g­ne­ment spé­ci­fique sur ces enjeux d’élaboration de gou­ver­nance, d’implémentation de solu­tions tech­niques et de con­seil de stratégie IA. Nous tra­vail­lons en étroite col­lab­o­ra­tion avec le monde académique, étant parte­naire de la chaire Good in Tech, cofondée par l’Institut Mines-Télé­com et Sci­ences Po, pour réduire l’écart entre recherche et pra­tique. Arte­fact a aus­si reçu le label Respon­si­ble and Trust­ed AI, décerné par l’association indépen­dante Labelia Labs, qui garan­tit un haut niveau de matu­rité sur les sujets d’IA respon­s­able et de confiance.

“Le risque intervient précisément lorsque l’IA se comporte exactement comme nous l’avons demandé.”

La ques­tion de l’éthique nous con­cerne tous et il con­vient donc d’être proac­t­if sur le sujet. Adopter un com­porte­ment éthique ne doit pas seule­ment être une réac­tion. L’intelligence arti­fi­cielle tra­verse une péri­ode impor­tante, où ses procédés et son ethos sont en pleine phase de déf­i­ni­tion. Dans un domaine pas encore régulé, il revient à celles et ceux qui y pren­nent part de pren­dre les devants. C’est notre respon­s­abil­ité à tous, en tant que développeur, con­sul­tant ou man­ag­er, de répon­dre aux attentes des per­son­nes con­cernées – clients et util­isa­teurs des ser­vices, mais surtout la société en général – et d’utiliser les pou­voirs de l’IA pour créer un monde meilleur.

Pour en savoir plus

• AI Infra­struc­ture Alliance https://ai-infrastructure.org/partners/
• MLOps Com­mu­ni­ty https://mlops.community/
• Biais bases de don­nées https://www.institutmontaigne.org/publications/algorithmes-controle-des-biais-svp
• Pan­da et gib­bon https://arxiv.org/pdf/1412.6572.pdf

---

Articles similaires :

Les deux intel­li­gences arti­fi­cielles : entre pro­thèse et orthèse Pour une IA responsable Les algo­rithmes com­posent-ils de la musique ? L’approche mul­ti-cloud native au ser­vice des grands groupes Inno­va­tions au coeur de l’industrie de la défense Aug­men­tus, Chroniques du Cyclo­cen­tau­re à l’ère de l’Intelligence Artificielle