De la transparence des algorithmes

Publié le 4 mai 2018

Le terme « transparence » est utilisé dans des sens très variés. Qu’entend-on exactement par « transparence des algorithmes » ? Parlons-en.

AUTEURS

Daniel Lematayer

Directeur de Recherche Inria – Membre de l’Equipe-projet Inria Privatics et du CITI, laboratoire de l’INSA de Lyon

Transparence, explicabilité et responsabilité 

La transparence est souvent comprise comme la publication du texte d’un algorithme ou du code source d’un logiciel. Cependant, ces informations peuvent demeurer opaques pour le commun des citoyens, et même dans certains cas pour des experts. Par ailleurs, le fonctionnement de certains types d’algorithmes, qui reposent sur des techniques d’intelligence artificielle, ne peut être appréhendé indépendamment des jeux de données d’apprentissage. En effet, ces données peuvent refléter des biais qui seront « appris » puis reproduits par l’algorithme. Nous utilisons ici le terme transparence dans un sens plus large, incluant l’explicabilité, ou capacité à expliquer le fonctionnement d’un système algorithmique. Le terme de responsabilité est aussi souvent utilisé à propos de systèmes algorithmiques, dans le sens de l’« accountability » anglaise, que l’on peut traduire par «redevabilité», pour signifier que les concepteurs de systèmes algorithmiques ou ceux qui les utilisent doivent être en mesure de « rendre des comptes », c’est à dire de justifier les résultats de ces systèmes.

Expliquer à qui ?

L’exigence d’explication peut se traduire de différentes manières selon les publics visés. Pour le citoyen lambda, il peut s’agir de comprendre la logique qui a conduit à un résultat particulier, par exemple : une recommandation, l’exposition à une publicité, le classement d’une information, ou encore l’affectation à une université ou un refus de demande de prêt, etc. Il peut être utile de lui fournir des informations sur les critères pris en compte par le système, leurs pondérations, ou encore des contrexemples (comme des profils voisins du sien conduisant à des résultats d’affectation universitaire différents).

Les concepteurs de systèmes algorithmiques ou les professionnels qui les utilisent (juge, médecin, etc.) peuvent être intéressés par des mesures plus globales, comme des explications sous forme d’arbres de décision ou d’autres représentations graphiques mettant en lumière les données prises en compte par l’algorithme et leur influence sur les résultats ou la logique générale de l’algorithme.

Expliquer comment ?

L’explicabilité des algorithmes représente un défi majeur, pour de nombreuses raisons. D’une part, certains algorithmes reposent sur des techniques, comme l’apprentissage profond ou « deep learning » qui produisent des résultats intrinsèquement difficiles à appréhender pour des humains. D’autre part, la quantité importante de facteurs (données d’entrée) pris en compte est parfois un obstacle à l’intelligibilité.

Etant donné l’importance des enjeux, l’explicabilité des algorithmes est un sujet de recherche qui suscite un intérêt croissant. Certains travaux reposent sur l’hypothèse de la « boîte noire », c’est à dire l’absence de connaissance du code du système, et fonctionnent par analyse de ses entrées et sorties. D’autres reposent sur l’hypothèse de la « boîte blanche » et procèdent par analyse du code lui-même. L’avantage de la première démarche est d’être indépendante du type de technique mise en œuvre par le système algorithmique. La seconde, en revanche, permet de disposer d’informations plus riches sur le fonctionnement du système.

Plutôt que de tenter d’assurer une forme d’explicabilité a posteriori, quand le système est déjà déployé,l’idéal serait de prendre en compte cette exigence dès la phase de conception d’un système algorithmique, et degarantir ainsi « par construction » une meilleure compréhension de leurs résultats.

Ajouter une ressource

Participer vous aussi au développement de la transparence des algorithmes et des données en ajoutant des ressources

Commentaires

Les commentaires pour cette ressource sont désactivés.