Des algorithmes, des programmes et des hommes...

Daniel Guinier est Expert de justice honoraire et ancien expert près la Cour Pénale Internationale de La Haye.

---

Si la tendance est de centrer le débat sur les algorithmes, ils restent cependant à appréhender dans un contexte plus global prenant en compte la multiplicité des acteurs et la diversité des modules, des interfaces et des données en interaction. Cet ensemble complexe formé n'est pas dépourvu de fautes génératrices de défaillances, dans une "jungle" qui comporte parfois des millions d'instructions et de nombreuses interactions. De plus, la multiplicité d'applications parfois immatures renforce l'idée de disposer de règles et d'une éthique en s'attachant à la façon de penser des concepteurs en lien avec la compréhension des limites de leur créations et de la réalité de leur destination. C'est cette idée que l'auteur souhaite développer de façon argumentée.

Les algorithmes et les programmes dans leur contexte 

Le terme "algorithme", du nom latinisé du mathématicien arabe Al-Khawarismi, se définit comme l'enchaînement logique formel de règles opératoires ou d'instructions nécessaires à l'accomplissement d'une tâche logistique ou d'un calcul mathématique[1] dans une application cybernétique ou informatique et plus généralement numérique, au vu des objets mobiles et connectés. Un algorithme reçoit des données en entrée, la description des ressources à assigner, les conditions à satisfaire, les informations à transmettre, pour produire des résultats en sortie. Il est matérialisé soit par un ordinogramme pour la représentation graphique de l'enchaînement des opérations, des décisions ou des fonctions à réaliser, soit par un pseudo-code constitué d'une suite non ambiguë d’opérations produisant un résultat. Il est utile d'en mesurer la portée au vu des décisions prises, en considérant que l'interprétation reste toutefois la clé pour l'aide à la décision humaine.

Ces transformations sont réalisées par des programmes qui ne sont que la représentation d'algorithmes sous forme de codes exécutables réalisés à partir de langages informatiques. Ils sont à leur tour intégrés à d'autres modules programmés et à diverses interfaces pour former un ensemble dénommé logiciel : système ou application.

La variété et le nombre d'algorithmes qui traitent des données et leur influence demandent qu'ils soient appréhendés de façon globale, avec leur principe de construction et les finalités poursuivies. Ils exigent en cela de connaître l'origine des données, la destination et le contexte.

Les programmes sont complexes et pourvus de fautes

Plus les algorithmes ou les programmes deviennent complexes, plus les fautes se révèlent très difficiles à débusquer. Il faut se défaire de l'idée que les outils qui écrivent du code et en vérifient l'exactitude de façon automatique auraient la capacité de résoudre ce problème.

La façon de penser des spécialistes est toute aussi importante que le code produit, tout comme le lien direct avec ce qu’ils créent, en particulier la compréhension du comportement des systèmes au vu des codes sous-jacents. Alors qu'il est relativement facile de prévoir les dysfonctionnements dus à des contraintes ou à l'usure matérielle, il n'en est pas de même en ce qui concerne le logiciel pour lequel deux choses sont certaines : "tout aurait dû être mis en œuvre" pour éviter les erreurs et "ce tout" n'est malheureusement pas en mesure de les empêcher totalement. Le logiciel s'adapte plus rapidement à de nombreuses applications, ce qui le rend sensible aux fautes alors qu'il induit un sentiment de trop grande confiance. Ceci est lié à la facilité apparente qu'il y a à créer des programmes et aux diverses pressions qui sont exercées sur les développeurs.  Par ailleurs, les modifications dont il est l'objet, -y compris malveillantes-, et les options nouvelles liées aux versions successives peuvent l'écarter de ses spécifications initiales et ainsi modifier son fonctionnement de façon imprévue ou aggravante. 

Certains spécialistes, ingénieurs et informaticiens, n'ont pas assez de conscience morale, du fait du peu d'attention qu'ils portent quant aux conséquences de ce qu'ils produisent, en ne voyant que la solution immédiate qu'ils apportent, pourvu qu'elle fonctionne, quitte à s'arranger d'un taux d'erreurs "tolérable" à leurs yeux et d'une l'éthique considérée comme étrangère à leur domaine. D'autres se sentent frustrés du peu de reconnaissance des efforts qu'ils accomplissent et peu enclins à discuter de morale dans leur travail quotidien. Ils sont cependant attachés à ce que leur analyse soit précise et sont préoccupés par les limites des tests et des points faibles de méthodes prometteuses qui ne sont ni techniquement, ni socialement responsables, s'alliant ainsi aux critiques, mais peu préparés pour considérer globalement les questions morales attachées à leur travail.

Des garanties à apporter face aux exigences

Bien qu'invisibles, les algorithmes sont omniprésents au cœur de très nombreux systèmes dans divers domaines : diagnostics, guidage GPS, requêtes Internet, finances (ex : trading), affectations, robots et IA (ex : véhicules autonomes), objets connectés, etc., et de plus en plus complexes et obscurs, au point d'alerter les autorités et de susciter un débat public. Pour beaucoup, il s'agit d'un enjeu de société qui requiert de la vigilance et amène à des exigences de conformité et de loyauté, mais aussi de qualité. Ils peuvent conduire à divers risques, tels que le risque de mise en danger de personnes, de décisions erronées, de discrimination et de mise à l'écart, d'atteintes à l'encontre du libre-arbitre, du pluralisme et de l'épanouissement individuel, etc. Avec l’intelligence artificielle et le "Big Data", où ils participent à la prise de décision par des analyses prédictives, contextuelles et comportementales, il s'agit de s’assurer qu’ils opèrent au service d’un intérêt général clairement défini, et non d’intérêts particuliers ou opportunistes. Ceci implique que nous sommes tous concernés d'une manière ou d'une autre, quelle que soit notre position dans la société. L'idée de Rousseau que "tout individu est aussi citoyen" devient éminemment moderne et forte. De nouvelles règles semblent nécessaires au regard de l'évolution rapide des technologies, de la complexité croissante des systèmes, du manque de prise en compte de la part de l'homme, et de l'existence de conflits de moralité de plus en plus aigus et fréquents impliquant la technologie, l'homme et le monde des affaires.

Les responsabilités relèvent autant des aspects éthiques que juridiques. Il s'agit d'en préciser les termes, en prenant en compte la multiplicité des acteurs et des modules et interfaces qui posent un problème de partage et d'attribution des responsabilités.

• Sous l'angle éthique[2] de nouvelles règles paraissent utiles face aux conflits de moralité de plus en plus aigus et fréquents, tandis qu'il paraît nécessaire de rompre avec l'asymétrie entre les particuliers et les très grandes entreprises telles que les GAFAM qui défient maintenant les États.
• Au regard des aspects juridiques, la loi française du 7 octobre 2016 pour une République numérique constitue une étape[3], avec en particulier un droit à l’information sur les algorithmes, tandis qu'apparaissent déjà des restrictions sur la disponibilité du pseudo-code au vu de la propriété intellectuelle concernant les algorithmes propriétaires.

Concernant les algorithmes, il en ressort rapport de la CNIL du 15 décembre 2017, consacré aux enjeux éthiques des algorithmes, que les principes la loyauté et la vigilance seront appelés à évoluer entre l’intérêt général et la logique des modèle d'affaires. En notant que les algorithmes sont une œuvre de l’esprit - comme les programmes et les logiciels d'ailleurs - et qu'en conséquence, ils relèvent de droits d’auteurs, il faut s’interroger sur la conciliation entre le droit de propriété incorporelle opposable à tous et le contrôle des algorithmes qui suppose le pouvoir d'agir sur ces derniers. Cette difficulté est soulignée dans ce même rapport (p. 51) : "l’idée de transparence entre en tension avec le droit de la propriété intellectuelle, les algorithmes s’apparentant à un secret industriel dont la divulgation pourrait mettre en danger un modèle économique". En même temps, le Conseil d’État souligne que le responsable du traitement devra se "donner les moyens de maîtriser l’algorithme et de documenter, notamment à destination de l’autorité de contrôle, les actions entreprises à cette fin", dans son avis rendu le 7 décembre 2017, mais sans préciser quel contrôle est prévu ou à prévoir sur les algorithmes.

Concernant les données, le règlement général de protection des données (RGPD) crée un nouveau cadre, avec des aménagements majeurs prévus à l'article 4-4 du Règlement (UE) 2016/679 le 26 mai 2018 où le profilage est défini comme "toute forme de traitement automatisé de données à caractère personnel consistant à utiliser ces données à caractère personnel pour évaluer certains aspects personnels relatifs à une personne physique, notamment pour analyser ou prédire des éléments concernant le rendement au travail, la situation économique, la santé, les préférences personnelles, les intérêts, la fiabilité, le comportement, la localisation ou les déplacements de cette personne physique".

Si certaines garanties sont théoriquement apportées par la règlementation concernant les données, le contrôle des algorithmes reste encore illusoire.

Une éthique pour anticiper les risques

Si la morale apparaît comme l'ensemble des exigences qui s'imposent à notre société sous forme de dogmes, alors que la déontologie s'intéresse avant tout au devoir de chacun dans un cadre défini et plus restreint, l'éthique est de nature à préciser ce qui répond à cette morale. Elle doit être entendue comme la recherche des fondements nécessaires pour établir et développer un code de conduite. Un tel concept devrait non seulement préoccuper les associations professionnelles et académiques, les responsables politiques, mais aussi les citoyens sur lesquels reposent les conséquences effectives. Sans être confondu avec les normes et les lois, l'éthique se doit d'anticiper les risques en s'appuyant sur des préceptes moraux et sociaux.

• Concernant l'éthique morale prenant en compte les motivations de ceux qui veulent développer des technologies ayant recours à des algorithmes, il s'agira en particulier de considérer les aspects socio-économiques, la compétition et la concurrence, et les relations d'intérêt, mais aussi l'indépendance et l'objectivité au vu de risques masqués.
• Concernant d'éthique sociale prenant en considération la protection du public, en évitant notamment d'exposer ce dernier à ces technologies, il s'agira de dispenser l'information et la formation des professionnels et des particuliers par tous moyens, et de faire en sorte de s'assurer du respect de la loyauté envers l'ensemble des parties et de la société.

Conclusion

Les technologies et innovations devraient être évaluées plus en profondeur et guidées par l'éthique, en veillant à ce que les décisions ne nous échappent. Concernant les algorithmes, il s'agit de remédier aux situations d’asymétrie qu'ils peuvent établir et de bénéficier de plus de transparence en s'appuyant sur des systèmes ouverts et non sur des systèmes opaques qualifiables de "boîte noire" rencontrés le plus souvent, sans connaissance de leurs limites et de leur construction. À l'opposé, il s’agit soutenir et de promouvoir ce qui est propre à renforcer l’autonomie et à permettre des orientations informées et des décisions clairvoyantes.

Pour cela, il paraît utile de considérer la réhabilitation de la puissance publique, le recentrage au service du développement humain et le démantèlement des monopoles, en contrôlant ce qui pourrait se substituer à la décision des États-nations. À cet égard, le règlement général de protection des données (RGPD) résultant de la volonté de l'Europe paraît avoir démontré sa capacité d'imposer sa vision sur la protection des données personnelles et forge l'idée d'un modèle économique mieux maitrisé concernant les données.

Aussi, de nouvelles règles seront utiles pour faire face aux conflits entre le monde des affaires et la demande de confiance à l'égard des technologies, dont les algorithmes ne sont qu'une facette omniprésente.

Daniel Guinier

---

Bibliographie sélective

• Guinier D. (1995) : Catastrophe et management - Plans d'urgence et continuité des systèmes d'information, Collection "Stratégies et Systèmes d'Information", Éd. Masson, 336 p.
• Guinier D. (2001) : "Justifications du principe de précaution : Fondements éthiques, juridiques, politiques. Expertises", n° 251, août, pp. 298-300.
• Guinier D. (2018) : "Place des algorithmes et exigences face à la complexité et à la convergence technologique", Revue Experts, n° 139, août , pp. 40-44.

---
 
[1] En mathématique, la caractéristique essentielle d'un algorithme est la transformation des données explicites d'entrée, ou initiales, en données de sortie, ou résultat final, selon une suite d'étapes qui correspondent chacune à l'application d'une règle de transformation choisie parmi un ensemble qui en comporte un nombre fini. En conséquence, une fonction est dite calculable s'il existe un algorithme qui permette de calculer une valeur f(n), pour toute valeur de l'argument n.

[2] Voir D. Guinier (1995), pp. 45-49, et D. Guinier (2001).

[3] Loi n° 2016-1321. Ainsi, les administrations devront publier en ligne les règles liées aux principaux traitements algorithmiques fondant des décisions individuelles (ex : calcul des impôts) et, sauf exception, toute personne destinataire d’une décision fondée sur un traitement algorithmique pourra demander à l’administration les règles qui le définissent (ex : affectation des élèves dans un établissement).