[Groupe K2] Comment l’utilisation d’un matériel dédié au rendu graphique a permis la troisième vague de l’intelligence artificielle et ses applications concrètes ?

Jean-Baptiste Harry est HPC & AI Solution Architect & pre-sales EMEA, NEC Europe.

---

Un peu d’histoire de l’intelligence artificielle

L’essor de l’intelligence artificielle (IA) comme nous la connaissons aujourd’hui a été permise par l’arrivée à maturité technique de plusieurs disciplines. Celles-ci vont des mathématiques, du hardware et de ses configurations, et du software appliqué aux domaines métiers. L’objet est ici de se concentrer sur le domaine du hardware. En effet, celui-ci est une des clefs qui a permis de faire passer cette discipline à des domaines d’application concrets, tant chez les utilisateurs de tous les jours que chez les entreprises. Cette avancée a permis le démarrage de la troisième vague de l’intelligence artificielle.

D’un point de vue historique, le développement de l’intelligence artificielle s’est fait en trois vagues majeures. La première vague de l’intelligence artificielle démarre dans les années 50. C’est le début des premiers ordinateurs dans les centres de recherche et la conceptualisation informatique du neurone par McCulloch et Pitts. Par manque de puissance informatique, de mémoire, de capacité de stockage sur ces ordinateurs de plusieurs tonnes, les choix de recherche se portent vers l’intelligence artificielle symbolique. Ce paradigme d’IA, basé sur des règles compréhensibles par l’homme, fut ainsi l’axe de recherche prédominant jusqu’au début des années 1990.

La seconde vague a commencé à la fin des années 1980. Celle-ci fut permise par l’amélioration des puissances de calcul disponible permettant d’utiliser les neurones en réseau afin d’aborder la résolution de problèmes plus complexes. Mais l’avancée majeure de cette vague fut l’introduction de l’algorithme de rétro-propagation par Yann Le Cun. Cette technique mathématique de correction des pondérations du réseau a permis la mise en place de l’automatisation de la phase d’apprentissage telle qu’on la connaît aujourd’hui. 

Enfin, la troisième vague de l’IA, telle qu’on la connaît aujourd’hui, date du début des années 2010. Le redémarrage des recherches est dû principalement à l’apport de puissance de calcul amené par les Graphics Processing Units (GPU). En effet, ces puces initialement dédiées au graphisme permettent de faire du calcul tensoriel efficacement et de lancer des taches en parallèle. L’exploitation de ces caractéristiques tant dans le domaine de l’IA que dans d’autres domaines scientifiques a généré un gain très important de puissance de calcul. L’accélération considérable des temps d’apprentissage a permis d’affiner les paramétrages des réseaux et d’en tester facilement de nouveaux plus demandeurs en puissance de calcul. Les débuts se firent sur des cartes GPU dédiées au graphisme mais s’en est suivi le développement de puces GPU Nvidia principalement destinées au calcul à haute performance (HPC) et à l’IA pour arriver au matériel que l’on connaît actuellement, principalement dominé par Nvidia.

En parallèle de l’augmentation de puissance de calcul d’un point de vue applicatif, les réseaux de neurones se sont diversifiés et améliorés. Alors qu’au au début, principalement axés sur l’analyse d’image, ils permettent aujourd’hui de faire des chabots, de la recommandation de produits, de l’analyse de tests et de l’analyse de sentiments. Actuellement, les applications basées sur de l’IA sont des "workflow" enchaînant plusieurs réseaux de neurones spécifiques complexes. On arrive aussi à de très grands réseaux de neurones entraînés pour la résolution de tâches multiples. Mais ceux-ci nécessitent des temps longs d’entraînement (apprentissage), toujours plus de ressources coûteuses à l’achat (matériel informatique) et énormément d’électricité pour cette mise au point.

L’évolution actuelle de l’intelligence artificielle

Un des axes d’amélioration de ces réseaux de neurones a été la complexification de ces réseaux pour répondre à l’augmentation des jeux de données de validation. La conséquence fut des graphes plus importants, des tenseurs plus importants et plus nombreux, donc un besoin de puissance de calcul plus important. 

À titre d’exemple, le modèle de référence GTP (Generative Pre-trained Transformer) d’open AI, cofondé par Elon Musk, correspond à des milliards de paramètres à calibrer. 

Certes, ces applications offrent des possibilités formidables mais le besoin de ressources de calcul est énorme. L’utilisation de nouvelles puces efficientes pour le calcul tensoriel fut donc un des éléments clés pour le développement de l’IA. Aujourd’hui, Nvidia, principal fournisseur de cartes GPU, est le leader incontesté de ce marché et a permis, en rendant le calcul tensoriel accessible, l’essor des applications d’intelligence artificielle. En dix ans, l’action NVIDIA à eut une croissance de 7000 %.

Quelles puces pour faire de l’IA ?

L’évolution des modèles vers les réseaux de neurones de plus en plus importants en taille oriente le marché vers des puces de calcul de plus en plus puissantes. Sur ces modèles, les calculs sont principalement une suite de calculs tensoriels et l’efficacité sur ces opérations est un critère essentiel pour la performance des applications d’IA comme pour les codes de calcul. Depuis des nombreuses années, les constructeurs développent des librairies optimisées pour le traitement de ces opérations sur leurs puces. Les constructeurs équipent maintenant leurs puces de cœurs de calcul dédiés à ces opérations, comme les GPU Nvidia (A30, A100, H100) avec cœurs de calculs optimisés et dédiés seulement à ce type d’opération (tensor core).

Ainsi, les GPU de Nvidia sont les puces qui dominent ce marché du matériel pour l’intelligence artificielle. 

Des puces mais pas que…

Quand on parle de hardware pour l’intelligence artificielle, on pense souvent aux puces mais de nombreux autres éléments ont révolutionné le domaine de l’IA. Dans ce cadre de calcul haute performance et hautement parallèle, il est essentiel de comprendre que les accélérations sont le plus souvent limitées par les éléments les plus lents. Ainsi, pour totalement bénéficier des accélérations des puces de calculs, il faut pouvoir leur emmener les données à calculer d’une manière efficiente, de pouvoir écrire les résultats en mémoire, etc. C’est le même principe qu’une chaîne de production.

Les points suivant introduisent les principaux éléments qui ont permis et/ou ont évolué grâce et avec l’essor de l’IA :

• Les serveurs : développement et optimisation de nouveaux serveurs pour l’utilisation des accélérateurs par les constructeurs comme NEC, Atos, DELL, HPE, IBM. Ces acteurs conçoivent et pilotent la construction de centres de calculs.
• Le stockage : l’intelligence artificielle a besoin de données pour être entraîné, donc stocker les paramètres des modèles (700 GB pour GTP3). Ces besoins de stockage sont de deux types : le stockage local près des puces de calcul sur les serveurs (training ou inférence) avec les disques à mémoire flash ou la RAM et le stockage centralisé sur des baies de calcul hautes performances.
• Les réseaux rapides faibles latences et hautes performances : ces réseaux déjà présents dans le HPC permettent, sur les supercalculateurs, d’échanger de gros ou petits volumes de données avec des latences de l’ordre de la micro seconde avec des débits de 100 à 400 GB/s. L’importance de ces réseaux est telle que Nvidia a acquis Mellanox, leader et spécialiste mondial de ce secteur. C’est actuellement un composant en pénurie retardant de nombreux projets.
• Indirectement, les télécommunications via la 5G et les besoins importants de transferts rapides de données.
• Le edge computing : calculer hors du data center à l’emplacement physique de l’utilisateur ou de la donnée ou sur un centre intermédiaire proche. Cela peut se faire sur le terminal final comme un téléphone, des machines-outils, des voitures. Cette branche du calcul a aussi amené le développement de puces dédiées à l’inférence.
• La partie exploitation : conteneurisation et exploitation de services avec des solutions comme docker et kubernetes qui ont eu un impact dans de nombreux domaines d’application de l’informatique du web en passant par l’IA jusqu’au domaine scientifique des codes de calculs. Le déploiement par conteneur permet de mettre à disposition du métier des suites logicielles construites dans des environnements performants et validés avec un simple clic.
• La partie logicielle : pour être performante la couche logicielle doit être optimisée pour le matériel sur lequel elle sera exécutée. Ces étapes nécessitent des optimisations de haut niveau, spécifiques aux langages, aux matériels, aux librairies constructeurs et sont coûteuses en temps et ressources. Pour pallier ces contraintes, Google et Facebook ont respectivement développé deux des Frameworks open source majeurs du domaine TensorFlow et Pytorch. Ces couches logicielles permettent ainsi de concevoir facilement des applications avec des connaissances métier et de réseaux de neurones. 
• La collecte des données dans le web, dans les objets connectés.

La place importante des GAFAM

Il existe ainsi une amélioration constante du matériel pour l’intelligence artificielle. Cette course à la puissance et son coût ont amené les GAFAM (Apple, Google, Facebook, Tesla, AWS) et le chinois BADU à concevoir leurs propres puces dédiées à l’intelligence artificielle. Il est à noter que ces puces sont produites pour un usage interne (sauf dans le cas d’Amazon Web Services) afin de répondre aux besoins de ces entreprises et de garder leur avantage concurrentiel. Les nouveaux axes de recherche d’intelligence artificielle et d’informatique quantique sont prometteurs mais ne sont encore mûrs. Meta (Facebook) propose maintenant des serveurs complets, conçus en interne pour entrer dans leur Metavers (vente clef en main).

La partie "matériel" est un des facteurs importants de l’IA car sans matériel pas de calculs. L’embargo pour le marché chinois montre l’importance stratégique du matériel dans ce domaine. Concernant l’évolution de l’IA, plusieurs questions se posent : 

• Le futur rôle des GAFAM / BADU / TESLA qui développent leur propres puces et les principales couches logicielles du domaine (TF, Pytorch).
• L’impact énergétique et financier, la hausse du coût de l’énergie vont-t-ils réorienter les choix technologiques ?
• Quel sera l’impact écologique des data centers ? 

Jean-Baptiste Harry

Cette Tribune s'inscrit dans le cadre du Groupe K2 "Enjeux du Big Data" composé de :

Kevin Dumoux est Co-créateur du Cercle K2, Conseil en Stratégie, Transformations digitales et M&A - Messaoud Chibane (PhD) est Directeur du MSc Finance & Big Data, NEOMA Business School, Lauréat du Trophée K2 "Finances" 2018 - Shirine Benhenda (PhD) est Experte en Biologie moléculaire, données OMICS - Sonia Dahech est Directrice CRM, Trafic et Data omnicanal chez BUT - Franck DeCloquement est Expert en intelligence stratégique, Enseignant à l'IRIS et l'IHEDN, Spécialiste Cyber - Franck Duval est Administrateur des Finances publiques, Directeur adjoint du pôle gestion fiscale, DDFiP 92 - Yara Furlan est Trader Social Media chez Publicis Media - Jean-Baptiste Harry est HPC & AI Solution Architect & pre sales EMEA chez NEC Europe - Timothé Hervé est Risk Manager à la Banque de France - Aurélie Luttrin est Président, Eokosmo - Yann Levy est Data Analyst, Expert BI - François Marchessaux est Senior Partner, Franz Partners - Conseil en Stratégie & Management - Aurélie Sale est Coach Agile chez Renault Digital - Jun Zhou est Entrepreneur, Lecturer & Consultant in Chinese Social Media

---

TELECHARGER LE RAPPORT