Performance, mémoire, énergie
Une IA sous tension
L’IA n’a cessé d’évoluer au fil des décennies. D’abord fondée sur des systèmes experts reposant sur des règles codées à la main, elle a connu une première révolution avec l’apprentissage automatique ou machine learning, nécessitant de grandes quantités de données et des architectures de calcul parallèles. L’essor du deep learning, puis des grands modèles de langage (LLM), des réseaux de neurones comptant aujourd’hui des centaines de milliards de paramètres, a profondément fait changer l’IA d’échelle.
Cette évolution met en lumière une tension centrale : plus les modèles sont puissants, plus ils exigent de mémoire, de calcul… et d’énergie.
Or, ces ressources ne sont ni infinies ni neutres. Le coût énergétique de l’IA est devenu un enjeu scientifique, industriel et environnemental majeur. C’est précisément sur ce terrain que se positionnent les recherches du CRI.
Au CRI, faire mieux avec les mêmes modèles
Contrairement à une idée répandue, innover en IA ne signifie pas toujours créer de nouveaux modèles. Une grande partie des travaux du CRI consiste à optimiser l’existant :
- Mieux choisir les modèles
- Mieux les paramétrer
- Mieux les déployer sur des architectures de calcul complexes (CPU, GPU, clusters, supercalculateurs)
- Sans dégrader la qualité des résultats
Les recherches s’organisent autour de trois grands axes complémentaires
- Développer des méthodes d’IA au cœur de la science expérimentale
Les avancées en IA irriguent un grand nombre de secteurs scientifiques.
Un exemple emblématique est le travail mené en collaboration avec le CERN (Organisation européenne pour la recherche nucléaire), dans le cadre des expériences d’irradiation à haute énergie. Ces infrastructures testent la résistance de matériaux et de composants électroniques aux radiations, un enjeu clé pour le spatial, le nucléaire ou la physique des particules.
Les chercheurs du CRI y mobilisent des réseaux de neurones capables d’apprendre une représentation compacte et pertinente des données complexes.
Concrètement, ces modèles permettent :
- d’analyser automatiquement des milliers de documents techniques (grâce au traitement automatique du langage naturel)
- de surveiller en temps réel la qualité des faisceaux de particules
- de détecter des anomalies invisibles à l’œil humain
Ces travaux ont un impact direct : des expériences plus fiables, plus rapides à analyser et mieux documentées, intégrées aux outils opérationnels du CERN.
- Choisir automatiquement les bons modèles d’IA
Un autre défi majeur de l’IA moderne est le choix du bon modèle. Face à une multitude d’algorithmes et de paramètres, cette étape est souvent coûteuse, empirique et réservée à des experts.
Au CRI, les chercheurs développent des approches de méta-apprentissage, c’est-à-dire des méthodes capables de recommander automatiquement :
- le type de modèle le plus adapté à un jeu de données,
- les réglages (hyperparamètres) les plus pertinents.
Parmi les résultats marquants :
- des comparaisons à grande échelle de méthodes d’ensembles (combinaisons de plusieurs modèles), qui identifient des stratégies à la fois performantes et robustes ;
- des travaux innovants montrant que les LLM eux-mêmes peuvent servir de conseillers, capables, à partir d’une description synthétique d’un jeu de données, de proposer des modèles efficaces sans phase de recherche coûteuse.
La conséquence est un gain de temps considérable pour les chercheurs et ingénieurs, et une IA plus accessible, y compris pour des non-spécialistes.
- Accélérer les modèles… sans les modifier
Les grands modèles d’IA, notamment les LLM, reposent sur un mécanisme clé : l’attention. C’est lui qui permet au modèle de déterminer quelles informations d’un texte sont pertinentes pour produire une réponse. Mais ce mécanisme est extrêmement coûteux lorsque les textes deviennent très longs.
Les chercheurs du CRI exploitent une propriété clé de ces modèles : les matrices d’attention sont en pratique très creuses, c’est-à-dire que la majorité de leurs valeurs contribue peu ou pas au résultat final. En exploitant cette propriété, ils ont développé des méthodes de calculs creux pour l’attention, capables de :
- réduire jusqu’à 98 % des calculs nécessaires sur des textes de plus de 250 000 tokens
- sans perte mesurable de qualité dans les réponses produites par le modèle
D’autres travaux portent sur :
- l’optimisation des réseaux de neurones pour des systèmes embarqués disposant de ressources mémoire très limitées
- la réorganisation automatique des calculs via la chaîne de compilation, s’appuyant sur un savoir-faire historique du CRI en compilation et en optimisation
Ces recherches ont un effet concret, avec des modèles plus rapides, capables de traiter des documents massifs, et déployables sur des infrastructures plus variées.
Mesurer, prédire et optimiser l’énergie pour une IA plus sobre
L’un des résultats les plus concrets concerne la réduction de la consommation énergétique des infrastructures de calcul. En analysant finement le fonctionnement des architectures parallèles cibles, les chercheurs du CRI ont montré que l’efficacité énergétique peut être significativement améliorée grâce à un ordonnancement approprié des calculs, à tous les niveaux, depuis les instructions, les opérations jusqu’aux tâches exécutées sur les accélérateurs.
En développant :
- des outils de mesure précise de la consommation
- des modèles prédictifs énergie/performance
- puis un nouvel ordonnanceur intelligent
Ils sont parvenus à réduire la consommation énergétique globale d’un cluster de calcul de plus de 10 %, sans ralentir la production scientifique. Un pas décisif vers une IA plus soutenable !
Le PEPR CAMELIA, pour une IA souveraine
Ces recherches trouvent un prolongement stratégique dans le Programme et Équipements Prioritaires de Recherche (PEPR) sur les composants de l’IA, co-piloté par le https://www.cnrs.fr/frCEA et l’Inria, visant à accélérer le développement de l’intelligence artificielle en France. Financé par France 2030 et piloté par l’Agence nationale de la recherche (ANR), l’objectif du PEPR CAMELIA (Composants IA) est de concevoir un environnement matériel et logiciel complet permettant l’exécution efficace d’applications d’IA sur des cibles matérielles, développées dans le cadre du projet, constituant une alternative souveraine aux solutions aujourd’hui majoritairement étrangères.
Le CRI joue un rôle clé au sein de ce PEPR en co-pilotant le lot dédié à la conception et au développement des composants logiciels indispensables pour exploiter les architectures visées et garantir performance, portabilité et efficacité énergétique.
C’est un enjeu scientifique, industriel et de souveraineté technologique.
Un workshop pour fédérer une communauté IA
Ces travaux ont été mis en lumière lors du Workshop IA organisé en décembre 2025 à Mines Paris – PSL. Pensé comme un moment d’échange interne, l’événement a permis aux enseignants-chercheurs, doctorants et ingénieurs de présenter leurs projets, outils et plateformes, à travers des présentations orales et des posters.
Au-delà de la diversité des sujets, le workshop a souligné une dynamique commune : construire une IA ancrée dans le réel, capable de dialoguer avec les humains et de s’intégrer dans des systèmes complexes.
L’IA au CRI
Une recherche qui a du sens
Au sein du centre, l’IA n’est pas seulement plus puissante, elle fait l’objet d’une compréhension approfondie, d’optimisations méthodiques et d’une intégration raisonnée dans les grands défis scientifiques, industriels et sociétaux. À travers ces recherches, le Centre de Recherche en Informatique (CRI) de Mines Paris – PSL affirme une vision claire : une IA qui calcule « moins, mais mieux », et dont l’impact dépasse le cadre des laboratoires, pour contribuer à la fois aux avancées de la recherche et à des applications concrètes, performantes et plus frugales.
Pour aller plus loin :
- Youssef Attia El Hili, Albert Thomas, Malik Tiomoko, Abdelhakim Benechehab, Corentin Leger, et al.. In-Context Meta-Learning with Large Language Models for Automated Model and Hyperparameter Selection. Evaluating the Evolving LLM Lifecycle Workshop in Neural Information Processing Systems (NeurIPS 2025), Dec 2025, San Diego (CA), United States. ⟨hal-05462938⟩
- Gianpietro Consolaro, Zhen Zhang, Harenome Razanajato, Nelson Lossing, Nassim Tchoulak, Adilla Susungi, Artur Cesar Araujo Alves, Renwei Zhang, Denis Barthou, Corinne Ancourt, and Cedric Bastoul. PolyTOPS: Reconfigurable and Flexible Polyhedral Scheduler. In 2024 IEEE/ACM International Symposium on Code Generation and Optimization (CGO), pages 28 – 40, Edinburgh, France, March 2024.
- Roblex Nana Tchakoute and Claude Tadonki. EAS-Sim: A Framework and its Methodology for the Co-Design of Multi-Objective, Energy-Aware Schedulers for AI Clusters. In SC ’25 Workshops of the International Conference for High Performance Computing, Networking, Storage and Analysis, pages 2041–2050, St Louis MO USA, United States, November 2025
- Quentin R Petit, Chong Li, Nahid Emad, Jack Dongarra. Efficient embedding initialization via dominant eigenvector projections. SC Workshops ’25 – Workshops of the International Conference for High Performance Computing, Networking, Storage and Analysis, Nov 2025, Saint-Louis, United States. pp.1790-1799, ⟨10.1145/3731599.3767541⟩. ⟨hal-05369672⟩
- Jaroslaw Szumega, Lamine Bougueroua, Blerina Gkotse, Pierre Jouvelot, Nicola Minafra, et al.. Characterization of an IRRAD beam profile monitor at the CERN T8 beamline and possible improvements via cross-analysis with multiwire proportional chamber. 16th International Particle Accelerator Conference, Jun 2025, Taiwan, Taiwan. pp.2921-2923, ⟨10.18429/JACoW-IPAC2025-THPM111⟩. ⟨hal-05334451⟩
- Arthur Viens, Corinne Ancourt and Jean-Louis Dufour. Depth-First Fusion and Tiling for CNN Memory Footprint Reduction in TVM. In AccML: Accelerated Machine Learning Workshop of HIPEAC 2026 conference. Cracovie. January 2026.
