IA durable : comment concilier performance et respect de l'environnement

Dans un papier récemment publié, vous remettez en question le paradigme "bigger is better" en intelligence artificielle. Pouvez-vous expliquer en quoi cette approche est problématique ?

Elle a diverse conséquences négatives. Tout d'abord elle compromet la viabilité de l'IA. Les coûts augmentent, et la viabilité économique n'est possible que pour les applications qui génèrent beaucoup de revenu. L'impact écologique augmente aussi, par exemple en termes d'énergie consommée.

Au long terme, cela implique un choix entre un développement au détriment de notre environnement de vie (certains parlent d'augmenter sensiblement la production d'électricité), ou de limiter la technologie à une minorité.

Par ailleurs, avec la course à la taille vient le besoin incessant de plus de données. Il devient impossible de contrôler ce qu'on met dans les modèles : images pornographiques, violation de droits d'auteurs, données personnelles.

Finalement, la course à l'armement conduit à une concentration des pouvoirs. Économiquement, très peu d'acteurs contrôlent la chaîne de valeur, et ce contrôle se fait avant tout par le contrôle des moyens de calculs faramineux nécessaires : fabrication de puces et location de puissance de calcul sur le cloud.

Vous soulignez notamment que le focus sur les grands modèles d'IA se fait au détriment d'applications importantes comme la santé et l'éducation. Pouvez-vous expliquer pourquoi ?

La raison est multiple. Tout d'abord dans beaucoup de ces champs d'application ce n'est pas juste une question d'une baguette magique qui prédit mieux : il faut prendre en compte les spécificités du domaine.

Puis il y a des questions de rentabilité : dans ces domaines, la marge de revenus pour l'informatique est pour l'instant faible, contrairement à la pub en ligne, qui nourrit l'IA. Finalement, il y a un coût d'opportunité : l'effort dépensé pour améliorer les applications "naturelles" des gros modèles n'est pas dépensé sur ces applications.

Lors de l'événement organisé par Scaleway, vous allez aborder le sujet de l'IA durable. Pouvez-vous nous expliquer comment ces deux concepts sont liés et pourquoi le modèle "bigger-is-better" pose un problème pour la durabilité de l'IA ?

L'IA consomme de plus en plus de ressources, énergétiques par exemple. A l'heure actuelle, c'est une petite partie de notre consommation, mais comme l'utilisation de l'IA ne fait qu'augmenter, c'est très problématique.

C'est un phonème classique où on voit que souvent on a beau rendre une technologie plus efficace, la consommation liée à cette technologie ne fait qu'augmenter car les usages augmentent. C'est ce paradoxe, dit de Jevons, qui explique que la consommation mondiale de charbon n'a fait qu'augmenter depuis 200 ans.

Comment des modèles spécialisés, plus petits, peuvent-ils être une alternative aux grands modèles, en termes de performances et d'impact environnemental ?

L'argument en faveur du grand modèle, c'est qu'il est généraliste, et peut être spécialisé sur plein tâches différentes. Mais souvent, cela n'est pas nécessaire, et on veut un modèle bon sur des tâches étroites. Un modèle spécialisé fonctionne mieux. Et dans beaucoup de cas, ce n'est pas le modèle le plus gros qui est le meilleur, car un modèle trop gros peu amplifier le bruit.

Pensez-vous que nous pourrions, à l'avenir, atteindre un équilibre entre puissance de calcul et efficacité énergétique ?

Les choses vont s'améliorer, bien entendu, et on aura une puissance de calcul grandissante à coût énergétique limité.

Le problème, c'est que l'IA a vocation à être partout et pour tout le monde. Il est bien possible que cela devienne une technologie de base, indispensable à la vie économique et sociale, comme internet ou le téléphone portable. Avec la trajectoire des grands modèles, je ne vois pas comment les gains en efficacité pourront équilibrer l'augmentation des usages. C'est le paradoxe de Jevons. C'est pour cela qu'il faut arrêter de glorifier les grands modèles et mettre plus d'efforts sur les modèles spécialisés.

L'IA dans nos actualités