Les dessous de l'IA : Articles

Les outils d’IA générative comme ChatGPT ne sont que la partie émergée de l'infrastructure numérique !

Clément Durand — Sun, 09 Feb 2025 15:44:05 GMT

Comme l’IA, le numérique n’est pas une entité unique, mais un écosystème de technologies interconnectées.

Quand on parle de numérique, on parle en réalité d’un système imbriqué et complexe, incluant (liste non exhaustive) :
Des ressources matérielles : minerais, métaux, énergie pour construire les infrastructures,...

Des travailleurs humains : développeurs, travailleurs du clic, utilisateurs,...
Des infrastructures : data centers, câbles sous-marins, semi-conducteurs,...
Des logiciels : algorithmes, cloud, interfaces utilisateurs,...
Des acteurs clés : États, grandes entreprises technologiques,...

Chaque élément de cette chaîne de valeur est indispensable, mais les acteurs en bout de chaîne dépendent souvent de technologies qu’ils ne maîtrisent peu ou pas.

Les organisations s'exposent ainsi à des risques qu'elles ignorent souvent : augmentation des coûts, ruptures d’approvisionnement, captation de données stratégiques,...

La chercheuse en géopolitique numérique Ophélie Coelho qualifie ces relations complexes de « chaînes de dépendances ».

Assurer une gestion stratégique de ses dépendances numériques

Pour y faire face et renforcer la souveraineté numérique des états et des organisations, elle propose une démarche de gestion stratégique des dépendances articulée autour de 5 piliers :

Comprendre les dépendances liées à la numérisation de la société.
Encadrer le pouvoir numérique grâce au droit.
Produire des logiciels stratégiques pour réduire la dépendance.
Contrôler les infrastructures critiques, notamment celles par lesquelles transitent les données.
Former les utilisateurs à la complexité technique pour renforcer leur autonomie.

À une époque où le web mondial s’essouffle et où les chaînes de valeur se fragmentent, intégrer cette réflexion est devenu indispensable pour garantir la résilience et la pérennité de toute organisation.

Pour creuser les sujet, découvrez l'épisode de Les dessous de l'IA avec Ophélie !

Les LLMs : trop chers et gourmands pour l’Europe ?

Clément Durand — Sun, 09 Feb 2025 15:37:31 GMT

En novembre 2024, Aleph Alpha, souvent décrit comme un « concurrent européen de ChatGPT », annonçait renoncer à développer son propre LLM. À la place, ils se concentrent sur un « système d’exploitation » pour aider les entreprises à intégrer l’IA.

Ce choix met en lumière un fait : les LLMs demandent des ressources massives, tant en calcul qu’en capital. Très peu d’acteurs peuvent se permettre de les produire, surtout sans modèle économique viable pour couvrir les coûts d'entrainement et d'utilisation (Open IA n'est pas rentable avec une licence à 200$/mois).

Face à ces contraintes, certains acteurs européens explorent une autre voie : des modèles plus petits et mieux adaptés aux besoins spécifiques.

C’est la stratégie de LightOn, qui travaille sur des modèles autour de 40B de paramètres. Ces modèles offrent des performances suffisantes pour les cas d’usage de leurs clients. Tout en étant plus faciles à déployer, parfois directement chez eux.

De son côté, Hugging Face développe des modèles encore plus compacts, appelés SLMs. En novembre ils lançaient SmolLM. Suivi il y a quelques jours de SmolLM 2, un modèle 7 x plus petit et 2 x plus rapide développé en collaboration avec Pruna AI.

Ces modèles offrent également des pistes intéressantes pour l'utilisation on-device comme avec PocketPal AI (cf article en commentaire) !

Dans un contexte de tensions sur les ressources et à l’heure où l’Europe cherche à renforcer son autonomie technologique, cette approche de modèles réduits, plus efficaces et spécialisés, semble prometteuse.

Un sujet que je vais creuser dans un épisode à venir pour Les dessous de l'IA !

Source image : Synthetic data and smol models in 2024 - Loubna Ben Allal

Pourquoi une IA a-t-elle (presque) remporté le prix Nobel de Chimie ?

Clément Durand — Sun, 09 Feb 2025 15:35:15 GMT

Lors de la remise du prix Nobel de Chimie, Demis Hassabis, co-fondateur de DeepMind, a présenté AlphaFold. Le modèle d’IA qui a résolu un des plus grands défis en biologie : prédire la structure 3D d'une protéine à partir de sa séquence 1D d’acides aminés.

AlphaFold a permis de prédire la structure des 200+ millions de protéines connues avec une précision quasi atomique permettant une utilisation en situation réelle.

Ce modèle démontre le potentiel de l’IA dans la résolution de complexes. Aujourd'hui en biologie. Demain dans d'autres secteurs.

Mais pourquoi cet évènement devrait-il intéresser chaque décideur ?

Demis Hassabis partage dans son discours 3 critères clés pour définir un "bon problème à résoudre" par l’IA (entendre : un problème pour lequel nous ou d’autres allons utiliser l'IA pour renverser la table) :

1/ Un espace de recherche combinatoire massif : c’est à dire beaucoup de possibilités à explorer, par exemple, optimiser des stocks ou une chaîne d'approvisionnement

2/ Une fonction objectif claire : donc un objectif précis à atteindre comme maximiser les profits, minimiser les coûts, etc...

3/ Des données abondantes ou un simulateur de données efficace

Ces critères peuvent s’appliquer à de nombreux secteurs, de la santé à l’énergie ou aux finances. Et tous les acteurs de ces secteurs sont concernés !

3 questions que chaque décideur devrait se poser !

Pour rester pertinent face à ces transformations technologiques, chaque décideur devrait commencer par se poser trois questions :

Est-ce que je comprends globalement comment l’IA fonctionne et ce qu’elle peut faire ou non ?
Est-ce que mon activité sera toujours pertinente à l'ère de l'IA (dans 5 ans ? Dans 10 ans ?)
Comment l’IA va-t-elle transformer mon coeur-métier ?

L’IA générative va-t-elle mettre fin au concept de coût marginal zéro ?

Clément Durand — Sat, 08 Feb 2025 16:00:51 GMT

Lors d’un échange sur les Les dessous de l'IA de l’IA (merci Quentin Adam) j’ai redécouvert certains concepts économiques.Très utiles pour comprendre ce qui se joue autour du développement de l’IA générative.

En lisant un article de The Economist sur les nouveaux modèles d’IA et leur impact sur l’économie du software, j'ai eu envie de creuser un peu le sujet.

➡️ Rappel de certains concepts

Coût marginal zéro : produire une unité supplémentaire ne coûte presque rien une fois les coûts fixes amortis. Exemple typique : distribuer un logiciel ou un service cloud.

Rendements décroissants : ajouter du capital (comme des serveurs ou des machines) rapporte de moins en moins. Un concept clé de l’économie classique.

➡️ Ce que les LLM changent à l'économie numérique

Les coûts marginaux ne tendent plus vers zéro : ils sont proportionnels à l’utilisation.

Les infrastructures physiques (data centers, puces) redeviennent centrales, avec leurs rendements décroissants.

Au regard de ces éléments on peut s'interroger sur la viabilité économique et industrielle d’un programme comme le programme Stargate ?

Les technologies open source et les petits modèles de langage pouvant être hébergés on-device apparaissent comme une piste prometteuse pour éviter cette réapparition des rendements décroissants dans l’IA.

Et c’est une excellente nouvelle pour l’Europe !

Là où les géants américains dominent les grandes infrastructures, l’Europe a une carte à jouer avec des approches plus légères, accessibles et durables.