Vectron : j'ai arrêté de leur demander de l'imaginer

Je donne un cours d'intelligence artificielle presque tous les mois : quatre séances d'une heure et demie chacune. À un moment de la première séance, j'arrive toujours au même point : je demande au public d'imaginer un modèle de langage. Pas comme une base de données traditionnelle, avec des tables et des lignes, mais comme quelque chose qui ressemble davantage à un espace. Le problème, c'est que je ne contrôle pas cette imagination. Chaque personne dans la salle se construit une métaphore différente, et plusieurs de ces métaphores sont fausses.

Je l'ai remarqué rapidement : quand, au lieu de leur demander de l'imaginer, je le leur montrais — ne serait-ce qu'avec un dessin improvisé au tableau — la séance changeait du tout au tout. De là, avec le temps, a grandi un système entièrement pédagogique. Ce système, c'est Vectron.

Ce que c'est, sans métaphores

Vectron est une carte 3D publique du sens, en ligne sur vectron.kilowatto.com. Chaque particule du cube est un mot réel issu d'un corpus de 20,473 concepts, et sa position provient d'un embedding réel de 1,024 dimensions généré par bge-m3 (Workers AI), compressé en 3 coordonnées par PCA.

Ce n'est ni une maquette ni une animation préenregistrée. Vous écrivez une phrase et elle est vraiment tokenisée, avec le même BPE (cl100k_base) qu'utilise un modèle réel. Vous fixez une particule et ses voisins proviennent d'une véritable recherche vectorielle dans Cloudflare Vectorize, sur les 1,024 dimensions complètes, pas sur les 3 que vous voyez à l'écran. Vous comparez deux concepts et le cosinus affiché est le cosinus réel. La pile complète : Workers, Vectorize, D1, R2 et Workers AI, avec le frontend en Three.js sur WebGPU —20,473 particules en un seul appel de dessin— et un corpus qui grandit tout seul, toutes les 30 minutes, via cron.

Pourquoi je n'en ai pas fait une curiosité de week-end

Cela fait plus de 25 ans que je suis dans la technologie, la plupart du temps en construisant des entreprises —Ignia Cloud, mes investissements, Yucatech Festival. Vectron n'est pas né de cette même ambition. Il est né exactement du même endroit que la frustration en salle de classe : si quelque chose peut se montrer plutôt que se décrire, il faut le montrer bien, même si cela veut dire plonger à fond dans les shaders, le PCA et le rendu GPU au lieu de le laisser comme une expérience de week-end.

Enseigner aussi où ça ment

La partie du projet dont je suis le plus fier n'est pas celle qui est belle à voir. C'est celle qui mesure, avec des chiffres réels sur le corpus, à quel point vous pouvez croire ce que vous voyez.

Ce que Vectron mesure sur lui-même : les 3 axes visibles ne retiennent que 11.69% de la variance réelle (16 composantes complètes n'atteignent même pas 26%). Environ 31% des voisins suggérés à l'écran sont inventés par la projection (trustworthiness de 0.694 à k=10). Le cosinus entre deux mots sans aucun rapport est de 0.412 — le zéro n'existe pas. Et il y a une véritable concentration : un concept apparaît dans 77 listes de voisins contre une moyenne de 10.

De là découle la décision de conception la plus importante du produit : la promesse est liée à la requête que vous faites, pas à la position où tombent les points. Les lignes qui relient les concepts sont le canal honnête —cosinus réel en 1,024 dimensions— ; la position est le canal malhonnête —11.69% de variance—. C'est pourquoi nous avons conservé les lignes, avec des correctifs : un plafond au nombre de lignes tracées, une épaisseur proportionnelle au cosinus réel, une étiquette qui indique ce que vous avez demandé, et des lignes coupées quand la relation n'est pas réciproque.

Le moment où j'ai su que ça allait marcher

Ce n'est pas quand j'ai terminé le rendu, ni quand le corpus a atteint son objectif de 20,473 concepts. C'est pendant un cours, en le montrant à mes élèves, quand ils ont fixé un mot et ont vu ses voisins réels s'allumer dans l'espace. Cette expression de “ahhh, je comprends” que je poursuivais depuis des années avec des dessins au tableau, je l'ai enfin vue en temps réel, sans avoir besoin d'expliquer quoi que ce soit de plus.

Ce qui suit

Vectron ne se limite pas à un seul niveau. Il y a une version pour ceux qui n'ont jamais touché à un modèle de langage —sans jargon, avec 300 concepts sélectionnés au lieu des 20,473 complets, parce que moins d'éléments produisent plus d'apprentissage réel. Il y a une version intermédiaire, avec tokens, embeddings et un laboratoire d'erreurs. Et il y a une version avancée, pour qui veut l'instrument complet : les mathématiques sans filtre et le contrôle du corpus. Séparer par niveau d'expertise, plutôt que par difficulté, c'est ce qui distingue un novice qui regarde des traits superficiels d'un expert qui regarde des principes profonds.

Et le projet continue de se corriger lui-même. Quand l'un des audits que je lui ai fait subir —six au total, avec plus de 190 références vérifiées— a révélé que le corpus ne prouvait rien sur un véritable bilinguisme, j'ai fait tourner le protocole adéquat, et il en est ressorti que l'espagnol avait raison 50.7% du temps contre 100% pour l'anglais : un écart entièrement entre les langues. Le problème a été corrigé en encodant les deux formes, et aujourd'hui c'est 99.3%.

C'est là, je crois, la véritable idée derrière Vectron : un outil éducatif sur l'intelligence artificielle qui s'applique à lui-même le même examen critique qu'il apprend aux gens à exiger de n'importe quelle IA. Entrez, jouez avec, et dites-moi à quel point —bien ou mal— il vous explique quelque chose que je vous demandais auparavant simplement d'imaginer : vectron.kilowatto.com.