Struggle Bench : un banc d'essai de plus, et zéro chiffre

• Un banc d'essai annoncé sans protocole publié n'est pas une mesure, c'est une affiche imprimée avant la course.
• Celui qui écrit l'épreuve désigne le vainqueur : le vrai sujet n'est pas le classement, c'est l'auteur du classement.
• L'idée de mesurer la galère plutôt que la bonne réponse est juste, mais elle ne vaudra rien tant qu'elle tiendra dans un titre de forum.

J'ai ouvert le fil ce matin, j'ai cherché le tableau de résultats, j'ai fini par comprendre qu'il n'y en avait pas.

The Struggle Bench, un nouveau banc d'essai pour modèles d'intelligence artificielle, a été repéré ce mois-ci dans un fil de discussion anglophone. Le nom est trouvé, la promesse est lisible, les résultats sont introuvables. Trois semaines plus tôt, le 18 août 2026, la chaîne AI Research Roundup présentait SRE-Bench. Deux bancs d'essai coup sur coup. Et pas un tableau de notes à se mettre sous la dent.

Un nom qui claque, une boîte vide

The Struggle Bench est apparu comme apparaissent les bancs d'essai, par un message court sur un forum anglophone. Le nom claque. Traduction libre : le banc de la galère. On devine le principe sans effort, noter la manière dont la machine patauge, pas seulement sa réponse finale. Deviner n'est pas mesurer. Le message ne donne ni liste d'épreuves, ni grille de notation, ni matériel de test. Le 18 août 2026, la chaîne AI Research Roundup présentait déjà SRE-Bench, un banc d'essai de rétro-ingénierie, l'art de reconstituer un programme à partir de sa version compilée. Deux bancs d'essai en trois semaines. Aucun tableau public. Le rythme, lui, se remarque. Chaque quinzaine amène son match entre deux assistants de code, sa mesure bricolée sur sept jours d'usage, son épisode où les modèles ouverts rattrapent soi-disant les gros. Le lecteur retient un vainqueur et un chiffre. Il oublie la seule question qui vaut : qui a écrit l'épreuve, et sur quelle machine ?

Celui qui écrit l'épreuve choisit le vainqueur

Un banc d'essai n'est pas un thermomètre. C'est un examen, et un examen a un auteur. Choisir les exercices, c'est déjà désigner un gagnant. On l'a vu avec un modèle serré dans 8 Go de mémoire, présenté comme l'égal des géants sur une poignée de tâches bien choisies. On l'a revu quand la même famille a été saluée partout sans que personne n'ouvre le protocole. On l'a re-revu avec la couche logicielle qui pilote le modèle, et qui pèse parfois plus lourd que le modèle lui-même. Deux équipes, même moteur, deux pilotes différents, deux classements différents. Aucune des deux ne ment. Les deux mesurent autre chose. Ajoutez le brouillard des versions. Un simple changement de numéro déplace le comportement sans prévenir, et le tableau d'hier ne vaut plus rien. Ajoutez les quatre motifs d'agent vendus comme un secret d'initié alors qu'ils traînent dans toutes les documentations. Ajoutez les moteurs de réponse qui citent 215 128 pages pour appuyer un palmarès. La mesure finit en argument de vente, jamais en contrôle. Le haut de gamme boudé par le marché, la souveraineté française qui parle chinois : deux histoires qu'aucun classement n'a jamais expliquées. Un banc d'essai de plus n'y changera rien. Il ajoutera une ligne au bruit.

Mesurer la galère, c'est déjà une position

Le mot mérite qu'on s'arrête. Struggle : la lutte, la galère, l'effort qui n'aboutit pas tout de suite. Le choisir, c'est admettre ce que le secteur préfère taire. Ces machines échouent souvent, et l'intéressant se joue dans la manière. Sur ce point, l'intention est juste. Un outil qui montre où ça coince vaut mieux qu'un pourcentage à une décimale obtenu sur des exercices déjà vus cent fois. Les acheteurs qui cherchent le champion toutes catégories achètent une moyenne, pas un comportement. Les développeurs juniors qui livrent vite et apprennent mal règlent l'addition six mois plus tard. Les jeunes salariés qui s'en servent tous les jours en ont peur toutes les semaines. Les devoirs dopés gagnent des points à la maison et en perdent à l'examen. Seule la démonstration mathématique résiste vraiment, parce qu'une preuve fausse reste fausse, même récitée avec aplomb. Un banc d'essai qui regarde le trajet plutôt que l'arrivée irait dans la bonne direction. Encore faudrait-il qu'il existe ailleurs que dans un titre de forum.

Ce qu'on veut voir avant d'applaudir

Quatre choses, pas une de plus. La liste complète des épreuves, publiée avant les résultats. Le logiciel de pilotage, numéro de version compris. La facture de calcul, qui décide seule de qui pourra refaire le test chez lui. Le nom de ceux qui financent. Sans ça, The Struggle Bench rejoindra le cimetière des bancs d'essai cités une fois, vérifiés jamais. On a déjà vu des services tomber en panne sans un mot d'explication. On a vu des outils censés reconnaître un texte produit par une machine se planter en beauté. On a vu le mode automatique transformer un confort en trou de sécurité. La mesure honnête coûte cher et fait rarement gagner celui qui la paye. D'où sa rareté. On attend le tableau. Tant qu'il n'arrive pas, la note est zéro.