Intelligence artificielle · 8 min de lecture
Juger la nouveauté avec un LLM :93,5 % → 40,9 % selon le prompt.
Le benchmark Novelty-Bench d'Ai2 : le même juge LLM change de verdict sur la moitié des paires quand on reformule le prompt. Méthode et coûts réels.
En bref
- Le 27 octobre 2026, Ai2 a publié Novelty-Bench (arXiv 2610.02022) : à paires d'idées identiques, reformuler le prompt fait basculer l'exactitude d'un juge LLM de 93,5 % à 40,9 % — sous le hasard.
- Un score de juge n'est pas une mesure : c'est la sortie d'un triplet modèle × prompt × format. À configurer et à versionner comme n'importe quelle dépendance.
- Le système le plus simple était aussi le plus précis et le moins cher (0,854 de macro-F1 pour 2,59 $ contre 0,772 pour 82,05 $) : la checklist ci-dessous pour vos pipelines d'évaluation.
Le vrai problème (au-delà de l'annonce)
Un juge LLM est en train de devenir un composant d'infrastructure. On l'utilise pour noter des réponses, trier des idées de R&D, filtrer du contenu, comparer des générateurs. On choisit un modèle, on écrit un prompt, on vérifie sur dix exemples — puis on laisse le verdict décider.
Le 27 octobre 2026, l'Allen Institute for AI (Ai2) a publié Old Ideas, Novel Problems (arXiv 2610.02022), avec un benchmark public. La conclusion devrait refroidir cette confiance : la même paire d'idées, jugée par le même modèle, ne reçoit pas le même verdict quand on reformule le prompt. Pas deux points d'écart. Jusqu'à cinquante-deux.
Pour mesurer cela proprement, Ai2 a construit ses données à partir des relectures ICLR 2026 plutôt que de l'acceptation du papier : les relecteurs y décrivent explicitement la nouveauté d'une contribution, ce qui est différent — un papier peut être accepté sans être nouveau, et rejeté malgré une idée originale. Résultat : un pool de 154 idées humaines à forte nouveauté (papiers acceptés dans le top 10 % de leur domaine, nouveauté saluée et jamais contestée) et un pool de 145 idées à faible nouveauté (papiers rejetés dans les 10 % les plus bas, réserves sur l'originalité sans aucun avis positif).
Un second dispositif, Human+Generated, apparie ces 154 idées validées avec 154 idées produites par un générateur LLM simple — pas de recherche, pas d'outils, pas d'itération. Pourquoi ce décalage ? Parce que vos juges sont validés sur des papiers humains, puis déployés sur du texte généré. Un expert mandaté par Ai2 a revérifié 30 paires tirées parmi les erreurs du meilleur juge : il a préféré l'idée humaine 30 fois sur 30, et estimé qu'aucune idée générée n'était nouvelle.
Ce que mesure le benchmark (et la table de coûts)
Six juges ont été testés — GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 — en comparaison par paires, en ne faisant varier qu'un facteur à la fois : formulation du prompt, budget de raisonnement, accès à la littérature, format des idées, agrégation des jugements.
Le facteur qui écrase tous les autres, c'est la formulation. Premier prompt : « les relecteurs ont trouvé exactement une idée nouvelle dans chaque paire, laquelle ? ». Second : « laquelle des deux idées est nouvelle ? ». Mêmes paires, mêmes modèles :
| Juge | Prompt « exactement une idée nouvelle » | Prompt « laquelle est nouvelle ? » |
|---|---|---|
| Claude Opus 4.6 | 100,0 % | 72,7 % |
| Claude Opus 4.5 | 92,2 % | 58,4 % |
| GPT-5.2 | 81,8 % | 76,0 % |
| GPT-5.1 | 79,2 % | 56,5 % |
| GPT-5.4 | 93,5 % | 40,9 % |
| Claude Sonnet 4.5 | 60,4 % | 36,4 % |
GPT-5.4 s'effondre de 93,5 % à 40,9 % — sous le hasard — et change de verdict sur plus de la moitié des paires. Le prompt « généreux » ne mesure pas seulement la capacité du juge : il lui souffle la structure du label. Ce 93,5 % est un score de lecture d'hypothèses, pas de jugement.
Deux précisions. D'abord, sur des paires humaines seules (Human-Only), le même changement de prompt ne déplaçait l'exactitude que d'environ 7 points (21 points pour Claude Opus 4.6) : un juge peut paraître stable sur de l'écriture humaine et devenir chaotique sur du contenu généré. Ensuite, il n'existe pas de prompt universel — retirer la consigne « ne traitez pas les contributions triviales comme nouvelles » a aidé certains modèles et en a pénalisé d'autres. Un prompt réglé sur un modèle ne se transfère pas.
La tentation serait d'acheter de la puissance. Ai2 a testé : un juge agentique (GPT-5.6 Sol, budget de raisonnement élevé, recherche itérative sur arXiv) plafonne à 0,78 de macro-F1, contre 0,89 pour Claude Opus 4.6 avec cinq abstraits pré-récupérés — pour environ dix fois le coût par décision.
| Système de jugement | Macro-F1 | Coût de l'évaluation |
|---|---|---|
| Claude Opus 4.6 — prompt simple, vote majoritaire sur 3 appels | 0,854 | 2,59 $ |
| Idea Novelty Checker — retrieval + reranking | 0,642 | 30,66 $ |
| AI Scientist (Sakana AI) — recherche Semantic Scholar | 0,772 | 82,05 $ |
Le système le plus cher termine dernier. Et ce n'est pas un écart de modèle : les deux évaluateurs dédiés tournaient aussi sur Claude Opus 4.6. La différence se joue sur la méthode — un prompt simple avec vote majoritaire bat une chaîne de retrieval + reranking quand cette chaîne est jugée sur le mauvais terrain.
Un chiffre encore : quand Ai2 a fait s'affronter des générateurs (Claude Opus 4.5 contre Claude Sonnet 4.5, GPT-5.4 contre GPT-5.1), les seules reformulations testées ont fait basculer un quart à un tiers des verdicts. Si votre juge LLM vous dit quel générateur est meilleur, votre classement contient une part de loterie de formulation.
Quand ça change votre décision (et quand s'en moquer)
| Situation | Fiabilité attendue | Action |
|---|---|---|
| Triage interne d'idées, décisions réversibles | Acceptable | Config figée + revue humaine par sondage |
| Comparaison de générateurs ou de modèles | Fragile | Publiez le taux de retournement à côté du classement |
| Filtrage d'innovation, propriété intellectuelle, revue scientifique | Insuffisant | Ne déléguez pas la décision finale à un LLM |
| Volume élevé, budget serré | Le baseline simple gagne | Une passe, un modèle fort, vote majoritaire sur 3 appels |
La leçon de fond tient en une phrase : un score de juge n'est pas une mesure, c'est la sortie d'un triplet modèle × prompt × format. Traitez-le comme une latence p95 : publiez-le avec sa configuration épinglée, ou ne le publiez pas.
Côté budget, même raisonnement : la recherche dans la littérature est souvent présentée comme la réponse à la fiabilité du jugement. Ici, elle coûtait 12 à 30 fois plus cher pour un score inférieur. Le point de blocage n'est pas l'intelligence du juge — c'est la qualité du corpus auquel on le confronte et la formulation avec laquelle on l'interroge.
Checklist de production
- Versionnez le juge. Modèle + prompt + format + budget de raisonnement, stockés dans les métadonnées de chaque évaluation. Un score sans sa configuration est inexploitable — et impossible à comparer d'un mois à l'autre.
- Mesurez le taux de retournement. Faites juger les mêmes paires avec trois paraphrases de votre prompt. Ai2 observe 25 à 33 % de verdicts basculants entre générateurs. Au-delà d'environ 10 %, votre juge classe du bruit de formulation.
- Attention au prompt qui « connaît » la réponse. Annoncer « exactement une idée est nouvelle » gonfle l'exactitude en injectant la structure du label. Mesurez avec le prompt réellement utilisé en production, pas avec celui qui flatte le modèle.
- Partez du baseline le moins cher. Un modèle fort, une seule passe, vote majoritaire sur trois appels : 0,854 de macro-F1 pour 2,59 $ dans l'étude. N'ajoutez retrieval et reranking que s'ils battent ce baseline sur vos propres données.
- Gardez l'humain sur la dernière marche. Le juge trie, l'humain tranche. L'expert d'Ai2 a départagé correctement 30 paires sur 30, là où le meilleur juge s'est trompé sur une partie d'entre elles — elles avaient été tirées parmi ses erreurs.
Le code et le jeu de données sont publics (allenai/novelty-eval, novelty-judge-bench) : la même procédure s'applique à vos propres juges, sur vos propres données.