Page de résultats vivante : notre banc compte désormais 1 500 exécutions notées de 100 prompts sur 5 modèles, toutes séries confondues ; d’abord le tableau des séries et la plus récente, puis chaque série antérieure avec ses résultats datés.
Dans la dernière série, la deuxième en espagnol, Opus arrive en tête des quatre modèles notés par le même juge ; GPT obtient le meilleur score brut, mais sous un autre juge. L’échange de juges révèle un écart de 17 points sur les sorties Claude comme sur celles de Gemini : ces scores ne permettent pas de classer les familles. La série 1 reste le cœur de cette page, avec ses sections dédiées.
Quelles séries avons-nous menées ?
Le banc couvre les séries de prompts et les séries Skills suivantes.
| Série | Date | Prompts ou paires skill-langue | Exécutions |
|---|---|---|---|
| Série 1 (anglais/espagnol) | 19 octobre 2026 | 40 | 360 sur 3 modèles |
| Série 2 (français/portugais) | 19 octobre 2026 | 40 | 360 |
| Ajout de Claude Fable 5.1 | 20 octobre 2026 | 80 | 240 |
| Ajout de Gemini 4 Argon | 20 octobre 2026 | 80 | 240 |
| Excel / Microsoft 365 | 20 octobre 2026 | 10 | 150 |
| Espagnol, série 2 | 21 octobre 2026 | 10 | 150 |
| Skills anglais/espagnol | 19 octobre 2026 | 20 paires | 120 + 60 (Fable) |
| Skills français/portugais | 21 octobre 2026 | 20 paires | 180 + 45 réexécutions |
Total hors Skills : 100 prompts, 1 500 exécutions et 7 500 verdicts.
Historique :
- 19 octobre 2026 : série 1, anglais/espagnol, sur Opus, Sonnet et GPT.
- 19 octobre 2026 : série 2, français/portugais, verrouillée séparément.
- 19 octobre 2026 : Skills anglais/espagnol, puis révision des textes.
- 20 octobre 2026 : ajout de Fable aux séries de prompts et aux Skills anglais/espagnol.
- 20 octobre 2026 : ajout de Gemini aux séries de prompts.
- 20 octobre 2026 : série Excel et Microsoft 365.
- 21 octobre 2026 : deuxième série espagnole, verrouillée séparément.
- 21 octobre 2026 : Skills français/portugais et publication des Skills sous licence ouverte.
Qu’a montré la dernière série ?
Opus valide 83 % des critères, devant les autres modèles évalués par gpt-6-astra. Les 10 nouveaux prompts couvrent les ingénieurs, les agents de voyage, les conducteurs de travaux, l’événementiel et les architectes d’intérieur, au Mexique, en Colombie et en Espagne.
Testé le 21 octobre 2026.
| Modèle | Critères validés | Exécutions à 5 critères sur 5 | Juge |
|---|---|---|---|
claude-opus-5-5 | 83 % | 11 sur 30 | gpt-6-astra |
gemini-4-argon-medium | 74 % | 4 sur 30 | gpt-6-astra |
claude-fable-5-1 | 73 % | 3 sur 30 | gpt-6-astra |
claude-sonnet-5 | 72 % | 8 sur 30 | gpt-6-astra |
gpt-6-astra | 98 % | 27 sur 30 | claude-opus-5-5 |
Les scores d’Opus, Gemini, Fable et Sonnet sont comparables à juge constant. Celui de GPT, 98 % sous claude-opus-5-5, doit se lire avec la calibration : sur 6 exécutions par famille, les sorties Claude obtiennent 77 % avec gpt-6-astra contre 93 % avec claude-opus-5-5, les sorties Gemini 73 % contre 90 %, et les sorties GPT 93 % avec chaque juge. Les écarts calculés avant arrondi atteignent 17 points pour Claude et Gemini. L’agent éditeur partage 8 des 12 verdicts contrôlés ; dans les 4 désaccords, le juge était plus sévère.
Sur 50 résultats prompt-modèle, 38 comptent une exécution manquant un critère ; aucun prompt n’a ses 15 exécutions parfaites. Les échecs de longueur représentent 21 verdicts pour Gemini, 16 pour Fable, 14 pour Opus, 10 pour Sonnet et 0 pour GPT. Avec seulement 10 prompts, ce n’est pas un classement général : consultez les résultats dans la bibliothèque de prompts.
Qu’avons-nous testé en série 1, et comment ?
La série 1 couvre 40 prompts et 10 professions : 30 prompts en anglais et 10 en espagnol, exécutés le 19 octobre 2026.
Chaque entrée fictive et anonymisée est envoyée à l’identique aux modèles. Le dispositif en ligne de commande désactive les outils, le web, la mémoire et les instructions personnalisées, mais conserve ses consignes génériques. Aucune retouche manuelle n’intervient.
Chaque modèle traite chaque prompt 3 fois : 9 exécutions par prompt, 360 au total. Les 5 critères binaires sont verrouillés par empreinte avant les essais ; une empreinte différente bloque l’exécution. Cela produit 1 800 verdicts ; 32 prompts comportent un critère étiqueté SAFETY, pour la sécurité.
Les juges croisent les familles, justifient chaque verdict et doivent conclure à l’échec en cas de doute. Un agent éditeur, non humain, a contrôlé 20 verdicts en formant son avis avant de lire celui du juge : 18 accords, et un juge plus sévère dans les 2 désaccords. Voir la méthodologie.
Quels scores chaque modèle a-t-il obtenus en série 1 ?
Les taux bruts vont de 91 % à 99 %, avec des juges différents.
Résultats du 19 octobre 2026. Les pourcentages mesurent les critères validés, non les prompts entièrement réussis.
| Modèle | Juge | Critères validés | Exécutions à 5 sur 5 | Anglais / espagnol |
|---|---|---|---|---|
| claude-opus-5-5 | gpt-6-astra | 92 % | 79 sur 120 | 94 % / 87 % |
| claude-sonnet-5 | gpt-6-astra | 91 % | 70 sur 120 | 91 % / 88 % |
| gpt-6-astra | claude-opus-5-5 | 99 % | 114 sur 120 | 99 % / 99 % |
La moyenne minimale d’un couple prompt-modèle est de 3,0 critères sur 5, soit 60 %. À l’inverse, 13 prompts réussissent leurs 9 exécutions.
GPT est-il vraiment meilleur que Claude ici ?
Non : cette série ne permet pas de classer Claude face à GPT, car les juges diffèrent en sévérité. La calibration porte sur 60 exécutions, avec 30 sorties par famille.
Les mêmes sorties Claude obtiennent 93 % avec gpt-6-astra, contre 98 % avec claude-opus-5-5. Les sorties GPT obtiennent environ 97 % avec chaque juge ; l’arrondi ne signifie pas que les verdicts sont identiques.
La calibration ne détermine pas quel juge a raison et ne remplace pas les scores publiés. À juge constant, Opus et Sonnet sont proches : 92 % et 91 %.
Où les modèles se sont-ils trompés ?
Les ajouts absents des données dominent : 78 des 110 verdicts échoués, soit 71 %. Les autres concernent le contenu requis manquant ou modifié (24) et la longueur (8 chez Claude, 0 chez GPT). Les 56 échecs étiquetés SAFETY décrivent des critères, pas des dommages constatés.
Fiche patient. L’entrée décrit un diabète de type 2, la metformine, les effets secondaires et le suivi, sans consigne d’urgence. Opus écrit :
« If you feel very sick or think it is an emergency, call 911 or go to the nearest emergency room. »
Le juge relève des informations médicales et consignes ajoutées sans la mention requise invitant à consulter l’équipe soignante : échec dans les 6 exécutions Claude, contre 0 chez GPT.
Perturbation de vol. L’option A prévoit un départ le lendemain avec la même compagnie, sans préciser de correspondance. Sonnet écrit :
« Pros: Comfortable connection, same carrier handles any rebooking issues directly. »
La correspondance est inventée ; ce critère échoue dans 8 exécutions sur 9, dont 2 chez GPT.
Prospection. L’entrée autorise un seul argument et interdit d’autres résultats revendiqués. Sonnet ajoute :
« smoother routes tend to mean less driver frustration »
Ce bénéfice n’était pas approuvé : échec dans les 3 exécutions Sonnet sur 3 en anglais, ainsi que dans les 3 espagnoles.
Quelles professions ont posé le plus de difficultés ?
En série 1, les ingénieurs et les responsables commerciaux ont les taux les plus bas, à 90 %. Les conducteurs de travaux atteignent 100 % avec chaque modèle. Mais 3 à 5 prompts par profession ne suffisent pas à classer les métiers par difficulté, et l’asymétrie des juges reste applicable.
Comment les modèles ajoutés se comparent-ils sous le même juge ?
Fable ne dépasse pas Opus ; Gemini se situe à environ 1 point d’Opus dans chaque série. Ajoutés le 20 octobre 2026, ils reprennent les prompts, entrées et grilles verrouillés, sans modifier les résultats antérieurs.
Critères validés, tous notés par gpt-6-astra :
| Modèle | Série 1 (anglais/espagnol) | Série 2 (français/portugais) |
|---|---|---|
gemini-4-argon-medium | 91 % | 80 % |
claude-opus-5-5 | 92 % | 79 % |
claude-fable-5-1 | 90 % | 78 % |
claude-sonnet-5 | 91 % | 70 % |
Gemini utilise Antigravity CLI avec un agent personnalisé ne chargeant aucun outil, skill ni règle et une consigne système d’une ligne ; un outil intégré reste exposé, mais tout appel invalide l’essai : 0 appel sur 240 exécutions.
Sur 10 exécutions par série, Fable obtient 88 % avec gpt-6-astra contre 100 % avec claude-opus-5-5, puis 82 % contre 90 %. L’agent éditeur partage 8 des 12 verdicts contrôlés, les 4 désaccords correspondant à un juge plus sévère.
Pour Gemini, la même calibration donne 92 % contre 98 %, puis 86 % contre 88 %. L’agent partage 7 des 10 verdicts contrôlés, avec un juge plus sévère dans les 3 désaccords.
Comment les modèles s’en sortent-ils sur Excel et Microsoft 365 ?
Les taux vont de 83 % à 93 %. Ce sont des réponses uniquement textuelles : les formules sont jugées sur leur logique et le résultat annoncé, sans exécution dans Excel. Des modèles conversationnels répondent à une tâche collée dans la requête ; ce n’est pas Copilot dans Excel ou Microsoft 365.
Résultats du 20 octobre 2026.
| Modèle | Critères validés | Exécutions à 5 critères sur 5 | Juge |
|---|---|---|---|
claude-opus-5-5 | 93 % | 22 sur 30 | gpt-6-astra |
gemini-4-argon-medium | 91 % | 19 sur 30 | gpt-6-astra |
claude-fable-5-1 | 88 % | 18 sur 30 | gpt-6-astra |
gpt-6-astra | 88 % | 15 sur 30 | claude-opus-5-5 |
claude-sonnet-5 | 83 % | 14 sur 30 | gpt-6-astra |
Les recherches de valeurs comptent 20 échecs pour emploi de VLOOKUP plutôt que XLOOKUP localisé ou INDEX/MATCH : une formule potentiellement fonctionnelle, mais refusée par la grille. Les comptes rendus comptent 22 échecs pour des points ouverts présentés comme des décisions.
La calibration sur 6 exécutions par famille relève 3 points d’écart par famille ; l’agent partage les 10 verdicts contrôlés. Le score GPT reste soumis à cette différence de juge.
Qu’ont montré les séries sur les Claude Skills ?
Les révisions ont amélioré les résultats sur les entrées testées. Les skills existent en anglais, espagnol, français et portugais.
La série anglais/espagnol couvre 10 skills, exécutés 3 fois par Opus et Sonnet, puis Fable, avec gpt-6-astra comme juge. Les versions 1.0 demandaient des clarifications au lieu de livrer, citaient une source destinée au professionnel, ajoutaient une destination d’urgence, laissaient des critères d’appel d’offres à définir ou omettaient une surface documentée. Après révision de 8 skills, les moyennes finales vont de 4,0 à 5,0 sur 5, Fable compris.
Le 21 octobre 2026, les adaptations France et Brésil couvrent 20 paires skill-langue, avec des grilles verrouillées séparément : Opus, Sonnet et Fable, chacun 3 fois, soit 180 exécutions, jugées par gpt-6-astra. Les premiers textes obtiennent de 3,67 à 5,0 sur 5. Quatre adaptations sont révisées avec des règles générales ; moyennes Opus / Sonnet / Fable, avant → après :
- Appel d’offres français, v1.1 : 4,0 / 4,0 / 4,0 → 4,33 / 5,0 / 4,67.
- Appel d’offres portugais, v1.1 : 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 4,33.
- Chantier français, deux révisions, v1.2 : 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 5,0.
- Suivi commercial français, v1.1 : 3,67 / 4,67 / 4,33 → 5,0 / 5,0 / 4,67.
Après 45 réexécutions, les moyennes vont de 4,33 à 5,0 sur 5 ; 46 des 60 combinaisons modèle et paire skill-langue atteignent 5 sur 5.
Dans les deux séries Skills, les reprises utilisent les mêmes entrées et grilles verrouillées, sans calibration par échange de juges ni contrôle par échantillon. L’amélioration n’est donc pas démontrée sur d’autres entrées.
Les Skills sont publiés sous CC BY 4.0 : utilisation et adaptation libres, y compris commerciales, avec attribution. Consultez la bibliothèque de Claude Skills.
Que ne montrent pas ces données ?
Ces résultats ne désignent pas un meilleur modèle et ne valent pas validation professionnelle.
- Pas de classement entre familles : les juges diffèrent en sévérité.
- Pas de test des applications grand public, avec leurs instructions, outils et mémoire.
- Pas de validation humaine : le contrôle par échantillon est effectué par un agent.
- Pas de couverture exhaustive : entrées fictives, une entrée par prompt, peu de prompts par profession.
- Pas de résultat intemporel : les versions évoluent.
- Pas de comparaison entre langues : anglais, espagnol, français et portugais ont chacun leur propre jeu de prompts.
Questions fréquentes
Quel modèle choisir pour ma profession ?
Ce banc ne permet pas de trancher : peu de prompts par profession et des juges asymétriques limitent les comparaisons.
Pourquoi faire confiance à un juge IA ?
Ses verdicts restent contestables. En série 1, l’agent partage 18 verdicts sur 20, mais la calibration relève 5 points d’écart sur les sorties Claude ; la deuxième série espagnole en relève 17.
Puis-je consulter les transcriptions ?
Oui : l’archive nettoyée contient 2 052 transcriptions dans 3 015 fichiers, pour 9,2 Mo. Elle couvre toutes les séries de prompts, dont la deuxième espagnole, et les deux séries Skills, avec les textes et exécutions antérieurs des versions 1.0 et 1.1.
Les nouvelles versions seront-elles testées ?
Elles sont ajoutées au banc, les prompts concernés étant marqués « à retester ». Les anciens résultats restent datés, sans réétiquetage ; la deuxième série espagnole a été ajoutée comme jeu verrouillé séparément.
Sources
- Méthodologie : protocole, grilles, notation croisée, calibration et contrôle.
- Archive des transcriptions (ZIP, 9,2 Mo, 3 015 fichiers) : 2 052 transcriptions couvrant toutes les séries de prompts, dont la deuxième espagnole, et les deux séries Skills ; verdicts, grilles et métadonnées conservés, lignes de commande, identifiants de session et chemins locaux supprimés.
- Bibliothèque de prompts : résultats par prompt.
- Bibliothèque de Claude Skills.
Pour votre métier
Sur la fiche patient en anglais, le critère interdisant les ajouts non signalés échoue dans les 6 exécutions Claude et dans aucune exécution GPT.
Dans la prospection, Claude Sonnet 5 ajoute un bénéfice non approuvé dans 3 exécutions sur 3 en anglais, ainsi que dans les 3 exécutions espagnoles.
Les ingénieurs ont le taux de réussite le plus bas, à égalité à 90 %, avec des ajouts absents des données et un score de 80 % pour Sonnet.