Comment nous testons les prompts : méthodologie

En bref : chaque prompt de ce site a été exécuté 3 fois sur chacun de cinq modèles nommés, avec la même entrée fictive à chaque fois. Le quatrième, Claude Fable 5.1, a été ajouté le 20 octobre 2026, sur les mêmes prompts, entrées et grilles. Le cinquième, Gemini 4 Argon, a été ajouté le même jour, lui aussi sur les mêmes prompts, entrées et grilles. Le même jour, une nouvelle série de 10 prompts Excel et Microsoft 365 a été exécutée sur les cinq modèles. Le 21 octobre 2026, le banc s’est enrichi d’une deuxième série en espagnol et des skills Claude en français et en portugais. Chaque réponse a été notée selon une grille rédigée et verrouillée avant le premier essai. Le correcteur était un modèle de langage de l’autre famille de modèles. Un autre agent d’IA, le réviseur, a ensuite revérifié un échantillon de ses verdicts. C’est tout ce que signifie « testé ». Ce n’est pas une validation par un professionnel, et ce n’est pas un test des applications ChatGPT, Claude ou Gemini, ni de Copilot.

Qu’avons-nous testé, et quand ?

La première série de tests a eu lieu le 19 octobre 2026. Elle portait sur 40 prompts (30 en anglais, 10 en espagnol) répartis sur 10 professions, avec 5 critères de notation par prompt.

Pour les trois modèles d’origine, cela représente 360 exécutions et 1 800 verdicts portant chacun sur un critère. Toutes les exécutions se sont terminées. Nous n’avons eu à en écarter aucune.

La ligne claude-fable-5-1 (Claude Fable 5.1) a été ajoutée ensuite. Ce modèle a été exécuté le 20 octobre 2026, après les trois autres. Il a reçu les mêmes prompts verrouillés, les mêmes entrées et les mêmes grilles, avec le même dispositif de test. Ses 120 exécutions se sont toutes terminées et ont donné 600 verdicts.

La ligne gemini-4-argon-medium (Gemini 4 Argon, avec le réglage de raisonnement moyen) a été ajoutée le même jour. Ce modèle a lui aussi été exécuté le 20 octobre 2026, après les trois modèles d’origine. Il a reçu les mêmes prompts verrouillés, les mêmes entrées et les mêmes grilles. Le client utilisé pour l’appeler et son encadrement de la requête diffèrent toutefois (voir plus bas). Ses 120 exécutions se sont toutes terminées et ont donné 600 verdicts. Il est noté par gpt-6-astra, comme les modèles Claude.

La deuxième série a eu lieu le 19 octobre 2026 pour les trois modèles d’origine, sur le même banc et avec les mêmes correcteurs. Elle portait sur 40 prompts adaptés au droit et aux usages locaux : 20 pour la France (DSN, lettre de mission, annonce avec DPE et Géorisques, PPSPS…) et 20 pour le Brésil, répartis sur 10 professions. Chaque prompt avait 5 critères.

Là encore, pour les trois modèles d’origine, 360 exécutions terminées et 1 800 verdicts. La ligne claude-fable-5-1 a elle aussi été exécutée le 20 octobre 2026, dans les mêmes conditions : 120 exécutions terminées et 600 verdicts. La ligne gemini-4-argon-medium a été exécutée le même jour, sur les mêmes prompts, entrées et grilles : 120 exécutions terminées et 600 verdicts.

Pour les trois modèles d’origine, les deux séries couvrent donc 80 prompts, 720 exécutions et 3 600 verdicts. Avec claude-fable-5-1 (240 exécutions et 1 200 verdicts), le total passe à 960 exécutions et 4 800 verdicts. Avec claude-fable-5-1 et gemini-4-argon-medium, les deux séries totalisent 1 200 exécutions et 6 000 verdicts. En ajoutant la série Excel et Microsoft 365, décrite plus bas, l’ensemble des séries de prompts couvrait, avant la deuxième série en espagnol, 90 prompts, 1 350 exécutions et 6 750 verdicts, hors série de skills.

La deuxième série en espagnol a eu lieu le 21 octobre 2026. Elle porte sur 10 nouveaux prompts, 2 pour chacune de ces professions : ingénieurs, agents de voyages, conducteurs de travaux, organisateurs d’événements et architectes d’intérieur. Ils sont adaptés au Mexique (4), à l’Espagne (3) et à la Colombie (3). Ce jeu de prompts a été verrouillé à part, avec ses propres grilles verrouillées. Chaque prompt a 5 critères. Les cinq modèles ont fait 3 exécutions par prompt, avec les mêmes correcteurs par famille : 150 exécutions, toutes terminées, et 750 verdicts.

Avec cette série, l’ensemble des séries de prompts couvre 100 prompts, 1 500 exécutions et 7 500 verdicts, toujours hors séries de skills.

Comment un prompt est-il exécuté ?

• Chaque modèle reçoit la même entrée. Chaque prompt est accompagné d’un exemple d’entrée fictif et anonymisé : un client, un grand livre ou une transcription. Nous enregistrons le texte exact de la requête dans un fichier et l’envoyons tel quel à chaque modèle.
• Les exécutions de Claude et de GPT passent par un client agentique, pas par un simple appel d’API. Nous envoyons la requête avec un client agentique en ligne de commande, en mode sécurisé : outils, accès web, mémoire, skills et instructions personnalisées désactivés. Le client ajoute tout de même sa propre instruction système générique d’assistant. Nous ne l’avons pas rédigée, et elle est identique pour tous ces modèles et tous les prompts. Les modèles Claude ont été appelés via un service de routage sur abonnement, et gpt-6-astra via la connexion d’un abonnement OpenAI, et non via l’API directe de chaque fournisseur. Rien n’est modifié à la main entre le prompt et la réponse.
• Gemini passe par le client en ligne de commande de Google. gemini-4-argon-medium a été appelé via Antigravity CLI, l’agent en ligne de commande de Google. Ce n’est ni une requête directe à l’API, ni l’application Gemini. Pour chaque exécution, nous avons utilisé un agent personnalisé sans outils, sans skills et sans règles chargés, avec une instruction système d’une ligne. L’exécution se faisait dans un dossier vide et neuf, supprimé ensuite, en mode bac à sable, sans approbation automatique des autorisations. Le client entoure tout de même la requête de l’heure locale et d’une note sur le choix du modèle. Il expose aussi toujours un outil intégré, qui sert à lister ou à arrêter des tâches en arrière-plan. Après chaque exécution, nous avons lu le journal du client lui-même. Une exécution comportant le moindre appel d’outil n’aurait pas compté comme terminée. Sur les 240 exécutions de Gemini dans les deux premières séries, nous avons relevé 0 appel d’outil et 1 seul tour par exécution.
• Chaque modèle effectue 3 exécutions. Les réponses varient d’un essai à l’autre, et une seule bonne réponse ne prouve pas grand-chose. Le site indique toujours combien d’exécutions ont été notées.
• Nous conservons et publions les transcriptions. Chaque exécution est enregistrée mot pour mot, avec l’identifiant du modèle, l’heure de début, la durée, le code de sortie et l’empreinte de la grille. Ces fichiers sont désormais publics : archive des transcriptions (ZIP, 9,2 Mo, 3 015 fichiers). Elle contient 2 052 transcriptions au total. On y trouve les 1 200 exécutions de prompts des deux premières séries sur les cinq modèles, les 150 exécutions de la série Excel et Microsoft 365, et 327 exécutions de skills en anglais et en espagnol, y compris celles des versions antérieures. Ce total comprend aussi, depuis le 21 octobre 2026, les 150 transcriptions de la deuxième série en espagnol, accompagnées de son étalonnage, de son contrôle par sondage, de ses résultats et de ses grilles verrouillées, ainsi que 225 transcriptions des skills en français et en portugais : 180 sur les textes actuels et 45 sur les versions antérieures v1.0 et v1.1 des adaptations révisées. Ces dernières sont conservées comme éléments de preuve clairement identifiés, dans des dossiers v1.0/ et v1.1/, avec les anciens fichiers SKILL.md. Elle contient aussi les verdicts critère par critère avec la justification d’une ligne du correcteur, les grilles verrouillées avec leur empreinte SHA-256, ainsi que les fichiers d’étalonnage et de révision. Les lignes de commande, les identifiants de session et de conversation et les chemins de fichiers locaux ont été retirés. Les noms des fournisseurs ont été réduits au nom de l’éditeur du modèle (anthropic, openai ou google). Toutes les entrées sont fictives. Un fichier README, en anglais, décrit la structure de l’archive. Chacun peut ainsi revérifier n’importe quel verdict.

Comment une réponse est-elle notée ?

1. La grille est rédigée en premier. Avant qu’un modèle ne voie le prompt, nous avons écrit 4 à 6 critères de réussite ou d’échec (5 dans chacune de ces séries). Certains portent sur l’exactitude : le rapprochement est-il équilibré, la flèche est-elle recalculée avec des unités cohérentes ? Dans la première série, 32 des 40 grilles ont un critère étiqueté SÉCURITÉ : aucun chiffre, aucune référence, aucune date ni aucune conclusion juridique inventés. Les 8 autres vérifient ce même risque dans un critère d’exactitude, par exemple « n’ajoute aucun résultat d’examen absent de la transcription ». Dans la deuxième série, les 40 grilles en ont un. Dans la série Excel et Microsoft 365, les 10 grilles en ont un. Dans la deuxième série en espagnol, les 10 grilles en ont un aussi. Une empreinte de la grille est calculée, puis la grille est verrouillée. Le dispositif de test refuse toute exécution dont l’empreinte de grille ne correspond pas.
2. Pour la notation principale, le correcteur vient toujours de l’autre famille. gpt-6-astra note les réponses de Claude, y compris celles de claude-fable-5-1, ainsi que celles de gemini-4-argon-medium, et claude-opus-5-5 note celles de GPT. Hors étalonnage, aucun modèle ne note sa propre famille. Pour chaque critère, le correcteur renvoie un résultat au format JSON strict : réussite ou échec, avec une justification d’une ligne. En cas de doute, il doit indiquer un échec.
3. Un agent d’IA réviseur contrôle un échantillon des verdicts. Le réviseur est un agent d’IA distinct du correcteur (l’agent qui a fait tourner le banc de test), pas une personne. Il a lu 20 verdicts avec les transcriptions complètes. Quatorze ont été tirés au hasard, moitié réussites, moitié échecs. Les six autres étaient des critères de sécurité ou de longueur validés pour GPT, choisis pour repérer un correcteur trop indulgent. Le réviseur a noté son propre verdict avant de lire celui du correcteur. Leurs verdicts concordaient dans 18 cas sur 20 (90 %). Dans les deux désaccords, le correcteur était plus sévère que le réviseur. Pour la deuxième série, le réviseur a relu en entier 10 verdicts sur des réponses en français et en portugais, tirés au hasard (moitié réussites, moitié échecs), et concordait dans 9 cas sur 10. Dans le seul désaccord, le correcteur était là aussi plus sévère. Pour claude-fable-5-1, le réviseur a relu 12 verdicts dans les quatre langues (anglais, espagnol, français, portugais), moitié réussites, moitié échecs. Il concordait dans 8 cas sur 12 (67 %). Dans les 4 désaccords, le correcteur était plus sévère que le réviseur. Il n’a jamais été plus indulgent. Pour gemini-4-argon-medium, le réviseur a relu 10 verdicts en anglais, en français et en portugais, moitié réussites, moitié échecs. Il concordait dans 7 cas sur 10 (70 %). Dans les 3 désaccords, le correcteur était plus sévère que le réviseur. Pour la série Excel et Microsoft 365, il a relu 10 verdicts dans les quatre langues, moitié réussites, moitié échecs, et concordait dans 10 cas sur 10.
4. Nous avons inversé les correcteurs pour les étalonner. Nous avons fait renoter un échantillon de 60 exécutions par l’autre correcteur. Sur les mêmes exécutions de Claude, gpt-6-astra a validé 93 % des critères et claude-opus-5-5 98 %. Sur les mêmes exécutions de GPT, les deux correcteurs ont donné le même résultat (97 % chacun). Les deux correcteurs n’ont pas la même sévérité. Une partie de chaque écart entre Claude et GPT affiché sur ce site vient donc du correcteur, pas du modèle. Dans la deuxième série, sur 10 exécutions de chaque famille, l’écart était plus net : gpt-6-astra a validé 74 % des critères sur les réponses de Claude, claude-opus-5-5 86 % ; sur les réponses de GPT, les deux correcteurs ont donné 98 %. L’écart entre correcteurs sur les réponses de Claude était de 12 points dans la deuxième série, contre 5 points dans la première. Dans chaque série, les correcteurs évaluaient les mêmes réponses : cet écart ne vient donc pas d’une variation entre exécutions. Nous avons fait de même pour claude-fable-5-1 : 10 exécutions par série, renotées par claude-opus-5-5. Dans la première série, gpt-6-astra a validé 88 % des critères et claude-opus-5-5 100 %, soit 12 points d’écart. Dans la deuxième, 82 % contre 90 %, soit 8 points. L’asymétrie du correcteur réapparaît donc sur les réponses de Fable. Retenez-le en lisant chaque comparaison entre Claude et GPT sur ce site, Fable compris : une partie de l’écart vient du correcteur. Opus et Sonnet partagent le même correcteur : cette comparaison se fait à conditions égales. Il en va de même pour Fable face à Opus et à Sonnet.
5. Le même étalonnage a été fait pour Gemini et pour la série Excel. Pour gemini-4-argon-medium, 10 exécutions par série ont été renotées par claude-opus-5-5. Dans la première série, gpt-6-astra a validé 92 % des critères et claude-opus-5-5 98 %, soit 6 points d’écart. Dans la deuxième, 86 % contre 88 %, soit 2 points. Sur les réponses de Gemini aussi, gpt-6-astra a été le correcteur le plus sévère. Pour la série Excel et Microsoft 365, nous avons renoté 6 exécutions par famille avec l’autre correcteur. Claude : 93 % sous gpt-6-astra, 97 % sous claude-opus-5-5. GPT : 87 % sous claude-opus-5-5, 90 % sous gpt-6-astra. Gemini : 93 % sous gpt-6-astra, 97 % sous claude-opus-5-5. Les écarts étaient faibles, 3 points pour chaque famille, mais sur de petits échantillons. Notre règle de lecture ne change pas : une partie de chaque écart affiché entre GPT et un autre modèle, Claude ou Gemini, vient du correcteur, pas du modèle. Gemini, Opus, Sonnet et Fable partagent le même correcteur : entre eux, la comparaison se fait à conditions égales.
6. La deuxième série en espagnol a été contrôlée de la même façon. Nous avons renoté 6 exécutions par famille avec l’autre correcteur. Claude : 77 % sous gpt-6-astra, 93 % sous claude-opus-5-5. GPT : 93 % sous les deux correcteurs. Gemini : 73 % sous gpt-6-astra, 90 % sous claude-opus-5-5. L’asymétrie du correcteur était plus forte dans cette série : 17 points sur les réponses de Claude comme sur celles de Gemini. Les échantillons restent petits, mais la conclusion est nette : le chiffre de GPT ne se compare pas à conditions égales avec ceux des quatre autres modèles. Le réviseur a aussi relu 12 verdicts sur des réponses en espagnol, 6 réussites et 6 échecs selon le correcteur. Il concordait dans 8 cas sur 12 (67 %). Dans les 4 désaccords, le correcteur était plus sévère que le réviseur.

Que signifient les mentions ?

• « Testé · date » sur un prompt signifie qu’au moins 2 de ses 3 exécutions sur ce modèle se sont terminées et ont été notées. Cela ne veut pas dire que chaque exécution a validé tous les critères : pour les trois modèles d’origine, dans la première série, 48 des 120 résultats prompt-modèle comptaient au moins une exécution notée qui manquait un critère ; dans la deuxième, 79 sur 120. Si aucune exécution ne remplit les conditions requises, le prompt est publié sans la mention. Une exécution non terminée ne donne jamais lieu à la mention « testé ».
• « 4,3 critères sur 5 en moyenne » est le nombre moyen de critères validés sur l’ensemble des exécutions notées.
• « 3 exécutions notées » indique combien d’exécutions se sont terminées et ont été notées.
• « tous les critères validés dans 1 sur 3 » (dans le détail du test) indique combien de ces exécutions ont validé tous les critères.
• « correcteur : … » nomme le modèle qui a noté ces exécutions.
• Sur les prompts des deux premières séries, le modèle affiché sur la fiche d’un prompt est celui qui a la meilleure moyenne parmi les trois modèles d’origine. En cas d’égalité, la fiche montre celui qui compte le plus d’exécutions ayant validé tous les critères.
• Sur les prompts Excel et Microsoft 365, qui sont nouveaux, la fiche peut nommer n’importe lequel des cinq modèles. Sur les prompts antérieurs, elle nomme toujours le meilleur des trois modèles d’origine.
• claude-fable-5-1 et gemini-4-argon-medium apparaissent comme des lignes supplémentaires dans le détail du test ; les mentions « testé · date » déjà publiées n’ont pas été modifiées lors de ces ajouts.

Que ne signifie pas la mention « testé » ?

• Ce n’est ni l’application grand public, ni l’API brute. Nous avons testé des versions de modèles nommées via des clients agentiques en ligne de commande, avec une instruction système générique ou d’une ligne, et sans recours aux outils. Pour Gemini, il s’agit d’Antigravity CLI, pas de l’application Gemini ; son client expose encore un outil intégré, et tout appel d’outil invaliderait l’exécution. ChatGPT, Claude.ai, Gemini et Copilot ajoutent leurs propres instructions, outils et mémoire. La série Excel et Microsoft 365 n’est pas un test de Copilot dans Excel ou dans Microsoft 365. Vos résultats dans une application peuvent donc être différents.
• Ce n’est pas une validation professionnelle. Aucun expert-comptable, avocat, médecin ou ingénieur n’a relu chaque réponse. Réussir la grille signifie qu’une réponse a satisfait nos critères sur notre entrée fictive. Vérifiez chaque chiffre, chaque référence et chaque délai avant de vous y fier.
• Ce n’est pas une garantie pour vos données. Les données réelles sont moins bien structurées que nos exemples.
• Ce n’est pas un classement général des modèles. Dix professions avec quelques tâches chacune, c’est un échantillon limité. L’écart de sévérité entre correcteurs décrit plus haut s’applique aussi.

Qu’a montré la première série ?

Ce bilan porte sur les trois modèles d’origine.

• Les trois modèles ont traité la plupart des tâches. Aucun modèle n’est descendu sous 60 % des critères en moyenne sur un prompt, et aucune exécution n’était inexploitable.
• La plupart des points perdus venaient des critères de sécurité : le modèle ajoutait un avertissement, une date, un avantage ou une hypothèse juridique absents de l’entrée. Dans un cas, une fiche d’information destinée au patient ajoutait un avertissement d’urgence que le médecin n’avait jamais donné. Dans un autre, un courriel commercial laissait entendre un résultat que personne n’avait validé.
• Les limites de mots étaient l’autre contrainte non respectée, uniquement par les deux modèles Claude : 8 verdicts d’échec, dont 4 pour claude-opus-5-5 sur des tâches en espagnol.
• Les moyennes brutes étaient de 99 % des critères pour gpt-6-astra, 92 % pour claude-opus-5-5 et 91 % pour claude-sonnet-5. Ces résultats sont à lire avec l’étalonnage ci-dessus : sur un échantillon de 30 exécutions par famille notées par le même correcteur, Claude obtenait 98 % et GPT 97 %.
• Les résultats détaillés de cette série figurent dans notre rapport sur les résultats de nos tests.

Qu’a montré la deuxième série (France et Brésil) ?

Ce bilan porte également sur les trois modèles d’origine.

• Les prompts adaptés sont plus exigeants : les entrées contiennent des pièges (un total de devis faux, une conversion d’unités erronée, une pièce reçue par messagerie, une phrase discriminatoire du vendeur).
• Moyennes brutes : 98 % des critères pour gpt-6-astra, 79 % pour claude-opus-5-5 et 70 % pour claude-sonnet-5. Avec l’étalonnage ci-dessus, l’écart entre Claude et GPT est en partie dû au correcteur ; l’écart entre Opus et Sonnet, notés par le même correcteur, ne l’est pas.
• Les points perdus par Claude venaient surtout des limites de mots et de faits ajoutés : une qualité du bien (« lumineux », « calme ») absente des notes, une précision non fournie. Dans les vérifications de calcul (poutre en France, mémoire de calcul au Brésil), claude-sonnet-5 a plusieurs fois repris la conversion d’unités erronée au lieu de la corriger.

Comment s’est comporté Claude Fable 5.1 ?

• À correcteur égal. Les réponses de claude-fable-5-1, claude-opus-5-5 et claude-sonnet-5 ont toutes été notées par gpt-6-astra. Entre ces trois modèles, la comparaison se fait donc à conditions égales.
• Première série. Fable a validé 90 % des critères, contre 92 % pour Opus et 91 % pour Sonnet : 2 points de moins qu’Opus et 1 point de moins que Sonnet. Prompt par prompt face à Opus, Fable a eu une meilleure moyenne sur 4 prompts, une moins bonne sur 11 et une moyenne égale sur 25. 67 de ses 120 exécutions ont validé tous les critères, contre 79 pour Opus et 70 pour Sonnet. Sa moyenne la plus basse sur un prompt était de 3,0 sur 5.
• Deuxième série. Fable a validé 78 % des critères, contre 79 % pour Opus et 70 % pour Sonnet : 1 point de moins qu’Opus et 8 points de plus que Sonnet. Face à Opus, Fable a eu une meilleure moyenne sur 17 prompts, une moins bonne sur 14 et une moyenne égale sur 9. 28 de ses 120 exécutions ont validé tous les critères, contre 35 pour Opus et 16 pour Sonnet. Sa moyenne la plus basse sur un prompt était de 2,33 sur 5.
• Notre lecture. Sur ces prompts verrouillés, Fable n’a pas fait mieux que claude-opus-5-5 dans la première série. Dans la deuxième, il est resté à 1 point d’Opus. Le statut de modèle phare n’est pas un résultat.
• Face à GPT. gpt-6-astra est noté par claude-opus-5-5, pas par le même correcteur que Fable. La comparaison entre Fable et GPT ne se fait donc pas à conditions égales. L’étalonnage de Fable le montre : sur les mêmes réponses, l’écart entre correcteurs était de 12 points dans la première série et de 8 points dans la deuxième.
• Où Fable a perdu des points. Comme les autres modèles Claude, sur les limites de mots (5 verdicts d’échec dans la première série, 38 dans la deuxième) et sur des faits ajoutés ou des vérifications réglementaires supplémentaires que la demande ne prévoyait pas.
• Skills Claude. Fable a passé les mêmes 20 paires skill-langue, 3 fois chacune, sur les mêmes versions des skills. 60 exécutions ont été notées par gpt-6-astra. Les moyennes vont de 4,0 à 5,0 sur 5, et 15 des 20 paires sont à 5 sur 5 (15 pour Opus, 12 pour Sonnet). Les limites de la série de skills s’appliquent aussi : mêmes entrées, ni étalonnage par inversion des correcteurs, ni contrôle par sondage.

Comment s’est comporté Gemini 4 Argon ?

• À correcteur égal. Les réponses de gemini-4-argon-medium ont été notées par gpt-6-astra, comme celles d’Opus, de Sonnet et de Fable. Entre Gemini et ces trois modèles, la comparaison se fait donc à conditions égales.
• Première série. Gemini a validé 91 % des critères, contre 92 % pour Opus, 91 % pour Sonnet et 90 % pour Fable : 1 point de moins qu’Opus. Prompt par prompt face à Opus, Gemini a eu une meilleure moyenne sur 9 prompts, une moins bonne sur 13 et une moyenne égale sur 18. 75 de ses 120 exécutions ont validé tous les critères, contre 79 pour Opus. Sa moyenne la plus basse sur un prompt était de 3,0 sur 5.
• Deuxième série. Gemini a validé 80 % des critères, contre 79 % pour Opus, 78 % pour Fable et 70 % pour Sonnet : 1 point de plus qu’Opus. Face à Opus, Gemini a eu une meilleure moyenne sur 16 prompts, une moins bonne sur 15 et une moyenne égale sur 9. 36 de ses 120 exécutions ont validé tous les critères, contre 35 pour Opus. Sa moyenne la plus basse sur un prompt était de 2,67 sur 5.
• Notre lecture. Dans les deux séries, Gemini est resté au niveau d’Opus, à environ un point près. Sur des écarts aussi faibles, ce n’est pas un classement.
• Face à GPT. gpt-6-astra est noté par claude-opus-5-5, pas par le même correcteur que Gemini. La comparaison entre Gemini et GPT ne se fait donc pas à conditions égales. L’étalonnage de Gemini le montre : sur les mêmes réponses de Gemini, gpt-6-astra a validé 92 % des critères et claude-opus-5-5 98 % dans la première série, puis 86 % contre 88 % dans la deuxième. Une partie de chaque écart entre Gemini et GPT vient donc du correcteur.
• Où Gemini a perdu des points. Comme les modèles Claude, sur les limites de mots (5 verdicts d’échec dans la première série, 45 dans la deuxième) et sur des faits ajoutés absents de l’entrée.
• Skills Claude. Gemini n’a pas été testé sur les skills : c’est un format propre à Claude.

Comment avons-nous testé les tâches Excel et Microsoft 365 ?

Cette série a été exécutée le 20 octobre 2026, sur le même banc et avec les mêmes correcteurs par famille.

• Le périmètre. 10 prompts, indépendants de toute profession : 4 en anglais, 2 en espagnol, 2 en français et 2 en portugais du Brésil. 6 portent sur Excel, 4 sur Microsoft 365. Chaque grille compte 5 critères, dont un critère de SÉCURITÉ, et a été verrouillée avant la première exécution. Les cinq modèles ont fait 3 exécutions par prompt : 150 exécutions et 750 verdicts.
• Les exécutions. Les 150 exécutions se sont toutes terminées, et les 50 résultats prompt-modèle remplissent toutes les conditions de la mention « testé ». 26 de ces 50 résultats comptaient au moins une exécution qui manquait un critère. Un seul des 10 prompts a vu ses 15 exécutions valider tous les critères.
• Les moyennes. claude-opus-5-5 a validé 93 % des critères, gemini-4-argon-medium 91 %, claude-fable-5-1 88 %, gpt-6-astra 88 % (noté par claude-opus-5-5) et claude-sonnet-5 83 %. Sur les prompts Excel : 97 % pour Gemini, 96 % pour Opus, 92 % pour Fable, 87 % pour GPT et 83 % pour Sonnet. Sur les prompts Microsoft 365 : 90 % pour GPT, 88 % pour Opus, et 82 % pour Sonnet, Fable et Gemini.
• Les fonctions de recherche. Dans les trois prompts de recherche hors anglais, la grille demandait RECHERCHEX dans sa version localisée (BUSCARX en espagnol, PROCX en portugais) ou INDEX/EQUIV. 20 verdicts d’échec concernent des exécutions qui ont utilisé l’ancienne famille RECHERCHEV (BUSCARV, PROCV) : 9 pour Sonnet, 9 pour GPT, 1 pour Opus, 1 pour Fable et aucun pour Gemini. Cette formule peut fonctionner sur les données, mais elle ne respectait pas la grille verrouillée.
• Les comptes rendus de réunion. Dans les 2 prompts de compte rendu, 22 verdicts d’échec concernent des points présentés comme des décisions alors qu’ils restaient ouverts.

Ces résultats ont des limites. Les réponses étaient uniquement textuelles. Les formules ont été jugées sur leur logique et sur le résultat annoncé avec les données fournies : elles n’ont pas été exécutées dans Excel. Ce sont des modèles conversationnels qui répondent à une tâche collée dans la requête, pas Copilot dans Excel ou dans Microsoft 365. Copilot ne fait pas partie de notre banc. Enfin, GPT est noté par un autre correcteur que les quatre autres modèles : lisez son chiffre avec l’étalonnage décrit plus haut.

Qu’a montré la deuxième série en espagnol ?

Cette série a été exécutée le 21 octobre 2026, sur 10 nouveaux prompts verrouillés à part. Les prompts sont disponibles dans notre bibliothèque de prompts.

• À correcteur égal. Opus, Sonnet, Fable et Gemini ont tous été notés par gpt-6-astra. Entre ces quatre modèles, la comparaison se fait à conditions égales.
• Face à GPT. gpt-6-astra a été noté par claude-opus-5-5. Son 98 % est à lire avec l’étalonnage de cette série : sur les mêmes réponses de Claude et de Gemini, gpt-6-astra était le correcteur le plus sévère, de 17 points. Une partie de l’écart entre GPT et les autres modèles vient donc du correcteur, pas du modèle.
• Peu de résultats parfaits. 38 des 50 résultats prompt-modèle comptaient au moins une exécution qui manquait un critère. Aucun prompt n’a vu ses 15 exécutions valider tous les critères.
• Les limites de mots ont de nouveau coûté des points, surtout à Gemini, à Fable et à Opus (voir la dernière colonne du tableau).
• Notre lecture. Sur ces 10 prompts, Opus devance nettement les trois autres modèles notés par le même correcteur. Ce n’est pas un classement : 10 prompts, c’est peu.

Comment avons-nous testé les skills Claude ?

Les skills Claude sont des ensembles d’instructions (fichiers SKILL.md) proposés dans notre bibliothèque de skills. Nous les avons testées dans une série à part, sur le même banc. Les skills sont publiées sous licence CC BY 4.0 (Creative Commons Attribution 4.0 International) : chacun peut les utiliser, les adapter et les partager, y compris à des fins commerciales, en citant la source ; chaque skill téléchargée contient un fichier LICENSE.txt.

• Le périmètre. 10 skills, une par profession, chacune en anglais et en espagnol : 20 paires skill-langue. Initialement, seuls claude-opus-5-5 et claude-sonnet-5 ont été testés, car les skills sont un format Claude. claude-fable-5-1 a été ajouté ensuite (voir plus haut). Chaque modèle a fait 3 exécutions par paire. Le correcteur était gpt-6-astra, de l’autre famille.
• La grille d’abord. Pour chaque paire, une entrée fictive et une grille de 5 critères ont été rédigées et verrouillées par empreinte avant l’écriture des skills.
• Ce que le banc a révélé. La version 1.0 avait des défauts. Le modèle s’arrêtait pour poser des questions au lieu de livrer le résultat en une seule réponse. Il citait dans le résultat les sources officielles que la skill fournit au professionnel. Il ajoutait des éléments absents de l’entrée. Sur les 40 résultats par modèle et par paire skill-langue de la version 1.0, 12 avaient une moyenne inférieure à 4 sur 5. La plus basse était de 0,33 sur 5.
• Les corrections. Nous avons révisé 8 skills avec des règles de comportement générales : livrer en une seule réponse avec des hypothèses signalées, et ne pas citer dans le résultat les sources de référence de la skill. 3 paires skill-langue ont nécessité une seconde révision.
• Le résultat. Sur les versions actuelles, 120 exécutions d’Opus et de Sonnet ont été notées. Les moyennes vont de 4,0 à 5,0 sur 5, et 27 des 40 résultats par modèle et par paire skill-langue sont à 5 sur 5.

Ces résultats ont des limites. Les nouvelles exécutions ont utilisé les mêmes entrées et les mêmes grilles verrouillées que les essais initiaux. L’amélioration est donc démontrée sur ces entrées seulement, pas sur toutes les entrées possibles. Cette série n’a fait l’objet ni d’un étalonnage par inversion des correcteurs, ni d’un contrôle par sondage par le réviseur. Une skill n’est indiquée comme testée sur un modèle que si au moins 2 de ses 3 exécutions sur la version actuelle ont été notées.

Comment avons-nous testé les skills en français et en portugais ?

Cette série a été exécutée le 21 octobre 2026, sur le même banc.

• Le périmètre. Les mêmes 10 skills ont été adaptées en français (France) et en portugais du Brésil : 20 paires skill-langue. claude-opus-5-5, claude-sonnet-5 et claude-fable-5-1 ont fait 3 exécutions par paire, soit 180 exécutions sur les premiers textes. Le correcteur était gpt-6-astra.
• La grille d’abord, là encore. Pour chaque paire, une entrée fictive et une grille de 5 critères ont été rédigées et verrouillées par empreinte, à part, avant l’écriture des adaptations.
• Les premiers textes. Les moyennes allaient de 3,67 à 5,0 sur 5. Sur les 60 résultats par modèle et par paire, 1 seul était inférieur à 4 sur 5.
• Les corrections. Nous avons révisé 4 adaptations avec des règles de comportement générales. Dans l’appel d’offres aux prestataires (événementiel), en français comme en portugais, les critères d’évaluation restaient vides quand le brief n’en donnait pas. Dans le rapport journalier de chantier en français, le délai de notification était formulé avec des réserves. Dans la revue du pipeline commercial en français, une affaire reposant sur un seul contact n’était pas signalée. L’adaptation chantier en français a nécessité une seconde révision. Nous avons refait 45 exécutions sur les mêmes entrées verrouillées.
• Avant et après, par modèle (Opus / Sonnet / Fable).
  • Appel d’offres aux prestataires, français : 4,0 / 4,0 / 4,0, puis 4,33 / 5,0 / 4,67.
  • Appel d’offres aux prestataires, portugais : 4,0 / 4,0 / 4,0, puis 5,0 / 5,0 / 4,33.
  • Rapport journalier de chantier, français : 4,0 / 4,0 / 4,0, puis 5,0 / 5,0 / 5,0 (version 1.2).
  • Revue du pipeline commercial, français : 3,67 / 4,67 / 4,33, puis 5,0 / 5,0 / 4,67.
• Le résultat. Sur les textes actuels, les moyennes vont de 4,33 à 5,0 sur 5, et 46 des 60 résultats par modèle et par paire sont à 5 sur 5. Les versions antérieures et leurs exécutions restent dans l’archive.

Ces résultats ont les mêmes limites que la série précédente. Les nouvelles exécutions ont utilisé les mêmes entrées verrouillées : l’amélioration est démontrée sur ces entrées seulement. Cette série n’a fait l’objet ni d’un étalonnage par inversion des correcteurs, ni d’un contrôle par sondage par le réviseur. Les skills sont proposées dans notre bibliothèque de skills.

Comment procédons-nous aux nouveaux tests et aux corrections ?

Un résultat de test est un fait historique daté. Quand une nouvelle version de modèle sort, nous l’ajoutons et marquons les prompts concernés « à retester ». Nous ne réattribuons jamais un ancien résultat à un modèle plus récent. L’ajout de claude-fable-5-1 le 20 octobre 2026 en est un exemple : le nouveau modèle a été ajouté, et les résultats déjà publiés des trois autres modèles ont été conservés tels quels. La même règle s’est appliquée à l’ajout de gemini-4-argon-medium (Gemini 4 Argon), le 20 octobre 2026 également, puis, le 21 octobre 2026, à l’ajout d’une série en espagnol verrouillée à part et des skills en français et en portugais ; nous avons alors révisé 4 adaptations en conservant leurs versions antérieures et leurs exécutions dans l’archive. Si vous repérez une erreur, signalez-la-nous via la page de contact. Nous la corrigerons avec une note datée.