Como testamos os prompts: metodologia

Resumo: executamos cada prompt deste site 3 vezes em cada um de cinco modelos identificados: claude-opus-5-5, claude-sonnet-5, gpt-6-astra, claude-fable-5-1 e gemini-4-argon-medium, sempre com a mesma entrada fictícia. O quarto modelo, o Claude Fable 5.1, foi executado depois, em 20 de outubro de 2026, com os mesmos prompts, entradas e rubricas bloqueados. O quinto, o Gemini 4 Argon, também foi executado em 20 de outubro de 2026, com os mesmos prompts, entradas e rubricas bloqueados. A bancada agora também inclui uma segunda rodada em espanhol e as Claude Skills em francês e português. Cada resposta foi avaliada com uma rubrica escrita e fixada antes da primeira execução. O avaliador foi um modelo de linguagem da outra família de modelos. Depois, outro agente de IA, o editor, conferiu uma amostra dos veredictos. “Testado” significa só isso. Não é um aval profissional e não é um teste dos aplicativos ChatGPT, Claude ou Gemini.

O que testamos e quando?

A primeira rodada de testes foi feita em 19 de outubro de 2026. Ela cobriu 40 prompts (30 em inglês e 10 em espanhol) de 10 profissões, com 5 critérios de rubrica por prompt.

No total, nos três modelos originais, foram 360 execuções e 1.800 veredictos por critério. Todas as execuções foram concluídas. Não precisamos descartar nenhuma.

O claude-fable-5-1 (Claude Fable 5.1) foi executado mais tarde que os outros três, em 20 de outubro de 2026. Ele recebeu os mesmos prompts, entradas e rubricas bloqueados, na mesma bancada. Nesta rodada, foram 120 execuções do Fable, todas concluídas, e 600 veredictos.

O gemini-4-argon-medium (Gemini 4 Argon, na configuração de raciocínio média) também foi executado mais tarde que os três modelos originais, em 20 de outubro de 2026. Ele recebeu os mesmos prompts, entradas e rubricas bloqueados. Nesta rodada, foram 120 execuções do Gemini, todas concluídas, e 600 veredictos.

A segunda rodada foi feita no mesmo dia, 19 de outubro de 2026, na mesma bancada e com os mesmos avaliadores. Ela cobriu 40 prompts adaptados às regras e à prática de cada país: 20 para o Brasil (checklist de eSocial e EFD-Reinf, anúncio com CRECI e registro da incorporação, evolução clínica em prontuário…) e 20 para a França, cobrindo as mesmas 10 profissões. Cada prompt teve 5 critérios.

De novo, nos três modelos originais, 360 execuções e 1.800 veredictos, com todas as execuções concluídas. O Claude Fable 5.1 também foi executado nesta rodada em 20 de outubro de 2026, com os mesmos prompts, entradas e rubricas bloqueados, na mesma bancada: 120 execuções, todas concluídas, e 600 veredictos. O Gemini 4 Argon também foi executado nesta rodada em 20 de outubro de 2026, com os mesmos prompts, entradas e rubricas bloqueados: 120 execuções, todas concluídas, e 600 veredictos. Somando as duas rodadas, nos três modelos originais, são 80 prompts, 720 execuções e 3.600 veredictos. Com o Claude Fable 5.1, o total passa a 960 execuções e 4.800 veredictos. Com o Claude Fable 5.1 e o Gemini 4 Argon, as duas rodadas somam 1.200 execuções e 6.000 veredictos.

Em 20 de outubro de 2026, também fizemos uma rodada nova, com 10 prompts de Excel e Microsoft 365, nos cinco modelos. Ela é descrita mais abaixo. Somando todas as rodadas de prompts anteriores à segunda rodada em espanhol, incluindo a de Excel e Microsoft 365, são 90 prompts, 1.350 execuções e 6.750 veredictos.

Em 21 de outubro de 2026, fizemos uma segunda rodada em espanhol, com 10 prompts novos, sendo 2 para cada uma destas profissões: engenheiros, agentes de viagem, gestores de obras, organizadores de eventos e designers de interiores. Quatro prompts seguem as regras e a prática do México, 3 as da Espanha e 3 as da Colômbia. Esse conjunto tem rubricas próprias, bloqueadas separadamente. Rodamos os cinco modelos, com 3 execuções por modelo em cada prompt: 150 execuções, todas concluídas, e 750 veredictos. Com a segunda rodada em espanhol, todas as rodadas de prompts somam 100 prompts, 1.500 execuções e 7.500 veredictos, ainda sem contar as rodadas de skills.

Como um prompt é executado?

• Todos os modelos recebem a mesma entrada. Cada prompt vem com um exemplo fictício e sem dados identificáveis, como dados de um cliente, um livro-razão ou uma transcrição. Salvamos o texto exato da consulta em um arquivo e enviamos esse texto, sem alteração, para cada modelo.
• Cada execução passa por um cliente agêntico, não por uma chamada direta à API. Para os modelos Claude e GPT, enviamos a consulta com um cliente agêntico de linha de comando em modo seguro: ferramentas, acesso à web, memória, skills e instruções personalizadas desativados. Mesmo assim, o cliente acrescenta a própria instrução de sistema genérica de assistente. Não fomos nós que a escrevemos, e ela é a mesma para todos os modelos Claude e GPT e para todos os prompts. Os modelos Claude foram acessados por um serviço de roteamento com assinatura, e o gpt-6-astra pelo login de uma assinatura da OpenAI, e não pela API direta de cada fornecedor. Nada é editado à mão entre o prompt e a resposta.
• O Gemini passou pelo cliente do próprio Google. O gemini-4-argon-medium foi acessado pelo Antigravity CLI, o agente de linha de comando do Google. Não foi uma chamada direta à API nem o aplicativo Gemini. Em cada execução, usamos um agente personalizado sem ferramentas, skills ou regras carregadas, com uma instrução de sistema genérica de assistente de uma linha. Cada execução rodou em uma pasta temporária nova e vazia, apagada depois, em modo sandbox e sem aprovação automática de permissões. Mesmo assim, o cliente acrescenta à consulta o horário local e uma nota sobre a seleção do modelo. Ele também continua oferecendo uma ferramenta interna para listar ou interromper tarefas em segundo plano. Depois de cada execução, lemos o log do próprio cliente. Uma execução com qualquer chamada de ferramenta não contaria como concluída. Nas 240 execuções das duas rodadas originais de prompts, houve 0 chamadas de ferramenta e 1 turno por execução.
• Cada modelo tem 3 execuções. A resposta muda de uma execução para outra, então uma única resposta boa prova pouco. O site sempre informa quantas execuções foram avaliadas.
• Guardamos as transcrições e as publicamos. Cada execução é salva na íntegra, com o id do modelo, o horário de início, a duração, o código de saída e o hash da rubrica. O arquivo público de transcrições é um ZIP de 9,2 MB com 3.015 arquivos. Ele traz 2.052 transcrições: as 1.200 execuções de prompts das duas rodadas nos cinco modelos, incluindo as do Claude Fable 5.1 e do Gemini 4 Argon, as 150 execuções da rodada de Excel e Microsoft 365, 327 execuções de skills, incluindo versões anteriores das skills, as 150 execuções da segunda rodada em espanhol e 225 execuções das skills em francês e português. Destas, 180 usam os textos atuais e 45 usam os textos anteriores (v1.0 e v1.1) das adaptações revisadas, guardados como evidência identificada, junto com esses arquivos SKILL.md anteriores. Também traz os veredictos por critério com a justificativa do avaliador, as rubricas bloqueadas com os hashes SHA-256 e os arquivos de calibração e de conferência. Um README em inglês explica a estrutura. Removemos linhas de comando, ids de sessão e de conversa e caminhos de arquivos locais, e os nomes de provedores foram reduzidos ao fornecedor (anthropic / openai / google). As entradas são fictícias. Qualquer pessoa pode reconferir qualquer veredicto.

Como uma resposta é avaliada?

1. Escrevemos a rubrica primeiro. Antes de qualquer modelo ver um prompt, escrevemos de 4 a 6 critérios de aprovação ou reprovação para ele (5 em cada prompt das duas rodadas). Alguns verificam se a resposta está correta: a conciliação fecha? A flecha foi recalculada com unidades coerentes? Na primeira rodada, 32 das 40 rubricas têm um critério marcado como SEGURANÇA: nada de valores, citações, datas ou conclusões jurídicas inventados. As outras 8 verificam esse mesmo risco dentro de um critério de exatidão, por exemplo “não acrescenta achados de exame que não estejam na transcrição”. Na segunda rodada, todas as 40 rubricas têm esse critério. A rubrica recebe um hash e fica bloqueada para alterações. O sistema de testes recusa qualquer execução cujo hash da rubrica não corresponda ao registrado.
2. O avaliador é sempre da outra família de modelos. O gpt-6-astra avalia as respostas do Claude, e o claude-opus-5-5 avalia as respostas do GPT. Isso vale também para o claude-fable-5-1, avaliado pelo gpt-6-astra. O gemini-4-argon-medium também é avaliado pelo gpt-6-astra, o mesmo avaliador do Opus, do Sonnet e do Fable. Nenhum modelo avalia a própria família. Para cada critério, o avaliador devolve um JSON estrito: aprovado ou reprovado, mais uma justificativa de uma linha. Se estiver em dúvida, ele precisa reprovar.
3. Um agente de IA editor confere o avaliador. O editor é um agente de IA separado do avaliador (o agente que operou a bancada de testes), não uma pessoa. Ele leu 20 veredictos com as transcrições completas. Catorze foram escolhidos ao acaso, metade aprovações e metade reprovações. Os outros seis eram aprovações de respostas do GPT em critérios de segurança ou de extensão do texto, escolhidos para detectar um avaliador permissivo. O editor anotou o próprio veredicto antes de ler o do avaliador. Os dois concordaram em 18 de 20 (90%). Nas duas divergências, o avaliador foi mais rigoroso que o editor. Na segunda rodada, o editor leu na íntegra 10 veredictos sobre respostas em português e em francês (metade aprovações, metade reprovações) e concordou em 9 de 10. Na única divergência, o avaliador também foi mais rigoroso. Nas respostas do claude-fable-5-1, o editor leu 12 veredictos em inglês, espanhol, francês e português (metade aprovações, metade reprovações) e concordou em 8 de 12 (67%). Nas 4 divergências, o avaliador foi mais rigoroso que o editor. Nas respostas do gemini-4-argon-medium, o editor leu 10 veredictos em inglês, francês e português (metade aprovações, metade reprovações) e concordou em 7 de 10 (70%). Nas 3 divergências, o avaliador foi mais rigoroso que o editor. Na rodada de Excel e Microsoft 365, o editor leu 10 veredictos em inglês, espanhol, francês e português (metade aprovações, metade reprovações) e concordou nos 10.
4. Trocamos os avaliadores para calibrá-los. Reavaliamos uma amostra de 60 execuções com o outro avaliador. Nas mesmas execuções do Claude, o gpt-6-astra aprovou 93% dos critérios e o claude-opus-5-5 aprovou 98%. Nas mesmas execuções do GPT, os dois avaliadores chegaram ao mesmo resultado (97% cada). Os dois avaliadores não têm o mesmo rigor. Por isso, parte da diferença entre Claude e GPT mostrada no site vem do avaliador, e não do modelo. Na segunda rodada, com 10 execuções de cada família, a diferença foi maior: nas respostas do Claude, o gpt-6-astra aprovou 74% dos critérios e o claude-opus-5-5, 86%; nas respostas do GPT, os dois avaliadores deram 98%. Nas mesmas execuções do Claude, a distância entre os avaliadores foi de 12 pontos percentuais na segunda rodada, contra 5 pontos percentuais na primeira. Também reavaliamos com o claude-opus-5-5 10 execuções do claude-fable-5-1 em cada rodada. Na primeira, o gpt-6-astra aprovou 88% dos critérios e o claude-opus-5-5, 100%: 12 pontos percentuais de distância. Na segunda, foram 82% e 90%: 8 pontos percentuais. A assimetria do avaliador aparece de novo nas respostas do Fable. Fizemos o mesmo com 10 execuções do gemini-4-argon-medium em cada rodada. Na primeira, o gpt-6-astra aprovou 92% dos critérios e o claude-opus-5-5, 98%: 6 pontos percentuais. Na segunda, foram 86% e 88%: 2 pontos percentuais. Nas respostas do Gemini, o gpt-6-astra também foi o avaliador mais rigoroso. Na rodada de Excel e Microsoft 365, trocamos o avaliador em 6 execuções de cada família. Nas do Claude, o gpt-6-astra aprovou 93% e o claude-opus-5-5, 97%. Nas do GPT, o claude-opus-5-5 aprovou 87% e o gpt-6-astra, 90%. Nas do Gemini, foram 93% com o gpt-6-astra e 97% com o claude-opus-5-5. Ali a distância foi pequena, de 3 pontos percentuais em cada família, mas as amostras também são pequenas. Parte de toda diferença entre Claude e GPT neste site vem do avaliador. Isso inclui o Claude Fable 5.1. O mesmo vale para toda diferença entre Gemini e GPT. Leia essas diferenças com cautela. Opus e Sonnet têm o mesmo avaliador, então essa comparação é feita em condições iguais. O mesmo vale para o Fable comparado com Opus e Sonnet. O Gemini também compartilha esse avaliador com os três modelos Claude, embora use outro cliente de execução.
5. Na segunda rodada em espanhol, repetimos a troca e a conferência. Trocamos o avaliador em 6 execuções de cada família. Nas do Claude, o gpt-6-astra aprovou 77% dos critérios e o claude-opus-5-5, 93%. Nas do GPT, os dois avaliadores deram 93%. Nas do Gemini, foram 73% com o gpt-6-astra e 90% com o claude-opus-5-5. Nesta rodada, a assimetria do avaliador foi maior: 17 pontos percentuais nas execuções do Claude e também nas do Gemini. Por isso, o número do GPT nesta rodada não é comparável em condições iguais com os dos outros modelos. O editor também leu 12 veredictos em espanhol (6 aprovações e 6 reprovações do avaliador) e concordou em 8 de 12 (67%). Nas 4 divergências, o avaliador foi mais rigoroso que o editor.

O que os selos significam?

• “Testado · data” em um prompt significa que pelo menos 2 das 3 execuções naquele modelo foram concluídas e avaliadas. Não significa que todas passaram em todos os critérios: na primeira rodada, nos três modelos originais, 48 dos 120 resultados por prompt e modelo tiveram pelo menos uma execução avaliada que falhou em algum critério; na segunda, 79 de 120. Se nenhuma execução se qualifica, publicamos o prompt sem o selo. Uma execução não concluída nunca gera o selo “testado”.
• “4,3 de 5 critérios em média” é a média de critérios da rubrica aprovados nas execuções avaliadas.
• “3 execuções avaliadas” indica quantas execuções foram concluídas e avaliadas.
• “todos os critérios em 1 de 3” (no detalhe do teste) indica quantas dessas execuções passaram em todos os critérios.
• “avaliador: …” indica o modelo que avaliou essas execuções.
• Nos prompts anteriores à rodada de Excel e Microsoft 365, o modelo exibido no cartão é o que teve a maior média entre os três modelos originais. Em caso de empate, o cartão mostra o que teve mais execuções aprovadas em todos os critérios.
• Nos prompts de Excel e Microsoft 365, que são novos, o cartão pode mostrar qualquer um dos cinco modelos. Nos prompts anteriores, o Fable e o Gemini aparecem como linhas a mais no detalhe do teste.
• Os registros “testado · data” anteriores não foram alterados quando o Fable e o Gemini foram incluídos.

O que “testado” NÃO significa?

• Não é um teste do aplicativo para o usuário final. Também não é a API direta: testamos versões identificadas dos modelos com clientes agênticos e uma instrução de sistema genérica. No cliente usado para Claude e GPT, as ferramentas estavam desativadas. O Gemini 4 Argon foi testado pelo Antigravity CLI, e não pelo aplicativo Gemini. Esse cliente ainda oferece uma ferramenta interna; qualquer chamada de ferramenta invalidaria a execução. A rodada de Excel e Microsoft 365 também não é um teste do Copilot no Excel ou no Microsoft 365. ChatGPT, Claude.ai, Gemini e Copilot acrescentam instruções, ferramentas e memória próprias. Seus resultados em um aplicativo podem ser diferentes.
• Não é um aval profissional. Nenhum contador, advogado, médico, engenheiro ou corretor de imóveis revisou cada resposta. Passar na rubrica significa que a resposta atendeu aos nossos critérios com a nossa entrada fictícia. Confira cada valor, citação e prazo antes de usar.
• Não é garantia para os seus dados. Dados reais são menos organizados que os nossos exemplos.
• Não é um ranking geral de modelos. Dez profissões, com poucas tarefas cada, são um recorte limitado. A diferença de rigor entre avaliadores, descrita acima, também pesa.

O que a primeira rodada mostrou?

• Os três modelos originais deram conta da maioria das tarefas. Nenhum deles ficou abaixo de 60% dos critérios em média em nenhum prompt, e nenhuma execução foi inaproveitável.
• A maior parte dos pontos perdidos veio dos critérios de SEGURANÇA: o modelo acrescentou um aviso, uma data, um benefício ou uma premissa jurídica que não estavam na entrada. Em um caso, um folheto para paciente incluiu um alerta de emergência que o médico nunca deu. Em outro, um e-mail de vendas sugeria um resultado que ninguém tinha aprovado.
• Limites de palavras causaram poucas reprovações nesta rodada: 8 no Opus e no Sonnet, somados, e nenhuma no gpt-6-astra.
• As médias brutas foram 99% dos critérios para o gpt-6-astra, 92% para o claude-opus-5-5 e 91% para o claude-sonnet-5. Leia esses números junto com a calibração acima: na amostra de calibração, com 30 execuções de cada família avaliadas pelo mesmo avaliador (claude-opus-5-5), o Claude ficou com 98% e o GPT com 97%.
• Os resultados detalhados estão no relatório resultados dos testes de modelos.

O que a segunda rodada (Brasil e França) mostrou?

• Os prompts adaptados são mais exigentes: cada entrada traz armadilhas (um subtotal errado no orçamento, uma conversão de unidade errada, senha enviada por WhatsApp, um pedido discriminatório do proprietário).
• Médias brutas dos três modelos originais: 98% dos critérios para o gpt-6-astra, 79% para o claude-opus-5-5 e 70% para o claude-sonnet-5. Pela calibração acima, parte da diferença entre Claude e GPT vem do avaliador; a diferença entre Opus e Sonnet, avaliados pelo mesmo avaliador, não.
• Os pontos perdidos pelo Claude vieram principalmente de limites de palavras e de fatos acrescentados, como uma característica do imóvel que não estava nas notas. Nas conferências de cálculo (memorial de cálculo no Brasil, viga na França), o claude-sonnet-5 repetiu algumas vezes a conversão de unidade errada em vez de corrigi-la.

Como foi o Claude Fable 5.1?

O claude-fable-5-1 foi avaliado pelo gpt-6-astra, o mesmo avaliador do Opus e do Sonnet. Entre os três modelos Claude, a comparação é feita em condições iguais.

• Primeira rodada. Médias brutas: 90% dos critérios para o claude-fable-5-1, 92% para o claude-opus-5-5 e 91% para o claude-sonnet-5. Prompt a prompt, o Fable teve média maior que a do Opus em 4 prompts, menor em 11 e igual em 25. Ele passou em todos os critérios em 67 de 120 execuções. O Opus passou em 79 e o Sonnet em 70.
• Segunda rodada. Médias brutas: 78% para o Fable, 79% para o Opus e 70% para o Sonnet. Prompt a prompt, o Fable ficou acima do Opus em 17 prompts, abaixo em 14 e empatado em 9. Ele passou em todos os critérios em 28 de 120 execuções. O Opus passou em 35 e o Sonnet em 16.
• Leitura honesta. Nestes prompts bloqueados, o Fable não superou o Opus 5.5 na primeira rodada: ficou 2 pontos percentuais abaixo. Na segunda, ficou praticamente no mesmo nível, mas 1 ponto percentual abaixo do Opus e 8 pontos percentuais acima do Sonnet. Ser o modelo mais recente ou mais destacado de um fornecedor não é um resultado.
• Fable e GPT não são comparados em condições iguais. O gpt-6-astra é avaliado por outro avaliador, o claude-opus-5-5. Para uma referência com o mesmo avaliador, use a calibração acima: com o claude-opus-5-5, as 10 execuções do Fable reavaliadas ficaram com 100% na primeira rodada e 90% na segunda. São amostras pequenas.
• Onde o Fable perdeu pontos. Como os outros modelos Claude, em limites de palavras (5 reprovações por extensão na primeira rodada e 38 na segunda) e em fatos acrescentados ou verificações regulatórias extras que a entrada não pedia.
• Claude Skills. O Fable rodou os mesmos 20 pares de skill e idioma, com 3 execuções por par e as mesmas versões das skills. Foram 60 execuções avaliadas. As médias ficaram entre 4,0 e 5,0 de 5, e 15 dos 20 pares chegaram a 5 de 5. Valem os mesmos limites da rodada de skills: mesmas entradas, sem calibração com troca de avaliador e sem conferência pelo editor nas skills.

Como foi o Gemini 4 Argon?

O gemini-4-argon-medium foi avaliado pelo gpt-6-astra, o mesmo avaliador dos três modelos Claude. A comparação do Gemini com Opus, Sonnet e Fable é feita em condições iguais quanto ao avaliador, com os mesmos prompts, entradas e rubricas bloqueados. O cliente de execução do Gemini é diferente, como descrito acima.

• Primeira rodada. Médias brutas: 91% dos critérios para o gemini-4-argon-medium, 92% para o claude-opus-5-5, 91% para o claude-sonnet-5 e 90% para o claude-fable-5-1. Prompt a prompt, o Gemini teve média maior que a do Opus em 9 prompts, menor em 13 e igual em 18. Ele passou em todos os critérios em 75 de 120 execuções. O Opus passou em 79, o Sonnet em 70 e o Fable em 67.
• Segunda rodada. Médias brutas: 80% para o Gemini, 79% para o Opus, 78% para o Fable e 70% para o Sonnet. Prompt a prompt, o Gemini ficou acima do Opus em 16 prompts, abaixo em 15 e empatado em 9. Ele passou em todos os critérios em 36 de 120 execuções. O Opus passou em 35, o Fable em 28 e o Sonnet em 16.
• Leitura honesta. Nestes prompts bloqueados, o Gemini ficou no nível do Opus 5.5 nas duas rodadas, com cerca de um ponto de diferença: 1 ponto percentual abaixo na primeira e 1 ponto percentual acima na segunda. Uma diferença desse tamanho não é um ranking.
• Gemini e GPT não são comparados em condições iguais. O gpt-6-astra é avaliado pelo claude-opus-5-5, e o Gemini pelo gpt-6-astra. Para uma referência com o mesmo avaliador, use a calibração acima: com o claude-opus-5-5, as 10 execuções do Gemini reavaliadas ficaram com 98% na primeira rodada e 88% na segunda. São amostras pequenas. Parte de toda diferença entre Gemini e GPT vem do avaliador.
• Onde o Gemini perdeu pontos. Como os modelos Claude, em limites de palavras (5 reprovações por extensão na primeira rodada e 45 na segunda) e em fatos acrescentados que a entrada não continha.
• Claude Skills. O Gemini não rodou as Claude Skills. Skills são um formato do Claude.

Como testamos tarefas de Excel e Microsoft 365?

Em 20 de outubro de 2026, fizemos uma rodada nova com 10 prompts: 4 em inglês, 2 em espanhol, 2 em francês e 2 em português do Brasil. Seis são de Excel e quatro de Microsoft 365. Eles não dependem de profissão. Cada prompt tem 5 critérios, e todas as 10 rubricas têm um critério de SEGURANÇA. Como nas outras rodadas, a rubrica foi escrita e bloqueada antes da primeira execução.

Rodamos os cinco modelos, com 3 execuções por modelo em cada prompt: 150 execuções, todas concluídas, e 750 veredictos. Os avaliadores por família são os mesmos: o claude-opus-5-5 avalia o GPT, e o gpt-6-astra avalia os modelos Claude e o Gemini.

• Médias brutas. 93% dos critérios para o claude-opus-5-5, 91% para o gemini-4-argon-medium, 88% para o claude-fable-5-1, 88% para o gpt-6-astra (avaliado pelo claude-opus-5-5) e 83% para o claude-sonnet-5.
• Por ferramenta. Nos prompts de Excel: 97% para o Gemini, 96% para o Opus, 92% para o Fable, 87% para o GPT e 83% para o Sonnet. Nos de Microsoft 365: 90% para o GPT, 88% para o Opus e 82% para o Sonnet, o Fable e o Gemini.
• Selos. Os 50 resultados por prompt e modelo estão testados. Em 26 deles, pelo menos uma execução falhou em algum critério.
• Funções de busca. Nos três prompts de busca fora do inglês, a rubrica pedia o PROCX no nome localizado (BUSCARX em espanhol, RECHERCHEX em francês, PROCX em português) ou ÍNDICE/CORRESP. Houve 20 reprovações em execuções que usaram a família antiga do PROCV (BUSCARV / RECHERCHEV / PROCV). Essa função pode funcionar com os dados do exemplo, mas não atendeu à rubrica bloqueada.
• Atas de reunião. Nos dois prompts de ata, houve 22 reprovações por itens listados como decisões quando ainda estavam em aberto.

Limites desta rodada. As respostas são só texto. As fórmulas foram avaliadas pela lógica e pelo resultado informado com os dados fornecidos, sem execução no Excel. São modelos de chat respondendo a uma tarefa colada na conversa, e não o Copilot dentro do Excel ou do Microsoft 365. O Copilot não faz parte da nossa bancada. O GPT é avaliado por outro avaliador, então leia o número dele junto com a calibração acima.

O que a segunda rodada em espanhol mostrou?

Os 10 prompts novos em espanhol, rodados em 21 de outubro de 2026, têm 5 critérios cada, e todas as 10 rubricas têm um critério de SEGURANÇA. Os avaliadores por família são os mesmos das outras rodadas.

• Mesmo avaliador. Opus, Gemini, Fable e Sonnet foram avaliados pelo gpt-6-astra. Entre eles, a comparação é feita em condições iguais quanto ao avaliador.
• O GPT tem outro avaliador. Os 98% do gpt-6-astra vêm do claude-opus-5-5. Leia esse número com a calibração acima: nesta rodada, o gpt-6-astra foi 17 pontos percentuais mais rigoroso que o claude-opus-5-5 nas mesmas execuções do Claude e do Gemini.
• Selos. Os 50 resultados por prompt e modelo estão testados. Em 38 deles, pelo menos uma execução falhou em algum critério. Nenhum prompt teve as 15 execuções perfeitas.
• Limites de palavras voltaram a custar pontos, como mostra a última coluna.
• Leitura honesta. Nestes 10 prompts, o Opus ficou claramente à frente dos outros modelos avaliados pelo mesmo avaliador: 83% contra 72% a 74%. São só 10 prompts. Isso não é um ranking.

Os prompts desta rodada estão em espanhol. A nossa biblioteca de prompts reúne os prompts em português.

Como testamos as Claude Skills?

Também testamos as Claude Skills da nossa biblioteca de skills. Uma skill é um pacote de instruções em um arquivo SKILL.md. São 10 skills, uma por profissão, cada uma em inglês e em espanhol: 20 pares de skill e idioma. As skills são publicadas sob a licença CC BY 4.0 (Creative Commons Atribuição 4.0 Internacional): qualquer pessoa pode usá-las, adaptá-las e compartilhá-las, inclusive para fins comerciais, desde que cite a autoria, e cada download de skill inclui um arquivo LICENSE.txt.

• Só modelos Claude. Skills são um formato do Claude, então, na rodada original, testamos apenas o claude-opus-5-5 e o claude-sonnet-5, com 3 execuções por modelo em cada par. O avaliador foi o gpt-6-astra, da outra família. O claude-fable-5-1 foi incluído depois, como descrito na seção sobre o Fable.
• Entrada e rubrica vieram antes. Cada par tem uma entrada fictícia e uma rubrica de 5 critérios. Ambas foram escritas e bloqueadas por hash antes de escrevermos as skills.
• A versão 1.0 tinha defeitos. O modelo parava para fazer perguntas em vez de entregar o resultado em uma resposta. Citava na resposta as fontes oficiais que a skill lista para o profissional. Acrescentava coisas que não estavam na entrada. Na versão 1.0, 12 dos 40 resultados por combinação de modelo, skill e idioma ficaram abaixo de 4 de 5 (o menor foi 0,33 de 5).
• Revisamos 8 skills com regras gerais de comportamento: entregar tudo em uma resposta, com premissas identificadas, e não citar na resposta as fontes de referência da skill. Houve 3 pares de skill e idioma que precisaram de uma segunda revisão. Nas versões atuais, para o Opus e o Sonnet, as médias ficaram entre 4,0 e 5,0 de 5, e 27 dos 40 resultados chegaram a 5 de 5. São 120 execuções avaliadas nas versões atuais nesses dois modelos, sem contar o Fable.

Limites desta rodada. Os novos testes usaram as mesmas entradas e rubricas bloqueadas do primeiro teste. A melhora foi observada apenas nessas entradas; os testes não demonstram que ela se estenda a outras entradas. Não houve calibração com troca de avaliador nem conferência pelo editor nesta rodada. Uma skill só aparece como testada em um modelo com pelo menos 2 de 3 execuções avaliadas no texto atual.

Como testamos as Skills em francês e português?

Em 21 de outubro de 2026, testamos adaptações das mesmas 10 skills para o francês da França e o português do Brasil: 20 pares de skill e idioma. Rodamos o claude-opus-5-5, o claude-sonnet-5 e o claude-fable-5-1, com 3 execuções por modelo em cada par: 180 execuções nos primeiros textos. O avaliador foi o gpt-6-astra. Cada par tem uma entrada fictícia e uma rubrica de 5 critérios, escritas e bloqueadas por hash separadamente, antes de escrevermos as adaptações.

• Primeiros textos. As médias ficaram entre 3,67 e 5,0 de 5. Só 1 dos 60 resultados por modelo e par ficou abaixo de 4 de 5.
• Revisamos 4 adaptações com regras gerais de comportamento. No pedido de proposta a fornecedores de eventos, em francês e em português, os critérios de avaliação ficavam em branco quando o briefing não trazia nenhum. No relatório diário de obra em francês, o prazo de notificação era apresentado com ressalvas. Na revisão do pipeline de vendas em francês, um negócio com um único contato não era sinalizado. A adaptação de obra em francês precisou de uma segunda revisão.
• Novo teste. Foram 45 execuções nas mesmas entradas bloqueadas. Médias antes → depois, na ordem Opus / Sonnet / Fable:
  • Pedido de proposta para eventos, francês: 4,0 / 4,0 / 4,0 → 4,33 / 5,0 / 4,67
  • Pedido de proposta para eventos, português: 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 4,33
  • Relatório diário de obra, francês (versão 1.2): 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 5,0
  • Pipeline de vendas, francês: 3,67 / 4,67 / 4,33 → 5,0 / 5,0 / 4,67
• Situação atual. Nos textos atuais, as médias ficaram entre 4,33 e 5,0 de 5, e 46 dos 60 resultados chegaram a 5 de 5.

Limites desta rodada. Os novos testes usaram as mesmas entradas bloqueadas do primeiro teste, então a melhora foi observada só nessas entradas. Não houve calibração com troca de avaliador nem conferência pelo editor nesta rodada. As adaptações estão na biblioteca de skills.

Como fazemos novos testes e correções?

Um registro de teste é um fato histórico com data. Quando sai uma nova versão de modelo, nós a incluímos e marcamos os prompts afetados como “precisa de novo teste”. Nunca reapresentamos um resultado antigo como se fosse de um modelo mais novo. A inclusão do Claude Fable 5.1 e do Gemini 4 Argon, em 20 de outubro de 2026, é um exemplo dessa regra: os novos modelos entraram na bancada e os registros antigos foram mantidos; em 21 de outubro de 2026, acrescentamos uma rodada em espanhol bloqueada separadamente e as Skills em francês e português, e revisamos 4 adaptações, mantendo no arquivo as versões anteriores e as execuções feitas com elas. Se você encontrar um erro, avise pela página de contato. Conferimos a informação na fonte e corrigimos a página. Quando a mudança afeta um fato, número, resultado de teste ou afirmação regulatória, acrescentamos uma nota de correção datada.