Testes de modelos de IA: o que mostram 1.500 execuções

Na rodada mais recente, a ES 2, Opus teve a maior taxa entre os quatro modelos com o mesmo juiz; GPT teve a maior taxa bruta, mas foi avaliado por outro juiz. A troca de juízes mostrou diferenças de 17 pontos nas execuções do Claude e do Gemini. A rodada 1 continua sendo o núcleo desta página, com seção própria.

Quais rodadas já fizemos?

Testamos os conjuntos abaixo; novas rodadas e modelos não alteram os registros anteriores.

Total: 100 prompts, 1.500 execuções e 7.500 vereditos, sem contar as skills.

• 19/10/2026: rodada 1, inglês e espanhol.
• 19/10/2026: rodada 2, adaptações à França e ao Brasil.
• 19/10/2026: Claude Skills em inglês e espanhol, com revisões.
• 20/10/2026: Fable acrescentado aos prompts e às skills anteriores.
• 20/10/2026: Gemini acrescentado às rodadas anteriores de prompts.
• 20/10/2026: tarefas de Excel e Microsoft 365.
• 21/10/2026: rodada ES 2, conjunto novo travado separadamente.
• 21/10/2026: skills em francês e português revisadas; licença aberta para as Skills.

O que mostrou a rodada mais recente?

Opus chegou a 83%, contra 74% do Gemini, 73% do Fable e 72% do Sonnet, todos avaliados por gpt-6-astra. Essa comparação usa o mesmo juiz; os 98% do GPT, não.

A ES 2 trouxe 10 prompts novos em espanhol para engenheiros, agentes de viagens, gestores de obras, organizadores de eventos e designers de interiores, com contextos do México, Espanha e Colômbia. Entradas e rubricas foram travadas separadamente: 3 execuções por modelo e prompt, 150 execuções e 750 vereditos.

Testes de 21 de outubro de 2026.

Leia o GPT junto com a calibração: em 6 execuções por família, gpt-6-astra e claude-opus-5-5 aprovaram, respectivamente, 77% e 93% dos critérios nas saídas Claude, 93% e 93% nas saídas GPT e 73% e 90% nas saídas Gemini. As diferenças registradas foram de 17 pontos para Claude e Gemini; as taxas exibidas estão arredondadas. O agente verificador concordou com 8 de 12 vereditos; nas 4 discordâncias, o juiz foi mais rigoroso.

Em 38 de 50 combinações de prompt e modelo, alguma execução perdeu um critério; 0 prompts tiveram as 15 execuções perfeitas. Reprovações por tamanho: Gemini 21, Fable 16, Opus 14, Sonnet 10 e GPT 0. São apenas 10 prompts, não um ranking. Veja os resultados na biblioteca de prompts.

O que foi testado e como na rodada 1?

Foram testados 40 prompts de 10 profissões: 30 em inglês e 10 em espanhol. Francês e português vieram na rodada 2, detalhada na metodologia.

Cada prompt teve 3 execuções em cada um dos 3 modelos: 120 por modelo, 360 no total, sem falhas técnicas. Os 5 critérios por prompt geraram 1.800 vereditos.

As rubricas foram travadas por hash antes das execuções. Cada entrada fictícia, sem dados pessoais, foi enviada sem alteração aos modelos; nada foi editado entre prompt e saída. A avaliação foi cruzada entre famílias, com justificativa por critério e instrução de reprovar na dúvida.

Um agente editor, não uma pessoa, avaliou a amostra antes de ler o juiz: concordou em 18 de 20 vereditos; nas 2 discordâncias, o juiz foi mais rigoroso.

Como cada modelo se saiu?

Opus teve 92%, Sonnet 91% e GPT 99% de critérios aprovados. Entre famílias, o juiz muda.

Testes de 19 de outubro de 2026.

Houve 13 prompts com todas as 9 execuções perfeitas. As taxas menores do Claude em espanhol não permitem generalizar sobre o idioma.

O GPT é mesmo melhor que o Claude aqui?

Não é possível afirmar isso: a calibração mostra que o juiz afeta a diferença bruta. Foram reavaliadas 60 execuções, 30 de cada família.

Nas mesmas respostas Claude, gpt-6-astra aprovou 93% e claude-opus-5-5, 98%: diferença de 5 pontos. Nas respostas GPT, ambos ficaram em aproximadamente 97%. A calibração não substitui as notas publicadas; Opus e Sonnet, com o mesmo juiz, ficaram separados por 1 ponto.

Onde os modelos erraram?

Acréscimos ausentes da entrada responderam por 78 dos 110 vereditos reprovados, ou 71%. Outros 24 envolveram conteúdo obrigatório ausente ou alterado; 8 foram violações de tamanho, todas no Claude. O rótulo SAFETY das rubricas não equivale a avaliação profissional independente.

Ficha para paciente. A entrada descrevia diabetes tipo 2, metformina, efeitos colaterais e retorno, sem instrução de emergência. Opus escreveu:

If you feel very sick or think it is an emergency, call 911 or go to the nearest emergency room.

O juiz apontou acréscimos sem a marcação exigida para consultar a equipe de saúde: reprovação em 6 de 6 execuções Claude e 0 GPT. A citação não é orientação para pacientes brasileiros.

Alteração de voo. A entrada oferecia a mesma companhia no dia seguinte, sem mencionar conexão. Sonnet escreveu:

Pros: Comfortable connection, same carrier handles any rebooking issues directly.

A característica não tinha base na entrada: o critério reprovou em 8 de 9 execuções, incluindo 2 do GPT.

E-mail de prospecção. A entrada permitia apenas uma evidência aprovada. Sonnet escreveu:

smoother routes tend to mean less driver frustration

O benefício não aprovado levou à reprovação do critério em 3 de 3 execuções do Sonnet. As contagens se referem ao critério, não à repetição literal das frases.

Quais profissões foram mais difíceis?

Engenheiros e gerentes de vendas tiveram as menores taxas agregadas, 90%, com predominância de acréscimos não fornecidos. Sonnet ficou em 80% na engenharia e 84% em vendas.

Gestores de obras chegaram a 100% nos três modelos. Com 3 a 5 prompts por profissão na rodada 1, esses resultados não permitem classificar profissões.

Como os modelos acrescentados se comparam com o mesmo juiz?

Fable não superou Opus; Gemini ficou a cerca de 1 ponto dele nas duas rodadas. Foram usados os mesmos prompts, entradas e rubricas, com gpt-6-astra como juiz.

Modelos acrescentados em 20 de outubro de 2026; porcentagem de critérios aprovados:

O Gemini usou Antigravity CLI com agente personalizado sem carregar ferramentas, skills ou regras e com prompt de sistema de uma linha; uma ferramenta interna continuou exposta, mas qualquer chamada anularia a execução: houve 0 em 240 execuções.

Na calibração do Fable, com 10 execuções por rodada, gpt-6-astra e claude-opus-5-5 aprovaram, respectivamente, 88%/100% na rodada 1 e 82%/90% na rodada 2. O agente verificador concordou em 8 de 12 casos; nas 4 discordâncias, o juiz foi mais rigoroso.

Para Gemini, também com 10 execuções por rodada, as taxas foram 92%/98% e 86%/88%, na mesma ordem. O agente concordou em 7 de 10 casos; nas 3 discordâncias, o juiz foi mais rigoroso.

Como os modelos se saíram em tarefas de Excel e Microsoft 365?

As taxas brutas foram de 83% a 93%. Foram respostas só em texto, com fórmulas avaliadas pela lógica e pelo resultado declarado, não executadas no Excel: modelos de chat respondendo a tarefas coladas, não Copilot no Excel ou no Microsoft 365.

Testes de 20 de outubro de 2026.

Houve 20 reprovações por usar a família PROCV, que podia funcionar com os dados, mas descumpria a exigência de PROCX ou ÍNDICE/CORRESP. Nas atas, 22 reprovações envolveram itens em aberto apresentados como decisões.

A calibração registrou diferenças de 3 pontos em cada família; o agente concordou com 10 de 10 vereditos amostrados.

O que mostraram as rodadas de Claude Skills?

As revisões elevaram as médias nos casos testados. Em inglês e espanhol, 10 skills passaram por Opus e Sonnet, depois Fable, com 3 execuções por combinação e gpt-6-astra como juiz. A v1.0 pediu esclarecimentos em vez de entregar resultados, citou fontes destinadas ao profissional, acrescentou destino de emergência, deixou critérios indefinidos e omitiu metragem documentada. Após revisar 8 skills, as médias finais ficaram entre 4,0 e 5,0 de 5, inclusive no Fable.

Em francês da França e português do Brasil, foram 20 pares de skill e idioma, com rubricas travadas separadamente, Opus/Sonnet/Fable e 3 execuções por combinação: 180 execuções, avaliadas por gpt-6-astra. Os primeiros textos ficaram entre 3,67 e 5,0 de 5. Foram revisadas 4 adaptações com regras gerais; valores na ordem Opus / Sonnet / Fable:

• Propostas para eventos, francês, v1.1: 4,0 / 4,0 / 4,0 → 4,33 / 5,0 / 4,67.
• Propostas para eventos, português, v1.1: 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 4,33.
• Relatório de obra e aviso de atraso, francês, duas revisões, v1.2: 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 5,0.
• Funil de vendas, francês, v1.1: 3,67 / 4,67 / 4,33 → 5,0 / 5,0 / 4,67.

Após 45 reexecuções, as combinações em francês e português ficaram entre 4,33 e 5,0 de 5; 46 de 60 atingiram 5 de 5. Em ambas as rodadas de skills, os retestes usaram as mesmas entradas e rubricas travadas, sem calibração por troca de juiz nem verificação por amostragem: a melhora vale para esses casos.

As Skills são publicadas sob CC BY 4.0, permitindo uso e adaptação, inclusive comercial, com atribuição. Estão na biblioteca de Claude Skills.

O que estes dados não mostram?

Não identificam o melhor modelo em termos absolutos nem validam uma entrega profissional.

• Não são um ranking. Juízes diferentes afetam comparações com GPT.
• Não representam aplicativos de consumo. Instruções, ferramentas e memória podem mudar as respostas; a bancada manteve instruções genéricas do executor.
• Não são aprovação profissional. Nenhum profissional humano revisou todas as saídas; o verificador foi um agente.
• Não cobrem outras entradas. Os dados eram fictícios, com uma entrada por prompt e poucos casos por profissão.
• Não valem indefinidamente. Novas versões exigem novos testes, sem alterar registros antigos.
• Não comparam idiomas diretamente. Inglês, espanhol, francês e português têm conjuntos próprios de prompts.

Perguntas frequentes