Cómo probamos los prompts: metodología

En resumen: cada prompt de este sitio se ejecutó 3 veces en cada uno de cinco modelos identificados, siempre con los mismos datos ficticios. Los modelos originales fueron claude-opus-5-5, claude-sonnet-5 y gpt-6-astra. El cuarto modelo, Claude Fable 5.1, se añadió el 20 de octubre de 2026 con los mismos prompts, datos y rúbricas. El quinto, Gemini 4 Argon, se añadió ese mismo día, también con los mismos prompts, datos y rúbricas. Las respuestas se evaluaron con una rúbrica escrita y bloqueada antes de la primera ejecución. Las evaluó un modelo de lenguaje de la otra familia de modelos, y otro agente de IA, el editor, revisó una muestra de esos veredictos. Eso, y nada más, es lo que significa «probado». No es el visto bueno de un profesional ni una prueba de las apps de ChatGPT, Claude o Gemini, ni de Copilot. A las dos rondas iniciales de prueba de prompts, la ronda de tareas de Excel y Microsoft 365 y la ronda de Claude Skills se sumaron, el 21 de octubre de 2026, una segunda ronda en español y las Claude Skills en francés y portugués. Las transcripciones de todas ellas son públicas.

¿Qué probamos y cuándo?

La primera ronda se hizo el 19 de octubre de 2026. Incluyó 40 prompts (30 en inglés y 10 en español) de 10 profesiones, con 5 criterios de rúbrica cada uno. Los prompts en español están adaptados a México y a España: CFDI y SAT, arras del Código Civil, notas clínicas para un centro de salud.

claude-fable-5-1 se probó el 20 de octubre de 2026, más tarde que los otros tres modelos. Usó los mismos prompts, datos de entrada y rúbricas bloqueados, con el mismo banco de pruebas.

gemini-4-argon-medium (Gemini 4 Argon, con el nivel de razonamiento medio) también se probó el 20 de octubre de 2026, más tarde que los tres modelos originales. Usó los mismos prompts, datos de entrada y rúbricas bloqueados, a través del cliente de Google que se describe más abajo.

Con los tres modelos originales fueron 360 ejecuciones y 1800 veredictos por criterio. Todas las ejecuciones se completaron, sin descartes. Claude Fable 5.1 añadió 120 ejecuciones y 600 veredictos, también sin descartes. Gemini 4 Argon añadió otras 120 ejecuciones y 600 veredictos, también sin descartes.

La segunda ronda se hizo también el 19 de octubre de 2026, con el mismo banco de pruebas y los mismos evaluadores. Incluyó otros 40 prompts adaptados a la normativa y las costumbres de dos países: 20 en francés para Francia y 20 en portugués para Brasil. Los prompts cubren las mismas 10 profesiones y tienen 5 criterios de rúbrica cada uno.

En esta ronda, claude-fable-5-1 también se ejecutó el 20 de octubre de 2026, en las mismas condiciones. gemini-4-argon-medium se ejecutó ese mismo día, con los mismos prompts, datos y rúbricas bloqueados.

De nuevo, con los tres modelos originales, fueron 360 ejecuciones y 1800 veredictos. Todas las ejecuciones se completaron. Entre las dos rondas, con los tres modelos originales, suman 80 prompts, 720 ejecuciones y 3600 veredictos, sin ninguna ejecución descartada. Con Claude Fable 5.1 incluido, el total es de 960 ejecuciones y 4800 veredictos, también sin descartes. Con Claude Fable 5.1 y Gemini 4 Argon incluidos, las dos rondas suman 1200 ejecuciones y 6000 veredictos, sin descartes.

El 20 de octubre de 2026 hicimos además una ronda de 10 prompts de Excel y Microsoft 365 con los cinco modelos, que se describe más abajo. Antes de la segunda ronda en español, con todas las rondas de prompts, incluida la de Excel y Microsoft 365, el banco sumaba 90 prompts, 1350 ejecuciones y 6750 veredictos.

El 21 de octubre de 2026 hicimos una segunda ronda en español con 10 prompts nuevos, 2 por profesión: ingenieros, agentes de viajes, directores de obra, organizadores de eventos y diseñadores de interiores. Por país, 4 están adaptados a México, 3 a España y 3 a Colombia. Es un conjunto aparte, con su propio bloqueo de rúbricas. Cada prompt tiene 5 criterios, y los 10 incluyen un criterio de SEGURIDAD. Los cinco modelos ejecutaron cada prompt 3 veces: 150 ejecuciones y 750 veredictos. Todas las ejecuciones se completaron, y los evaluadores fueron los mismos para cada familia. Los resultados se describen más abajo.

Con todas las rondas de prompts, incluida la segunda ronda en español, el banco suma 100 prompts, 1500 ejecuciones y 7500 veredictos. Esa suma no incluye las rondas de Claude Skills.

¿Cómo se ejecuta un prompt?

• Mismos datos para todos los modelos. Cada prompt trae unos datos de ejemplo ficticios y anonimizados. El texto exacto de la consulta se guarda en un archivo y se envía tal cual a cada modelo.
• Un cliente agéntico, no una llamada directa a la API. A los modelos de Claude y a GPT les enviamos la consulta con un cliente agéntico de línea de comandos en modo seguro: sin herramientas, sin web, sin memoria, sin skills y sin instrucciones personalizadas. Aun así, el cliente añade su propia instrucción de sistema genérica de asistente. No la escribimos nosotros y es la misma para los modelos de Claude y GPT y para todos los prompts. A los modelos de Claude se llegó a través de un servicio de enrutamiento con suscripción, y a gpt-6-astra con el inicio de sesión de una suscripción de OpenAI, no por la API directa de cada proveedor. Nadie retoca nada a mano entre el prompt y la respuesta.
• Gemini, con el cliente de línea de comandos de Google. A gemini-4-argon-medium se llegó a través de Antigravity CLI, el agente de línea de comandos de Google. No fue una petición directa a la API ni la app de Gemini. En cada ejecución usamos un agente personalizado sin herramientas, sin skills y sin reglas cargadas, con una instrucción de sistema de una línea que le asignaba el papel de asistente. Cada ejecución se hizo en una carpeta temporal nueva y vacía, que después se borró, en un entorno aislado y sin aprobar automáticamente las solicitudes de permiso. Aun así, el cliente envuelve la consulta con la hora local y una nota sobre el modelo seleccionado. También sigue exponiendo una herramienta integrada para listar o detener tareas en segundo plano. Después de cada ejecución leímos el registro del propio cliente: una ejecución con cualquier llamada a herramientas no contaba como completada. En las 240 ejecuciones de las dos rondas hubo 0 llamadas a herramientas y 1 turno por ejecución.
• 3 ejecuciones por modelo. La respuesta de un modelo cambia de una ejecución a otra, así que una sola buena respuesta demuestra poco. Por eso el sitio indica siempre cuántas ejecuciones se evaluaron.
• Las transcripciones se guardan y son públicas. Cada ejecución queda guardada literalmente, junto con el id del modelo, la hora de inicio, la duración, el código de salida y el hash de la rúbrica. Puede descargarlas en el archivo de transcripciones (ZIP, 9,2 MB, 3015 archivos). Con él, cualquiera puede volver a comprobar cualquier veredicto. Más abajo se detalla qué contiene.

¿Cómo se evalúa una respuesta?

1. Primero va la rúbrica. Antes de que ningún modelo viera el prompt, escribimos de 4 a 6 criterios de sí o no (5 en todas las rondas). Unos comprueban la exactitud, por ejemplo si cuadra la conciliación. En la primera ronda, 32 de las 40 rúbricas tienen un criterio marcado como SEGURIDAD: que la respuesta no invente cifras, citas, fechas ni conclusiones jurídicas. Las otras 8 comprueban ese mismo riesgo dentro de un criterio de exactitud, por ejemplo «no añade hallazgos de exploración que no estén en la transcripción». En la segunda ronda, las 40 rúbricas tienen un criterio de SEGURIDAD. En la ronda de Excel y Microsoft 365, también lo tienen las 10 rúbricas. Se calcula el hash de la rúbrica y esta queda bloqueada. Si el hash de una ejecución no coincide, se rechaza.
2. Evaluación cruzada entre familias. gpt-6-astra evalúa las respuestas de Claude y claude-opus-5-5 las de GPT, así que ningún modelo califica a su propia familia. gpt-6-astra también evalúa las respuestas de claude-fable-5-1, igual que las de los otros modelos de Claude. Y evalúa las de gemini-4-argon-medium, de la familia de Google. En la ronda de Excel y Microsoft 365 se mantuvieron los mismos evaluadores para cada familia. El evaluador devuelve un JSON estricto con aprobado o suspenso y una línea de motivo por criterio. Si duda, tiene que suspender.
3. Revisión por muestreo de un agente editor. El editor es un agente de IA distinto del evaluador (el agente que operó el banco de pruebas), no una persona. En la primera ronda leyó 20 veredictos con las transcripciones completas. Catorce eran aleatorios, la mitad aprobados y la otra mitad suspensos. Los seis restantes eran aprobados de GPT en criterios de seguridad o de longitud, elegidos para detectar un evaluador demasiado indulgente. El editor anotó su propio veredicto antes de ver el del evaluador. Coincidieron en 18 de 20 (90 %), y en las dos discrepancias el evaluador fue más estricto que el editor. En la segunda ronda, el editor revisó 10 veredictos sobre respuestas en francés y en portugués: 5 aprobados y 5 suspensos. Coincidió en 9 de 10. En la única discrepancia, el evaluador volvió a ser el más estricto. Sobre las respuestas de Claude Fable 5.1, el editor revisó 12 veredictos en los cuatro idiomas (inglés, español, francés y portugués): 6 aprobados y 6 suspensos. Coincidió en 8 de 12 (67 %). En las 4 discrepancias, el evaluador fue más estricto que el editor. Sobre las respuestas de Gemini 4 Argon, revisó 10 veredictos en inglés, francés y portugués: 5 aprobados y 5 suspensos. Coincidió en 7 de 10 (70 %). En las 3 discrepancias, el evaluador fue más estricto que el editor. En la ronda de Excel y Microsoft 365, revisó 10 veredictos en los cuatro idiomas, 5 aprobados y 5 suspensos, y coincidió en 10 de 10.
4. Calibración con evaluadores intercambiados. Con los tres modelos originales, en la primera ronda volvimos a evaluar 60 ejecuciones de muestra (30 de cada familia) con el otro evaluador. Sobre las mismas ejecuciones de Claude, gpt-6-astra aprobó el 93 % de los criterios y claude-opus-5-5, el 98 %. Sobre las de GPT, los dos dieron lo mismo (97 %). En la segunda ronda repetimos la prueba con 10 ejecuciones de Claude y 10 de GPT. Sobre las de Claude, gpt-6-astra aprobó el 74 % y claude-opus-5-5, el 86 %. Sobre las de GPT, los dos dieron el 98 %. Los dos evaluadores no son igual de estrictos, y en la segunda ronda la diferencia fue mayor: 12 puntos sobre las mismas ejecuciones de Claude, frente a 5 puntos en la primera. Con Claude Fable 5.1 hicimos lo mismo: en cada ronda, 10 ejecuciones de Fable se volvieron a evaluar con claude-opus-5-5. En la primera ronda, gpt-6-astra aprobó el 88 % y claude-opus-5-5, el 100 %. En la segunda, el 82 % y el 90 %. La asimetría vuelve a aparecer con Fable: 12 puntos en la primera ronda y 8 en la segunda. Con Gemini 4 Argon repetimos la prueba: en cada ronda, 10 ejecuciones de Gemini se volvieron a evaluar con claude-opus-5-5. En la primera ronda, gpt-6-astra aprobó el 92 % y claude-opus-5-5, el 98 %. En la segunda, el 86 % y el 88 %. También con las respuestas de Gemini, gpt-6-astra fue el evaluador más estricto: 6 puntos en la primera ronda y 2 en la segunda. En la ronda de Excel y Microsoft 365 volvimos a evaluar 6 ejecuciones por familia con el otro evaluador. Sobre las de Claude, gpt-6-astra aprobó el 93 % y claude-opus-5-5, el 97 %. Sobre las de Gemini, lo mismo: el 93 % y el 97 %. Sobre las de GPT, claude-opus-5-5 aprobó el 87 % y gpt-6-astra, el 90 %. Los datos de calibración registran diferencias pequeñas, de 3 puntos por familia, pero las muestras también son pequeñas. Parte de cualquier diferencia entre Claude y GPT que vea en este sitio se debe al evaluador y no al modelo. Eso vale para todos los modelos de Claude, Fable incluido. Vale también para Gemini frente a GPT. Opus y Sonnet comparten evaluador, así que esa comparación sí es directa. Lo mismo ocurre con Fable y Gemini frente a ellos: los cuatro los evalúa gpt-6-astra.
5. Segunda ronda en español: calibración y revisión. Volvimos a evaluar 6 ejecuciones por familia con el otro evaluador. Sobre las de Claude, gpt-6-astra aprobó el 77 % de los criterios y claude-opus-5-5, el 93 %. Sobre las de Gemini, el 73 % y el 90 %. Sobre las de GPT, los dos dieron el 93 %. En esta ronda la asimetría fue mayor: 17 puntos sobre las ejecuciones de Claude y otros 17 sobre las de Gemini, frente a 3 puntos en la ronda de Excel y Microsoft 365. Por eso la cifra de GPT en esta ronda no se compara en igualdad de condiciones con las de los otros cuatro modelos: una parte de esa diferencia se debe al evaluador. El editor revisó además 12 veredictos en español, 6 aprobados y 6 suspensos, y coincidió en 8 de 12 (67 %). En las 4 discrepancias, el evaluador fue más estricto que el editor.

¿Qué significan las etiquetas?

• «Probado · fecha» en un prompt significa que al menos 2 de las 3 ejecuciones en ese modelo se completaron y se evaluaron. No significa que todas aprobaran todos los criterios: con los tres modelos originales, en la primera ronda, 48 de los 120 resultados por prompt y modelo tuvieron al menos una ejecución evaluada que falló algún criterio. En la segunda ronda fueron 79 de 120. En la ronda de Excel y Microsoft 365, con los cinco modelos, fueron 26 de 50. En la segunda ronda en español, también con los cinco modelos, fueron 38 de 50. Un prompt sin ninguna ejecución válida se publica sin etiqueta. Una ejecución que no se completó nunca genera la marca de «probado».
• «4,3 de 5 criterios de media» es la media de criterios aprobados en las ejecuciones evaluadas.
• «3 ejecuciones evaluadas» indica cuántas ejecuciones se completaron y se evaluaron.
• «todos los criterios en 1 de 3» (en el detalle de la prueba) indica cuántas de esas ejecuciones aprobaron todos los criterios.
• «evaluador: …» indica qué modelo evaluó esas ejecuciones.
• La tarjeta del prompt muestra el modelo con mejor media. Si hay empate, gana el que tiene más ejecuciones con todos los criterios aprobados.
• En los prompts de Excel y Microsoft 365, que son nuevos, la tarjeta puede mostrar cualquiera de los cinco modelos. En los prompts anteriores, la tarjeta sigue mostrando el mejor de los tres modelos originales, y el detalle de la prueba añade Claude Fable 5.1 y Gemini 4 Argon como líneas adicionales. Los registros anteriores de «probado · fecha» no se cambiaron al añadir Fable y Gemini.

¿Qué NO significa «probado»?

• No es la app de consumo ni la API directa. Probamos versiones concretas de los modelos de Claude y GPT con un cliente agéntico, con una instrucción de sistema genérica y sin herramientas. Gemini se probó con el cliente de línea de comandos de Google, con una instrucción de sistema de una línea y una herramienta integrada que seguía expuesta pero no se usó, y no con la app de Gemini. ChatGPT, Claude.ai, la app de Gemini y Copilot añaden sus propias instrucciones, herramientas y memoria, así que en la app el resultado puede ser otro. La ronda de Excel y Microsoft 365 tampoco es una prueba de Copilot en Excel ni en Microsoft 365: son modelos de chat que responden a una tarea pegada como texto.
• No es el visto bueno de un profesional. Ningún contador, médico, ingeniero ni abogado revisó cada respuesta. Aprobar la rúbrica solo significa que la respuesta cumplió nuestros criterios con nuestros datos ficticios. Compruebe cada cifra, cita, plazo y norma (SAT, AEAT, Código Civil) antes de usarla.
• No garantiza nada con sus datos. Los datos reales son más desordenados que los de ejemplo.
• No es un ranking general de modelos. Diez profesiones con unas pocas tareas cada una son una muestra estrecha, y además cuenta la diferencia de exigencia entre evaluadores.

¿Qué mostró la primera ronda?

• Los tres modelos originales resolvieron la mayoría de las tareas. Ningún modelo bajó en ningún prompt del 60 % de criterios de media (3,0 de 5), y ninguna ejecución salió inservible.
• La mayoría de los puntos perdidos fueron en criterios de SEGURIDAD: el modelo añadió un aviso, una fecha, un beneficio o una suposición jurídica que no estaba en los datos. Por ejemplo, una hoja para el paciente incluyó un aviso de urgencias que el médico no había dado, y un correo comercial insinuó un resultado que nadie había aprobado.
• En los 40 prompts, las medias brutas fueron del 99 % de criterios para gpt-6-astra, el 92 % para claude-opus-5-5 y el 91 % para claude-sonnet-5.
• En los 10 prompts en español, las medias brutas fueron del 99 % de criterios para gpt-6-astra, el 88 % para claude-sonnet-5 y el 87 % para claude-opus-5-5. Claude Opus superó el límite de palabras en 4 de esas ejecuciones. Hay que leer estas cifras con la calibración de arriba en mente.
• Los resultados de la primera ronda, prompt por prompt, están en el informe resultados de las pruebas de modelos.

¿Qué mostró la segunda ronda?

• Los prompts de Francia y Brasil son más exigentes a propósito. Las entradas esconden trampas: el total de un presupuesto mal sumado, una conversión de unidades errónea, datos sensibles enviados por una app de mensajería o una petición discriminatoria. Una buena respuesta tiene que detectarlas, no solo redactar bien.
• Con los tres modelos originales, las medias brutas fueron del 98 % de criterios para gpt-6-astra, el 79 % para claude-opus-5-5 y el 70 % para claude-sonnet-5. La media más baja de un modelo en un prompt fue del 40 % de criterios (2,0 de 5).
• Claude perdió puntos sobre todo por los límites de palabras y por datos añadidos que no estaban en la entrada. Entre Opus y Sonnet hubo 107 veredictos de incumplimiento del límite de palabras.
• En las comprobaciones de cálculo, claude-sonnet-5 copió varias veces la conversión de unidades errónea en lugar de corregirla.
• Lea estas cifras con la calibración de la segunda ronda: con 12 puntos de diferencia entre evaluadores sobre las mismas ejecuciones de Claude, una parte de la diferencia entre Claude y GPT se debe al evaluador. La comparación entre Opus y Sonnet, separados por 9 puntos y evaluados por el mismo modelo, sí se hace en igualdad de condiciones.

¿Qué resultados obtuvo Claude Fable 5.1?

claude-fable-5-1 se probó el 20 de octubre de 2026 con los mismos 80 prompts, los mismos datos ficticios y las mismas rúbricas bloqueadas que los otros modelos. Fueron 240 ejecuciones y 1200 veredictos, y todas las ejecuciones se completaron.

• Mismo evaluador que Opus y Sonnet. gpt-6-astra evaluó las respuestas de Fable, igual que las de los otros dos modelos de Claude. Entre los tres modelos de Claude, la comparación es directa.
• Primera ronda. Fable aprobó el 90 % de los criterios, frente al 92 % de claude-opus-5-5 y el 91 % de claude-sonnet-5. En los 10 prompts en español obtuvo el 87 %. Prompt por prompt frente a Opus, Fable tuvo mejor media en 4, peor en 11 e igual en 25. Aprobó todos los criterios en 67 de sus 120 ejecuciones. Opus lo hizo en 79 y Sonnet en 70. Su media más baja en un prompt fue de 3,0 de 5.
• Segunda ronda. Fable aprobó el 78 % de los criterios, frente al 79 % de Opus y el 70 % de Sonnet. Frente a Opus, tuvo mejor media en 17 prompts, peor en 14 e igual en 9. Aprobó todos los criterios en 28 de 120 ejecuciones. Opus lo hizo en 35 y Sonnet en 16. Su media más baja en un prompt fue de 2,33 de 5.
• Lo que esto significa. Con estos prompts bloqueados, Fable no superó a claude-opus-5-5 en la primera ronda: quedó 2 puntos por debajo. En la segunda quedó a 1 punto, prácticamente igualado. Que un modelo se presente como el más avanzado de su fabricante no es un resultado.
• Frente a GPT no es una comparación directa. A gpt-6-astra lo evalúa claude-opus-5-5, un evaluador distinto. En la calibración de Fable, sobre 10 ejecuciones por ronda, claude-opus-5-5 aprobó el 100 % en la primera ronda y el 90 % en la segunda, mientras que gpt-6-astra aprobó el 88 % y el 82 %, respectivamente. Por eso no conviene comparar sin más el 90 % y el 78 % de Fable con el 99 % y el 98 % de GPT.
• Dónde perdió puntos. Igual que los otros modelos de Claude: en los límites de palabras (5 veredictos en la primera ronda y 38 en la segunda) y en datos añadidos, incluidas comprobaciones normativas adicionales que la entrada no pedía.
• Claude Skills. Fable ejecutó las mismas 20 combinaciones de skill e idioma, 3 veces cada una, con las mismas versiones de las skills. gpt-6-astra evaluó 60 ejecuciones. Las medias fueron de 4,0 a 5,0 de 5, y 15 de las 20 combinaciones llegaron a 5 de 5. Vale la misma advertencia que en la ronda de skills: mismas entradas, sin calibración con evaluadores intercambiados y sin revisión por muestreo.

¿Qué resultados obtuvo Gemini 4 Argon?

gemini-4-argon-medium se probó el 20 de octubre de 2026 con los mismos 80 prompts, los mismos datos ficticios y las mismas rúbricas bloqueadas que los otros modelos. Fueron 240 ejecuciones y 1200 veredictos, y todas las ejecuciones se completaron.

• Mismo evaluador que los modelos de Claude. gpt-6-astra evaluó las respuestas de Gemini, igual que las de Opus, Sonnet y Fable. Frente a esos tres modelos, la comparación es directa.
• Primera ronda. Gemini aprobó el 91 % de los criterios, frente al 92 % de claude-opus-5-5, el 91 % de claude-sonnet-5 y el 90 % de claude-fable-5-1. En los 10 prompts en español obtuvo el 89 %. Prompt por prompt frente a Opus, Gemini tuvo mejor media en 9, peor en 13 e igual en 18. Aprobó todos los criterios en 75 de sus 120 ejecuciones. Opus lo hizo en 79, Sonnet en 70 y Fable en 67. Su media más baja en un prompt fue de 3,0 de 5.
• Segunda ronda. Gemini aprobó el 80 % de los criterios, frente al 79 % de Opus, el 78 % de Fable y el 70 % de Sonnet. Frente a Opus, tuvo mejor media en 16 prompts, peor en 15 e igual en 9. Aprobó todos los criterios en 36 de 120 ejecuciones. Opus lo hizo en 35, Fable en 28 y Sonnet en 16. Su media más baja en un prompt fue de 2,67 de 5.
• Lo que esto significa. Con estos prompts bloqueados, Gemini quedó prácticamente igualado con claude-opus-5-5: 1 punto por debajo en la primera ronda y 1 punto por encima en la segunda. Con una muestra así, eso no es un ranking.
• Frente a GPT no es una comparación directa. A gpt-6-astra lo evalúa claude-opus-5-5, un evaluador distinto. En la calibración de Gemini, sobre 10 ejecuciones por ronda, claude-opus-5-5 aprobó el 98 % en la primera ronda y el 88 % en la segunda, mientras que gpt-6-astra aprobó el 92 % y el 86 %, respectivamente. Por eso no conviene comparar sin más el 91 % y el 80 % de Gemini con el 99 % y el 98 % de GPT. Parte de cada una de esas diferencias se debe al evaluador.
• Dónde perdió puntos. Igual que los modelos de Claude: en los límites de palabras (5 veredictos en la primera ronda y 45 en la segunda) y en datos añadidos que no estaban en la entrada.
• Claude Skills. Gemini no se probó con las Claude Skills, porque son un formato de Claude.

¿Cómo probamos las tareas de Excel y Microsoft 365?

El 20 de octubre de 2026 hicimos una ronda aparte con 10 prompts de tareas de oficina: 4 en inglés, 2 en español, 2 en francés y 2 en portugués de Brasil. Seis son de Excel y cuatro de Microsoft 365. No dependen de una profesión concreta. Cada uno tiene 5 criterios, y los 10 incluyen un criterio de SEGURIDAD. Escribimos y bloqueamos las rúbricas antes de la primera ejecución.

• Qué se ejecutó. Los cinco modelos, 3 veces cada prompt: 150 ejecuciones y 750 veredictos. Las 150 ejecuciones se completaron y los 50 resultados por prompt y modelo tienen la etiqueta «probado». Los evaluadores fueron los mismos para cada familia.
• Resultados. claude-opus-5-5 aprobó el 93 % de los criterios, gemini-4-argon-medium el 91 %, claude-fable-5-1 el 88 % y claude-sonnet-5 el 83 %. gpt-6-astra obtuvo el 88 %, pero con su propio evaluador, claude-opus-5-5. En 26 de los 50 resultados por prompt y modelo, al menos una ejecución falló algún criterio. Solo en 1 prompt las 15 ejecuciones aprobaron todos los criterios.
• Por herramienta. En los prompts de Excel, Gemini obtuvo el 97 %, Opus el 96 %, Fable el 92 %, GPT el 87 % y Sonnet el 83 %. En los de Microsoft 365, GPT obtuvo el 90 %, Opus el 88 %, y Sonnet, Fable y Gemini, el 82 %.
• Fórmulas de búsqueda. En los tres prompts de búsqueda que no están en inglés, la rúbrica pedía BUSCARX (RECHERCHEX en francés, PROCX en portugués) o INDEX/MATCH (INDICE/COINCIDIR en la versión en español). Hubo 20 veredictos de suspenso porque la respuesta usó la familia antigua de BUSCARV (RECHERCHEV, PROCV). Puede funcionar con esos datos, pero no cumplía la rúbrica bloqueada. Fueron 9 de Sonnet, 9 de GPT, 1 de Opus, 1 de Fable y 0 de Gemini.
• Actas de reunión. En los dos prompts de actas, 22 veredictos de suspenso se debieron a puntos que la respuesta presentaba como decisiones y que en realidad seguían abiertos.
• Lo que esta ronda no mide. Las respuestas son solo texto. Juzgamos las fórmulas por su lógica y por el resultado que indicaba la respuesta con los datos dados; no las ejecutamos en Excel. Son modelos de chat que responden a una tarea pegada como texto, no Copilot dentro de Excel o de Microsoft 365. Copilot no forma parte de nuestras pruebas.
• GPT, con otro evaluador. La cifra de GPT la puso claude-opus-5-5. En la calibración de esta ronda, sobre 6 ejecuciones de GPT, claude-opus-5-5 aprobó el 87 % y gpt-6-astra, el 90 %. Lea la comparación con GPT con esa calibración en mente.

¿Qué mostró la segunda ronda en español?

El 21 de octubre de 2026, los cinco modelos ejecutaron 3 veces cada uno de los 10 prompts nuevos en español, adaptados a México, España y Colombia. La tabla muestra el porcentaje de criterios aprobados, cuántas de las 30 ejecuciones de cada modelo aprobaron todos los criterios y cuántos veredictos de suspenso se debieron al límite de palabras.

• Cuatro modelos con el mismo evaluador. gpt-6-astra evaluó a Opus, Sonnet, Fable y Gemini, así que entre ellos la comparación es directa. En estos 10 prompts, claude-opus-5-5 quedó claramente por delante de los otros tres, tanto en criterios aprobados como en ejecuciones con todos los criterios.
• GPT, con su propio evaluador. El 98 % de gpt-6-astra lo puso claude-opus-5-5. Léalo con la calibración de esta ronda: sobre las mismas ejecuciones de Claude y de Gemini, gpt-6-astra fue 17 puntos más estricto. Esa cifra no se compara en igualdad de condiciones con las otras cuatro.
• Pocos resultados perfectos. En 38 de los 50 resultados por prompt y modelo, al menos una ejecución falló algún criterio. En ningún prompt las 15 ejecuciones aprobaron todos los criterios.
• Los límites de palabras volvieron a costar puntos, sobre todo a Gemini, Fable y Opus, como muestra la última columna.
• Lo que esto no es. Son solo 10 prompts. No es un ranking de modelos.

Los prompts de esta ronda están en la biblioteca de prompts.

¿Cómo probamos las Claude Skills?

Las Claude Skills de este sitio son paquetes de instrucciones (un archivo SKILL.md) para una profesión. Las probamos en una ronda aparte, con el mismo banco de pruebas. Las Claude Skills se publican con la licencia CC BY 4.0 (Creative Commons Atribución 4.0 Internacional): cualquiera puede usarlas, adaptarlas y compartirlas, también con fines comerciales, siempre que reconozca la autoría, y cada descarga de una skill incluye un archivo LICENSE.txt.

• Qué se probó. 10 skills, una por profesión, cada una en inglés y en español: 20 combinaciones de skill e idioma. Inicialmente, solo en claude-opus-5-5 y claude-sonnet-5, porque las skills son un formato de Claude. Hubo 3 ejecuciones por modelo y combinación, y las evaluó gpt-6-astra, de la otra familia. Más tarde se añadió claude-fable-5-1, con los resultados que se indican en la sección dedicada a Fable.
• Rúbrica antes que skill. Para cada combinación escribimos unos datos de entrada ficticios y una rúbrica de 5 criterios. Las dos cosas quedaron bloqueadas mediante sus hashes antes de escribir las skills.
• Qué falló en la versión 1.0. Las pruebas sacaron a la luz varios defectos. El modelo se detenía a hacer preguntas en lugar de entregar el resultado en una sola respuesta. Citaba en el resultado las fuentes oficiales que la skill recomienda al profesional. También añadía cosas que la entrada no contenía. 12 de los 40 resultados por modelo y combinación quedaron por debajo de 4 de 5, y el más bajo fue de 0,33 de 5.
• Qué cambiamos. Revisamos 8 skills con reglas de comportamiento generales, no con arreglos para cada caso: entregar en una sola respuesta, con las suposiciones señaladas, y no citar en el resultado las fuentes de referencia de la skill. 3 combinaciones de skill e idioma necesitaron una segunda revisión.
• Resultado actual. Las versiones actuales tienen medias de 4,0 a 5,0 de 5, y 27 de los 40 resultados por modelo y combinación llegan a 5 de 5. Son 120 ejecuciones evaluadas sobre el texto actual en Opus y Sonnet.

Las nuevas ejecuciones usaron los mismos datos y las mismas rúbricas bloqueadas que la primera prueba. La mejora está demostrada solo con esas entradas; no se ha demostrado que se mantenga con otras. En esta ronda no hubo calibración con evaluadores intercambiados ni revisión por muestreo del editor. Una skill figura como probada en un modelo solo si al menos 2 de sus 3 ejecuciones sobre el texto actual se completaron y se evaluaron.

¿Cómo probamos las Claude Skills en francés y portugués?

El 21 de octubre de 2026 probamos las adaptaciones de las mismas 10 skills al francés de Francia y al portugués de Brasil: 20 combinaciones de skill e idioma.

• Qué se probó. claude-opus-5-5, claude-sonnet-5 y claude-fable-5-1, 3 ejecuciones por modelo y combinación: 180 ejecuciones sobre los primeros textos. Las evaluó gpt-6-astra.
• Rúbrica antes que adaptación. Para cada combinación escribimos unos datos de entrada ficticios y una rúbrica de 5 criterios. Quedaron bloqueados aparte, mediante sus hashes, antes de escribir las adaptaciones.
• Primeros textos. Las medias fueron de 3,67 a 5,0 de 5. Solo 1 de los 60 resultados por modelo y combinación quedó por debajo de 4 de 5.
• Qué cambiamos. Revisamos 4 adaptaciones con reglas de comportamiento generales. En la solicitud de propuestas a proveedores para organizadores de eventos, en francés y en portugués, los criterios de evaluación quedaban en blanco cuando el encargo no los daba. En la skill de construcción en francés, el plazo de notificación se formulaba con reservas en lugar de indicarse con claridad. En la skill de ventas en francés, no se señalaba una operación con un solo contacto. La de construcción en francés necesitó una segunda revisión (versión 1.2).
• Nueva prueba. Hicimos 45 ejecuciones nuevas con las mismas entradas bloqueadas. Medias antes y después (Opus / Sonnet / Fable):
  • Solicitud de propuestas, francés: 4,0 / 4,0 / 4,0 → 4,33 / 5,0 / 4,67.
  • Solicitud de propuestas, portugués: 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 4,33.
  • Construcción, francés (versión 1.2): 4,0 / 4,0 / 4,0 → 5,0 / 5,0 / 5,0.
  • Ventas, francés: 3,67 / 4,67 / 4,33 → 5,0 / 5,0 / 4,67.
• Resultado actual. Las versiones actuales tienen medias de 4,33 a 5,0 de 5, y 46 de los 60 resultados por modelo y combinación llegan a 5 de 5.

La misma advertencia vale aquí. Las nuevas ejecuciones usaron los mismos datos y las mismas rúbricas bloqueadas que la primera prueba, así que la mejora está demostrada solo con esas entradas. En esta ronda no hubo calibración con evaluadores intercambiados ni revisión por muestreo del editor. Puede ver todas las skills en la biblioteca de skills.

¿Qué hay en el archivo de transcripciones?

El archivo de transcripciones es un ZIP de 9,2 MB con 3015 archivos. Incluye 2052 transcripciones: las 1200 ejecuciones de prompts de las dos rondas con los cinco modelos, las 150 ejecuciones de la ronda de Excel y Microsoft 365, las 150 de la segunda ronda en español, 327 ejecuciones de skills, también de versiones anteriores, y 225 de las skills en francés y portugués. De estas últimas, 180 son sobre los textos actuales y 45 sobre los textos anteriores (v1.0 y v1.1) de las adaptaciones revisadas. Esas 45 se conservan como prueba, en carpetas etiquetadas v1.0/ y v1.1/, junto con los SKILL.md anteriores.

• Cada transcripción con la consulta exacta, la respuesta literal, el id del modelo, la hora de inicio, la duración, el código de salida y el hash de la rúbrica.
• Los veredictos por criterio, con la línea de motivo del evaluador.
• Las rúbricas bloqueadas con sus hashes SHA-256.
• Los archivos de calibración y de revisión por muestreo.
• La ronda de skills: transcripciones, calificaciones y versiones anteriores de los SKILL.md.
• La segunda ronda en español, con su calibración, su revisión por muestreo, sus resultados y su bloqueo de rúbricas.

Hemos quitado las líneas de comandos, los identificadores de sesión y de conversación y las rutas de archivos locales. Los nombres de los proveedores se han reducido al fabricante del modelo (anthropic, openai o google). Todos los datos de entrada son ficticios. Dentro hay un archivo README, en inglés, que explica la estructura.

¿Cómo hacemos nuevas pruebas y corregimos errores?

Cada resultado es un hecho histórico fechado. Cuando sale una versión nueva de un modelo, la añadimos y marcamos los prompts afectados como «pendiente de nueva prueba». Nunca atribuimos un resultado antiguo a un modelo más nuevo. La incorporación de Claude Fable 5.1 y de Gemini 4 Argon el 20 de octubre de 2026 es un ejemplo de esta regla: añadimos los modelos nuevos y conservamos tal cual los registros anteriores. El 21 de octubre de 2026 añadimos una ronda en español con sus propias rúbricas bloqueadas y las Claude Skills en francés y portugués; también revisamos 4 adaptaciones, conservando en el archivo sus versiones anteriores y sus ejecuciones. Puede ver todos los prompts en la biblioteca de prompts. Si encuentra un error, escríbanos desde la página de contacto y lo corregiremos con una nota fechada.