Cada vez que se lanza un modelo de IA, alguien te tira un número a la cara. "Alcanzó 92% en tal benchmark." "Supera a la competencia en tal otro." Suena a veredicto científico, a medición fría y objetiva. Es más bien un boletín de notas con un equipo de marketing detrás.
Durante años vimos esa palabra en cada titular sin detenernos a preguntar qué mide de verdad. Spoiler: bastante menos de lo que el comunicado quiere que creas.
Un ejemplo real, para arrancar sin vueltas. Claude Opus 4.5 sacó 80,9% en un benchmark llamado SWE-bench Verified. El mismo modelo, el mismo día, sacó 45,9% en otro llamado SWE-bench Pro. Treinta y cinco puntos de diferencia. Nadie tocó un parámetro. Solo cambió la prueba. Es como si un alumno rindiera dos exámenes la misma mañana y aprobara uno con honores mientras reprobaba el otro. Spoiler dos: es más o menos lo que pasó.
El alumno que aprobó y reprobó el mismo día
Un benchmark es eso: un examen estandarizado. Un set fijo de tareas con respuestas conocidas que se le toma a cada modelo para contar cuántas resuelve. Útil, necesario, y tan confiable como cualquier examen, o sea: depende por completo de qué se pregunta y quién corrige.
Volvamos a los 35 puntos. SWE-bench Verified son 500 problemas reales de GitHub, tan seleccionados y tan repasados por la industria que a esta altura casi todos los modelos de frontera rozan el 80%. SWE-bench Pro es más nuevo, más difícil, usa repositorios privados y está hecho justamente para que el modelo no lo haya visto nunca. Dos exámenes distintos, con niveles de dificultad de otro planeta. El número solo, sin el nombre de la prueba al lado, no dice absolutamente nada.
Hay una ley que resume todo esto mejor que cualquier tecnicismo. Se llama ley de Goodhart: cuando una métrica se vuelve el objetivo, deja de ser una buena métrica. Traducido: en cuanto un benchmark pasa a ser el número que todos quieren ganar, arranca la carrera por ganarlo, que no es lo mismo que la carrera por mejorar. Y para ganar sin mejorar, hay atajos.
| Truco | Qué pasa | Cómo detectarlo |
|---|---|---|
| Contaminación | La prueba se filtró al entrenamiento: el modelo memoriza en vez de razonar | Cambiá un poco las preguntas. Si el puntaje se desploma, era memoria |
| Saturación | La prueba quedó vieja y todos sacan casi lo mismo | Si los tres mejores están empatados, ya no distingue nada |
| Elección del rival | Deciden contra quién, con qué versión y con qué setup compararse | Preguntá qué versión midieron y si el número es propio o de un tercero |
El que consiguió el examen la noche anterior
El primer atajo es el más básico y el más difícil de probar. Los modelos se entrenan con cantidades absurdas de texto sacado de internet. Si las preguntas de un benchmark (y peor, sus respuestas) andaban dando vueltas por ahí, el modelo no razona cuando responde. Se acuerda. Es, literalmente, el compañero que consiguió una copia del examen la noche anterior y encima quiere que lo felicites por su inteligencia.
¿Cómo se lo caza? Cambiando el examen apenas. Existen versiones modificadas de benchmarks conocidos que alteran un poco los enunciados para que la respuesta de memoria ya no sirva. Cuando un modelo brilla en el original y se hunde en la versión retocada, el diagnóstico es tan incómodo como claro: no sabía, memorizaba.
La carrera donde todos salen campeones
El segundo atajo ni siquiera necesita mala intención, solo que pase el tiempo. Un benchmark que en 2024 separaba a los cracks de los del montón, hoy lo aprueban todos con la gorra puesta. Hay pruebas de conocimiento avanzado donde los cuatro mejores modelos del planeta están estadísticamente empatados arriba. Cuando eso pasa, la prueba ya no separa a nadie: sacar un "récord" ahí tiene el mismo mérito que ganar una carrera en la que sos el único que corre.
Por eso el campo vive fabricando exámenes más difíciles. El salto de Verified a Pro es exactamente eso: el primero se saturó en la banda del 80% y hubo que construir uno que volviera a doler. Un benchmark saturado no miente. Simplemente se quedó sin nada interesante para contar.
El gemelo bueno que mandaron al examen
El tercer atajo es el más sutil y el más poderoso, porque no toca el modelo: toca el marco. Vos elegís contra quién competís, qué versión presentás y hasta con qué andamiaje corrés la prueba.
Ese último punto descoloca a cualquiera. El mismo modelo, en el mismo benchmark, puede moverse entre 15 y 30 puntos según el "scaffold", el sistema de herramientas y contexto que lo rodea mientras responde. Un número medido por el propio fabricante casi siempre sale más alto que el mismo modelo corrido por un tercero independiente con un setup parejo para todos. Los dos son "reales". Ninguno es comparable con el otro. Y casi ninguna nota aclara cuál te está mostrando.
El caso más didáctico lo regaló Meta. En abril de 2025 presentó su modelo Llama 4 con una posición espectacular en LMArena, un ranking donde la gente vota entre respuestas de dos modelos. Detalle no menor: la versión que compitió era una edición "experimental" ajustada para caer simpática a los votantes, con respuestas largas, bien formateadas y con suficientes emojis como para un grupo familiar de WhatsApp. No era la que uno podía descargar. Cuando midieron la versión pública de verdad, se cayó decenas de puestos. Y cuando el propio ranking activó un filtro que ignora el estilo para juzgar solo el contenido, el modelo bajó del segundo al quinto lugar. Para cerrar la novela, en enero de 2026 el propio ex jefe científico de IA de Meta admitió en una entrevista que los resultados "se maquillaron un poco" y que usaron modelos distintos para benchmarks distintos. Rara vez la confesión viene tan prolija.
Y no es cosa solo del texto. En generación de imágenes pasa igual: los rankings tipo Elo donde pelean los modelos visuales se juegan con las mismas reglas, y el que lanza el producto elige qué número te muestra.
El punto
Nada de esto vuelve mentira a los benchmarks ni te da permiso para ignorarlos. Solo significa que no son veredictos, son pistas. Una foto parcial, sacada con la cámara que eligió el fotógrafo, desde el ángulo que mejor lo favorece y con la luz puesta donde conviene.
La próxima vez que un titular te tire un número, hacé las dos preguntas que desarman casi todo el humo: ¿qué mide de verdad esta prueba, y contra quién (y cómo) se compararon? Si la nota no responde ninguna de las dos, ya sabés cuánto pesa ese número. Aproximadamente lo mismo que un boletín escrito por el propio alumno.
En la newsletter de macareno.net desarmamos este tipo de cosas cada semana, sin el filtro del marketing. Si te sirve leer la letra chica antes de comprar el titular, suscribite.
Fuentes
- Claude Opus 4.5 Benchmarks — Vellum
- SWE-bench Pro Leaderboard 2026 — Morph
- Meta accused of Llama 4 bait-n-switch to juice LMArena rank — The Register
- Llama 4 Benchmarks Were 'Fudged'. Yann LeCun Confirmed It. — Webcoda
- Meta's Llama 4 models show promise on standard tests, but struggle with long-context tasks — The Decoder