Toda vez que um modelo de IA é lançado, alguém joga um número na sua cara. "Atingiu 92% em tal benchmark." "Supera a concorrência em tal outro." Soa como veredito científico, medição fria e objetiva. É mais um boletim de notas com um time de marketing por trás.
Durante anos vimos essa palavra em cada manchete sem parar para perguntar o que ela mede de verdade. Spoiler: bem menos do que o comunicado quer que você acredite.
Um exemplo real, para começar sem rodeios. O Claude Opus 4.5 tirou 80,9% num benchmark chamado SWE-bench Verified. O mesmo modelo, no mesmo dia, tirou 45,9% em outro chamado SWE-bench Pro. Trinta e cinco pontos de diferença. Ninguém mexeu num parâmetro. Só mudou a prova. É como se um aluno fizesse duas provas na mesma manhã e passasse numa com louvor enquanto reprovava na outra. Spoiler dois: foi mais ou menos o que aconteceu.
O aluno que passou e reprovou no mesmo dia
Um benchmark é isso: uma prova padronizada. Um conjunto fixo de tarefas com respostas conhecidas que se aplica a cada modelo para contar quantas ele resolve. Útil, necessário, e tão confiável quanto qualquer prova, ou seja: depende inteiramente do que se pergunta e de quem corrige.
Voltemos aos 35 pontos. O SWE-bench Verified são 500 problemas reais do GitHub, tão selecionados e tão repassados pela indústria que a esta altura quase todos os modelos de fronteira encostam nos 80%. O SWE-bench Pro é mais novo, mais difícil, usa repositórios privados e foi feito justamente para que o modelo nunca o tenha visto. Duas provas diferentes, com níveis de dificuldade de outro planeta. O número sozinho, sem o nome da prova ao lado, não diz absolutamente nada.
Existe uma lei que resume tudo isso melhor do que qualquer tecnicismo. Chama-se lei de Goodhart: quando uma métrica vira o objetivo, deixa de ser uma boa métrica. Traduzindo: assim que um benchmark passa a ser o número que todos querem ganhar, começa a corrida por ganhá-lo, que não é a mesma coisa que a corrida por melhorar. E para ganhar sem melhorar, há atalhos.
| Truque | O que acontece | Como detectar |
|---|---|---|
| Contaminação | A prova vazou para o treino: o modelo decora em vez de raciocinar | Mude um pouco as perguntas. Se a nota despenca, era memória |
| Saturação | A prova ficou velha e todos tiram quase a mesma nota | Se os três melhores estão empatados, ela já não distingue nada |
| Escolha do rival | Decidem contra quem, com qual versão e com qual setup se comparar | Pergunte qual versão mediram e se o número é próprio ou de terceiros |
O que conseguiu a prova na noite anterior
O primeiro atalho é o mais básico e o mais difícil de provar. Os modelos são treinados com quantidades absurdas de texto tirado da internet. Se as perguntas de um benchmark (e pior, as respostas) estavam circulando por aí, o modelo não raciocina quando responde. Ele lembra. É, literalmente, o colega que conseguiu uma cópia da prova na noite anterior e ainda quer que você o parabenize pela inteligência.
Como pegá-lo? Mudando a prova de leve. Existem versões modificadas de benchmarks conhecidos que alteram um pouco os enunciados para que a resposta decorada não sirva mais. Quando um modelo brilha no original e afunda na versão retocada, o diagnóstico é tão incômodo quanto claro: não sabia, decorava.
A corrida onde todo mundo é campeão
O segundo atalho não precisa nem de má intenção, só que o tempo passe. Um benchmark que em 2024 separava os craques dos medianos, hoje todos passam de olhos fechados. Há provas de conhecimento avançado onde os quatro melhores modelos do planeta estão estatisticamente empatados no topo. Quando isso acontece, a prova já não separa ninguém: bater um "recorde" ali tem o mesmo mérito de ganhar uma corrida em que você é o único a correr.
Por isso o campo vive fabricando provas mais difíceis. O salto do Verified para o Pro é exatamente isso: o primeiro saturou na faixa dos 80% e foi preciso construir um que voltasse a doer. Um benchmark saturado não mente. Simplesmente ficou sem nada interessante para contar.
O gêmeo bom que mandaram para a prova
O terceiro atalho é o mais sutil e o mais poderoso, porque não mexe no modelo: mexe no enquadramento. Você escolhe contra quem compete, qual versão apresenta e até com qual estrutura roda a prova.
Esse último ponto desmonta qualquer um. O mesmo modelo, no mesmo benchmark, pode variar entre 15 e 30 pontos conforme o "scaffold", o sistema de ferramentas e contexto que o envolve enquanto ele responde. Um número medido pelo próprio fabricante quase sempre sai mais alto do que o mesmo modelo rodado por um terceiro independente com um setup igual para todos. Os dois são "reais". Nenhum é comparável com o outro. E quase nenhuma matéria esclarece qual está mostrando.
O caso mais didático foi presente da Meta. Em abril de 2025 ela apresentou seu modelo Llama 4 com uma posição espetacular no LMArena, um ranking onde as pessoas votam entre respostas de dois modelos. Detalhe nada pequeno: a versão que competiu era uma edição "experimental" ajustada para cair no gosto dos votantes, com respostas longas, bem formatadas e com emojis suficientes para um grupo de família no WhatsApp. Não era a que qualquer um podia baixar. Quando mediram a versão pública de verdade, ela caiu dezenas de posições. E quando o próprio ranking ativou um filtro que ignora o estilo para julgar só o conteúdo, o modelo desceu do segundo para o quinto lugar. Para fechar a novela, em janeiro de 2026 o próprio ex-cientista-chefe de IA da Meta admitiu numa entrevista que os resultados "foram maquiados um pouco" e que usaram modelos diferentes para benchmarks diferentes. Raramente a confissão vem tão bem passada a ferro.
E não é coisa só do texto. Na geração de imagens acontece igual: os rankings tipo Elo onde os modelos visuais se enfrentam se jogam com as mesmas regras, e quem lança o produto escolhe qual número te mostra.
O ponto
Nada disso transforma os benchmarks em mentira nem te dá permissão para ignorá-los. Só significa que eles não são veredictos, são pistas. Uma foto parcial, tirada com a câmera que o fotógrafo escolheu, do ângulo que mais o favorece e com a luz posta onde convém.
Da próxima vez que uma manchete te jogar um número, faça as duas perguntas que desarmam quase toda a fumaça: o que essa prova mede de verdade, e contra quem (e como) se compararam? Se a matéria não responde nenhuma das duas, você já sabe quanto pesa esse número. Aproximadamente o mesmo que um boletim escrito pelo próprio aluno.
Na newsletter da macareno.net a gente desmonta esse tipo de coisa toda semana, sem o filtro do marketing. Se te serve ler as letras miúdas antes de comprar a manchete, assine.
Fontes
- Claude Opus 4.5 Benchmarks — Vellum
- SWE-bench Pro Leaderboard 2026 — Morph
- Meta accused of Llama 4 bait-n-switch to juice LMArena rank — The Register
- Llama 4 Benchmarks Were 'Fudged'. Yann LeCun Confirmed It. — Webcoda
- Meta's Llama 4 models show promise on standard tests, but struggle with long-context tasks — The Decoder