Como o LLM Live funciona

Cada diagnóstico neste site segue regras públicas que você pode conferir aqui. Nenhum provedor paga por destaque, e os critérios abaixo são exatamente os mesmos usados no código.

Status

Um veredito a partir de quatro sinais. O pior vence.

Nossas verificações: Onde temos uma chave de API, um worker envia uma pequena requisição em streaming (contar de 1 a 20, no máximo 80 tokens) para a API do próprio provedor a cada 60–120 segundos e registra o tempo até o primeiro token e os tokens por segundo. Uma verificação com falha é repetida duas vezes, com intervalo de 20 segundos. Limites de taxa e erros na nossa própria infraestrutura são desconsiderados. A página de cada serviço indica se nossas verificações estão ativas para ele.
Regras: Últimas 3 verificações falharam → Instabilidade total. Ao menos metade das verificações em 10 minutos falhou → Instabilidade parcial. Ao menos 20% falhou, ou a mediana do tempo até o primeiro token é superior a 3 s e 3× mais lenta que sua mediana de 24 horas → Desempenho degradado.
Páginas oficiais de status: Consultadas a cada minuto. Um status com mais de 15 minutos é ignorado, evitando que uma página travada mantenha um serviço verde ou vermelho.
Via OpenRouter: O OpenRouter publica a proporção de requisições bem-sucedidas para cada provedor de cada modelo. Se ao menos 2 modelos nos endpoints do próprio provedor, e ao menos metade deles, ficarem abaixo de 80% ao longo de 30 minutos e 10 pontos abaixo do nível de 24 horas → Desempenho degradado; abaixo de 50% na média → Instabilidade parcial. Se 3 ou mais provedores falharem ao mesmo tempo, o problema é do OpenRouter e o sinal é ignorado.
Relatos de usuários: Ao menos 10 relatos em 15 minutos e ao menos 4× a taxa habitual → Desempenho degradado. Relatos isolados nunca marcam um serviço como fora do ar.
Recuperação e alertas: O estado é reavaliado a cada 30 segundos. Um serviço só volta para Operacional após 3 minutos sem problemas, evitando que uma API oscilante dispare alertas em excesso. Os alertas são enviados quando um problema começa, piora e termina.
Barras: Cada barra representa 30 minutos, colorida pelo pior estado no período. Cinza significa sem dados. A disponibilidade é a proporção de barras sem problemas.

Modelos e preços

Todos os preços vêm de uma API pública e são verificados a cada 5 minutos.

Fonte: O catálogo de modelos, preços e janelas de contexto vêm da API pública do OpenRouter. Os preços são por 1M tokens conforme listados pelo OpenRouter, o que geralmente coincide com o preço oficial do provedor, mas nem sempre.
Histórico de preços: Guardamos um snapshot a cada 5 minutos e registramos cada alteração, para que reduções de preço e modelos novos ou descontinuados apareçam no feed de notícias em poucos minutos.
Onde executar: O número de provedores distintos que disponibilizam um modelo no OpenRouter. Níveis flex, batch, prioridade e spot não são contados, pois costumam ficar indisponíveis por definição.

Arena de xadrez

Modelos jogam entre si. Uma engine de xadrez garante a pontuação correta.

Um lance: O modelo recebe a posição (FEN) e a lista de lances e responde com uma jogada e um breve comentário. A legalidade é verificada com chess.js. Após um lance ilegal, o modelo recebe a lista de lances válidos e tenta de novo; o terceiro lance ilegal perde a partida. Três respostas seguidas sem um lance válido perdem por tempo.
Orçamento de raciocínio: O raciocínio é limitado a 1024 tokens por lance para que a partida custe centavos. Isso reduz a força de modelos de raciocínio avançado, portanto a arena compara modelos sob o mesmo orçamento restrito, não no seu potencial máximo.
Rating: Glicko-2, que leva em conta o nível de incerteza da pontuação. O ranking é ordenado pelo rating menos dois desvios padrão, uma estimativa conservadora. O modelo permanece provisório até completar 10 partidas. Os emparelhamentos priorizam modelos com menos partidas e ratings próximos.
Precisão: O Stockfish avalia cada posição na profundidade 14. Uma queda na chance de vitória de 5, 10 ou 15 pontos é classificada como imprecisão, erro ou erro grave (blunder); a precisão utiliza a fórmula do Lichess.
Partidas não ranqueadas: Uma partida interrompida por falhas na API do provedor não é ranqueada. Uma partida também pode ser anulada manualmente, com o motivo publicado.

Votos humanos

Você escolhe a melhor entre duas respostas anônimas. Um modelo Bradley–Terry transforma os votos em ratings.

Uma batalha: Seu prompt é enviado a dois modelos diferentes, sorteados de um conjunto de cerca de 20 modelos atuais de vários laboratórios; os lados são alternados e os nomes permanecem ocultos até o seu voto. Modelos e pares com menos votos são sorteados com mais frequência; modelos topo de linha mais caros, com menos. Cada resposta é limitada a 1024 tokens com raciocínio desativado, ou a 512 tokens quando não é possível desativá-lo, comparando respostas rápidas do dia a dia, e não o potencial máximo de cada modelo.
Votos: Só é possível votar depois que ambas as respostas forem concluídas, e apenas uma vez por batalha. Um voto para A ou B conta como vitória para esse modelo; empate e "ambas são ruins" contam como meia vitória para cada lado, assim como no LMArena. Batalhas em que um modelo falhou ao responder são desconsideradas.
Rating: Um modelo Bradley–Terry é ajustado a todos os votos simultaneamente, de forma que, ao contrário do Elo, a ordem dos votos não importa. O resultado é exibido na escala Elo: uma diferença de 400 pontos indica uma probabilidade de preferência de 10:1, e o modelo mediano fica fixado em 1000. Um prior suave (um empate virtual por modelo) mantém o rating finito para modelos que ainda não perderam.
Confiabilidade: O intervalo de 95% é calculado a partir de 100 reamostragens bootstrap dos votos. A posição é 1 mais o número de modelos cujo intervalo completo está acima do intervalo deste modelo; portanto, modelos com intervalos sobrepostos dividem a mesma posição. Modelos com menos de 20 votos aparecem no final da lista. Tudo é recalculado a cada 10 minutos.
Categorias: Um modelo de linguagem menor classifica os prompts votados em programação, matemática, escrita criativa, conselhos e tutoriais, fatos e conhecimentos ou outros, além de detectar o idioma; o painel de prompts em russo usa apenas perguntas em russo. Um modelo passa a aparecer em uma categoria assim que atinge ao menos 20 votos nela.
Ressalvas: Qualquer pessoa pode votar, de forma anônima. Limites por visitante (8 batalhas por hora, 40 por dia, identificados por um hash com salt do endereço IP) e um orçamento diário encarecem manipulações em massa, mas não as impedem totalmente. As pessoas avaliam tanto o estilo quanto o conteúdo: respostas mais longas e bem formatadas costumam vencer. Os prompts são mantidos para categorização e podem ser publicados de forma agregada; endereços IP brutos nunca são armazenados.

Debates

Dois modelos debatem um tema em três rodadas. Um juiz de IA avalia duas vezes e, em seguida, os visitantes votam.

Temas: Cerca de 40 temas selecionados em cinco áreas: tecnologia e IA, sociedade, ciência, ética e assuntos do cotidiano, formulados em inglês e em russo. Deixamos de fora eleições e candidatos, religião contra religião e qualquer pauta voltada contra grupos de pessoas. O próximo tema é o menos utilizado que não esteve entre os últimos dez; a cada três debates, um é realizado em russo.
Debatedores: Dois modelos diferentes selecionados a partir do grupo de cerca de 20 modelos ativos nas batalhas. Modelos com menos debates e confrontos menos frequentes são sorteados com mais regularidade; modelos topo de linha mais caros, com menos frequência. Os lados são sorteados aleatoriamente, de modo que o modelo não escolhe o posicionamento com o qual "concorda". Um modelo com falhas consecutivas fica pausado por 2 horas, ou por 24 horas após erros de conta ou do próprio modelo. Um novo debate começa entre 30 e 60 minutos após o término do anterior, conforme o limite do orçamento diário.
Personas: Desde 29 de outubro de 2026, os modelos debatem interpretando personagens: duas personas escolhidas entre um elenco de dez figuras fictícias (sem pessoas reais, políticos ou figuras religiosas), cada uma com estilo próprio de fala. As personas são sorteadas separadamente dos modelos, priorizando as que têm menos debates. Cada uma possui memória: seu histórico geral, o confronto direto contra o oponente atual, notas curtas sobre os últimos três debates e uma frase marcante, tudo inserido em seu prompt. Um modelo leve (Qwen Flash) escreve as notas após cada debate; elas passam pela mesma moderação das falas, e uma citação só é mantida se aparecer textualmente nas falas da própria persona. O ranking de personas utiliza os vereditos do juiz com a mesma metodologia; o juiz é instruído a avaliar os argumentos, não a atuação do personagem.
Rodadas: Seis turnos em alternância estrita: declarações de abertura, réplicas e considerações finais. O lado A favor fala primeiro em todas as rodadas e o Contra responde, garantindo ao Contra a palavra final. Cada debatedor visualiza o tema, seu posicionamento e a transcrição completa até o momento, dispondo de no máximo 250 palavras (600 tokens, 800 em russo) com o raciocínio desativado, ou limitado a 512 tokens quando não for possível desativá-lo. Os modelos são orientados a não inventar dados estatísticos ou citações e a não revelar a própria identidade.
Moderação: Cada turno é inspecionado antes de ser exibido: pelo Llama Guard 4, um classificador de segurança compacto, contando com um modelo geral leve como contingência. Se um turno for sinalizado, seu texto é substituído por "removido pela moderação", o debate é interrompido imediatamente e o confronto não conta para nenhum rating.
Juiz: Um modelo leve de um laboratório diferente de ambos os debatedores (Claude Haiku, DeepSeek Flash ou Qwen Flash) analisa os discursos agrupados por lado, sem os nomes dos modelos. Ele pontua cada lado de 1 a 10 nos quesitos argumentação, réplica e clareza, definindo o vencedor com uma breve justificativa. A avaliação é feita duas vezes: uma lendo os discursos de A favor primeiro e outra começando por Contra, já que avaliadores baseados em LLMs costumam favorecer o primeiro texto lido. Uma vitória só é confirmada se ambos os julgamentos coincidirem; caso contrário, o veredito é empate.
Visitantes: Ao término de um debate, qualquer pessoa pode votar em A favor, Contra ou Empate por até 7 dias: um voto por debate por visitante (usando hash com salt do IP, nunca o endereço real) e no máximo 30 votos por hora. Os resultados parciais são revelados após o voto, assim como o veredito do juiz de IA, a menos que você opte por vê-lo antes. Um debate entra no ranking da comunidade assim que atinge ao menos 5 votos; a opção mais votada define o resultado, e a igualdade entre A favor e Contra é computada como empate.
Ratings: Dois rankings Bradley–Terry com a mesma metodologia dos votos nas batalhas: um baseado nas decisões dos juízes e outro na maioria dos votos dos visitantes; um empate equivale a meia vitória para cada lado. Todos os resultados são calculados em conjunto, portanto a ordem cronológica dos debates não interfere e debates anulados são simplesmente descartados. Escala Elo com o modelo mediano posicionado em 1000, intervalo de confiança de 95% obtido com 100 reamostragens bootstrap, e modelos com menos de 10 debates ranqueados listados ao final. Recalculado a cada 15 minutos.
Ressalvas: Este formato mede a capacidade de argumentação sob restrições severas, e não o conhecimento factual ou a veracidade: um modelo pode vencer defendendo com maestria uma tese fraca. O juiz é um modelo compacto suscetível aos seus próprios vieses, como preferência por um tom mais assertivo; alternar a ordem de leitura elimina o viés posicional, mas não todas as distorções. Determinados temas podem favorecer um dos lados, contudo a distribuição aleatória equilibra as condições ao longo de múltiplos debates.

Arena de código

Modelos resolvem o mesmo desafio em Python ou JavaScript. Testes ocultos decidem; a velocidade só desempata.

Tarefas: 71 tarefas selecionadas: 12 fáceis, 21 médias e 38 difíceis. As mais simples abrangem algoritmos clássicos e manipulação de strings e dados (CSV, versões, logs, caminhos JSON); as difíceis exigem algoritmos avançados ou implementação minuciosa: segment trees com propagação preguiçosa, fluxo máximo e emparelhamento, autômatos de sufixos, programação dinâmica com máscara de bits e em árvores, geometria analítica com inteiros exatos, um pequeno interpretador, livro de ofertas, escalonador de tarefas. Cada problema conta com enunciado, assinatura da função, exemplos visíveis, de 6 a 19 testes ocultos com casos de borda e, em 66 deles, entradas grandes sujeitas a limite de tempo. As saídas esperadas vêm de soluções de referência validadas contra força bruta em milhares de pequenas entradas aleatórias. O limite de tempo equivale ao dobro da execução mais lenta entre três rodadas no sandbox da solução de referência e de uma solução clássica de livro, mais 100 ms: o algoritmo correto passa com folga, um quadrático estoura o tempo. Seis em cada dez rodadas usam tarefas difíceis, três médias e uma fácil; dentro do nível, escolhe-se a tarefa menos usada fora das últimas dez.
Uma rodada: Quatro modelos de um grupo de cerca de 20 modelos focados em código, um por laboratório sempre que possível, recebem o desafio simultaneamente com raciocínio desativado (ou limitado a 1024 tokens quando obrigatório) e até 2048 tokens de resposta, sendo 4096 nas tarefas difíceis. Cerca de duas em cada três rodadas rodam em Python 3.12 e uma em JavaScript (Node.js 24) em uma das 65 tarefas cujas entradas e resultados são suportados no JavaScript sem perdas (sem inteiros além de 2^53); o JavaScript passa pelos mesmos testes e limites de tempo, com assinatura e exemplos adaptados à linguagem. Os modelos respondem com um bloco de código; extraímos o bloco que declara a função requerida. O tempo de resposta é medido do envio da requisição até a resposta completa e serve apenas para consulta. Uma nova rodada começa de 20 a 30 minutos após a anterior, enquanto durar o orçamento diário.
Sandbox: Cada solução é executada uma vez em um contêiner limpo sob o gVisor: sem acesso à rede, sistema de arquivos em modo somente leitura, 512 MB de memória para o contêiner (cerca de 380 MB livres para o código Python; no JavaScript, heap de 192 MB mais buffers), um núcleo de CPU, limite de 64 processos, pasta temporária de 16 MB e restrição no volume de saída no terminal. O código roda em processo exclusivo; um processo executor independente submete um teste por vez e cronometra cada chamada externamente, do envio dos parâmetros à entrega total do retorno, impedindo que o código acesse ou manipule o relógio do sistema. Testes que excedem o tempo limite ou causam falha no processo são encerrados, e os demais são executados em um novo processo. As saídas esperadas nunca entram no contêiner: o executor calcula e devolve o hash de cada resultado, conferido do lado de fora. Exemplos públicos exibem o que o código retornou; dados de entrada e saídas dos testes ocultos nunca são revelados.
Pontuação: Uma tarefa é considerada resolvida quando passa em todos os testes, incluindo entradas grandes dentro dos limites de tempo. Em cada rodada, cada par de modelos forma um duelo decidido pelo percentual de testes concluídos com sucesso. A velocidade só entra em jogo em caso de empate exato: o código cujo tempo total de execução no sandbox for menor em pelo menos 25% e 20 ms vence; do contrário, declara-se empate. O tempo que o modelo levou para formular a resposta nunca é considerado. Até 28 de outubro de 2026, o tempo de resposta servia de desempate entre soluções corretas; todos os ratings foram recalculados a partir do histórico de rodadas sob os critérios vigentes.
Rating: Bradley–Terry aplicado a todos os duelos em conjunto, pelo mesmo método dos votos de batalhas: escala Elo com o modelo mediano fixado em 1000, intervalo de confiança de 95% derivado de 100 reamostragens bootstrap, e modelos com menos de 10 rodadas ranqueadas posicionados ao final da tabela. Modelos que não responderem devido a falhas no provedor são desconsiderados daquela rodada e pausados por 2 horas, ou por 24 horas caso ocorra erro de conta ou do próprio modelo.
Ressalvas: O rating avalia uma única tentativa por problema (pass@1), sem permissão para executar ou depurar o código previamente, refletindo a precisão imediata sob limite rígido de tokens, e não a capacidade máxima do modelo com ferramentas. O tempo de execução é registrado em um servidor compartilhado, portanto oscilações mínimas são desconsideradas como ruído; por essa razão, apenas diferenças substanciais desempatam. Os limites de tempo foram calibrados tomando o Python como base, sendo consequentemente mais tolerantes no JavaScript, que tende a rodar mais rápido. Os enunciados estão disponíveis apenas em inglês e, com um total de 71 desafios, haverá repetições; determinados modelos podem ter absorvido problemas idênticos ou semelhantes em sua base de treino.
Segunda chance: O modelo cujo código falhar em qualquer verificação recebe mais um turno contendo o código gerado e o relatório de execução: total de testes aprovados, cada exemplo público com falha acompanhado do valor retornado versus esperado ou do erro gerado e, no caso de testes ocultos e de carga, apenas a contagem de reprovações e o tipo de erro, sem expor os parâmetros de entrada. O novo código é submetido à mesma bateria de testes. O resultado é exibido abaixo da resposta original e no ranking com a indicação de corrigido / nova tentativa, sem alterar a pontuação ou as posições no leaderboard.

Gráficos

Os gráficos de mercado usam apenas os dados que já coletamos. Onde a amostra é pequena, o gráfico avisa.

Preço vs qualidade: O preço é o valor ponderado por 1M tokens na proporção de 3 tokens de entrada para 1 token de saída, o padrão aplicado em todo o site, em escala logarítmica; modelos gratuitos ficam de fora. A qualidade reflete o rating dos votos humanos (Bradley–Terry) assim que ao menos 5 modelos atingem 20+ votos; do contrário, adota-se o rating de xadrez (Glicko-2), permitindo alternar entre eles. Um modelo atinge a fronteira de Pareto quando nenhum concorrente mais em conta possui nota superior. Havendo menos de 3 ratings consolidados, a fronteira inclui notas provisórias, com o aviso correspondente no gráfico. Não incorporamos pontuações de rankings de terceiros.
Datas de lançamento: O trimestre de um modelo corresponde à data de sua inclusão no catálogo do OpenRouter, o que normalmente ocorre poucos dias após o lançamento oficial. Versões identificadas por data de um mesmo modelo ("0902") não são contabilizadas de forma separada. O catálogo lista unicamente modelos que continuavam ativos quando iniciamos o monitoramento em outubro de 2026; trimestres anteriores, portanto, não contêm modelos descontinuados antes dessa data.
Países: Cada autor cadastrado no OpenRouter é mapeado para o país da sede do laboratório por meio de uma tabela interna em nossa aplicação. Desenvolvedores independentes de fine-tuning, lançamentos não divulgados oficialmente e laboratórios sem localização confirmada entram na categoria Outros / desconhecido. Nenhum laboratório russo (Yandex, Sber GigaChat, T-Bank) integra o catálogo do OpenRouter até o momento, razão pela qual a Rússia não consta nos gráficos.
Pesos abertos: Um modelo é considerado de pesos abertos (open weights) quando o OpenRouter fornece o link de um repositório no Hugging Face (hugging_face_id), sendo classificado como proprietário nos demais casos. Isso indica apenas a disponibilidade pública dos pesos, e não necessariamente uma licença de código aberto: muitos modelos com pesos públicos impõem restrições de uso comercial.
Volume de tokens: O OpenRouter divulga contagens diárias de tokens por modelo e totais semanais por organização (os nove primeiros colocados; os demais consolidados em um grupo) sob a licença CC BY 4.0. Coletamos essas métricas a cada 6 horas, salvamos um histórico consolidado de 7 dias de cada modelo por dia e aguardamos o término da semana em andamento para incluí-la. Trata-se da fatia de tokens transacionada dentro do OpenRouter, e não da totalidade do mercado: acessos diretos via API oficial, interfaces de chat e acordos corporativos não entram na conta, e alternativas de baixo custo, gratuitas ou voltadas para uso intensivo em agentes têm peso maior nessa plataforma. Os dados derivam dos registros internos da página de ranking do OpenRouter, e não de uma API formalmente documentada; havendo mudanças na origem, os gráficos preservam os últimos registros disponíveis.
Dados abertos: Todos os dados exibidos na página de gráficos estão disponíveis em formato JSON na rota /api/v1/charts.

Notícias

Primeiro os nossos próprios dados, depois as publicações oficiais dos provedores.

Nossos eventos: Lançamento de modelos, oscilações de preço, encerramento de serviços, incidentes e novos líderes da arena são gerados diretamente dos registros descritos acima, sem intervenção editorial.
Fontes externas: Blogs oficiais dos provedores via RSS, novidades de lançamentos no GitHub das ferramentas mais relevantes e postagens sobre IA com ao menos 150 pontos no Hacker News, com varredura a cada 15 minutos.
Curadoria: Um modelo de linguagem compacto formula a manchete e um resumo em uma linha, classifica o nível de importância de 1 a 5 e identifica itens duplicados. O processamento analisa estritamente o título e a prévia do RSS, sem carregar a íntegra da matéria, e todas as publicações incluem link direto para a fonte.

Limitações

O que esta plataforma ainda não consegue monitorar.

Localização única: As verificações partem de um servidor localizado na Finlândia. Instabilidades regionais em outros pontos do globo podem passar despercebidas, enquanto oscilações de rota na nossa infraestrutura podem se assemelhar a falhas no provedor; por isso, um único sinal nunca define o status de forma isolada quando os outros apontam estabilidade.
Nem todas as APIs: Algumas empresas não oferecem página de status em formato legível por máquina, e nossas sondagens ativas demandam uma chave de API para cada plataforma. Onde nenhum dos dois recursos está disponível, o diagnóstico se apoia exclusivamente no histórico do OpenRouter e nas notificações dos usuários.
Dados abertos: O status em tempo real de cada serviço é disponibilizado publicamente em JSON em /api/v1/status, de forma gratuita e sem necessidade de autenticação.