Come funziona LLM Live

Ogni verdetto su questo sito segue regole trasparenti che puoi leggere qui sotto. Nessun fornitore paga per il posizionamento e i criteri indicati sono esattamente quelli usati dal codice.

Stato

Un verdetto da quattro segnali. Vince il peggiore.

I nostri controlli: Dove abbiamo una chiave API, un worker invia una minuscola richiesta in streaming (conteggio da 1 a 20, al massimo 80 token) all'API diretta del fornitore ogni 60–120 secondi e registra il tempo al primo token e i token al secondo. Un controllo non riuscito viene ritentato due volte, a distanza di 20 secondi. Limiti di frequenza ed errori nella nostra infrastruttura non vengono conteggiati. La pagina di ogni servizio indica se i nostri controlli sono attivi.
Regole: Ultimi 3 controlli falliti → Major outage. Almeno la metà dei controlli negli ultimi 10 minuti falliti → Partial outage. Almeno il 20% falliti, o la mediana del tempo al primo token supera i 3 s ed è 3 volte più lenta della sua mediana nelle 24 ore → Degraded.
Pagine di stato ufficiali: Interrogate ogni minuto. Uno stato più vecchio di 15 minuti viene ignorato, così una pagina bloccata non può mantenere un servizio verde o rosso.
Tramite OpenRouter: OpenRouter pubblica la percentuale di richieste andate a buon fine per ogni provider di ogni modello. Se almeno 2 modelli sugli endpoint diretti del fornitore, e almeno la metà di essi, scendono sotto l'80% nell'arco di 30 minuti e 10 punti sotto il loro livello nelle 24 ore → Degraded; sotto il 50% in media → Partial outage. Se 3 o più fornitori falliscono contemporaneamente, il problema è di OpenRouter e il segnale viene ignorato.
Segnalazioni degli utenti: Almeno 10 segnalazioni in 15 minuti e almeno 4 volte la frequenza normale → Degraded. Le segnalazioni da sole non indicano mai un servizio come fuori servizio.
Ripristino e avvisi: Lo stato viene rivalutato ogni 30 secondi. Un servizio torna a Operational solo dopo 3 minuti senza problemi, evitando che un'API instabile invii avvisi a raffica. Gli avvisi vengono inviati quando un problema inizia, peggiora e si risolve.
Barre: Ogni barra rappresenta 30 minuti, colorata in base allo stato peggiore registrato. Il grigio indica assenza di dati. L'uptime è la quota di barre senza problemi.

Modelli e prezzi

Ogni prezzo proviene da un'API pubblica e viene verificato ogni 5 minuti.

Fonte: Il catalogo dei modelli, i prezzi e le finestre di contesto provengono dall'API pubblica di OpenRouter. I prezzi sono per 1M di token come indicati da OpenRouter, che di solito corrispondono al prezzo del fornitore, ma non sempre.
Cronologia prezzi: Salviamo uno snapshot ogni 5 minuti e registriamo ogni variazione, così i ribassi di prezzo e i modelli nuovi o dismessi appaiono nel feed delle notizie entro pochi minuti.
Dove puoi eseguirlo: Il numero di provider distinti che offrono un modello su OpenRouter. I livelli flex, batch, priority e spot non sono conteggiati, poiché sono spesso non disponibili per progettazione.

Arena di scacchi

I modelli giocano tra loro. Un motore scacchistico garantisce l'onestà del punteggio.

Una mossa: Il modello riceve la posizione (FEN) e la lista delle mosse e risponde con una mossa e un breve commento. La legalità è verificata con chess.js. Dopo una mossa illegale il modello riceve la lista delle mosse legali e riprova; la terza mossa illegale comporta la sconfitta. Tre risposte consecutive senza alcuna mossa comportano la sconfitta per tempo.
Budget di pensiero: Il ragionamento è limitato a 1024 token per mossa, così una partita costa pochi centesimi. Questo sottostima la forza dei modelli di ragionamento, quindi l'arena confronta i modelli a parità di budget ridotto, non al loro massimo potenziale.
Punteggio: Glicko-2, che tiene conto del grado di incertezza di un rating. La classifica è ordinata per rating meno due deviazioni, una stima prudenziale. Un modello è provvisorio finché non ha giocato 10 partite. Gli accoppiamenti favoriscono i modelli con meno partite e punteggi vicini.
Accuratezza: Stockfish valuta ogni posizione a profondità 14. Un calo della probabilità di vittoria di 5, 10 o 15 punti è un'imprecisione, un errore o una svista; l'accuratezza usa la formula di Lichess.
Partite non valide: Una partita che si interrompe per errori delle API del provider non viene valutata. Una partita può anche essere annullata manualmente, pubblicandone il motivo.

Voti umani

Scegli la migliore tra due risposte anonime. Un modello Bradley–Terry trasforma i voti in punteggi.

Una sfida: Il tuo prompt viene inviato a due modelli diversi scelti da un gruppo di circa 20 modelli attuali di una dozzina di laboratori; i lati vengono mescolati e i nomi restano nascosti finché non voti. Modelli e coppie con meno voti vengono estratti più spesso, i modelli di punta costosi meno spesso. Ogni risposta è limitata a 1024 token con ragionamento disattivato, o a 512 token dove non è possibile disattivarlo, così la sfida confronta risposte rapide quotidiane, non ogni modello al massimo sforzo.
Voti: Puoi votare solo quando entrambe le risposte sono complete, e solo una volta per sfida. Un voto per A o B è una vittoria per quel modello; un pareggio e "entrambi pessimi" contano come mezza vittoria per parte, come su LMArena. Le sfide in cui un modello non ha risposto non vengono conteggiate.
Punteggio: Un modello Bradley–Terry viene adattato a tutti i voti contemporaneamente, quindi, a differenza dell'Elo, l'ordine dei voti non conta. È mostrato sulla scala Elo: un distacco di 400 punti indica una probabilità di 10 a 1 di essere preferito, e il modello mediano è fissato a 1000. Un prior debole (un pareggio virtuale per modello) mantiene il rating finito per un modello che non ha ancora mai perso.
Confidenza: L'intervallo del 95% deriva da 100 ricampionamenti bootstrap dei voti. La posizione è 1 più il numero di modelli il cui intero intervallo si trova al di sopra di quello del modello in questione, quindi i modelli con intervalli sovrapposti condividono la stessa posizione. I modelli con meno di 20 voti sono elencati dopo gli altri. Tutto viene ricalcolato ogni 10 minuti.
Categorie: Un piccolo modello linguistico classifica i prompt votati in codice, matematica, scrittura creativa, consigli e guide, conoscenza e fatti o altro, e rileva la lingua; la classifica dei prompt in russo usa solo prompt in russo. Un modello appare in una categoria non appena ottiene almeno 20 voti in essa.
Avvertenze: Chiunque può votare, in modo anonimo. Limiti per visitatore (8 sfide all'ora, 40 al giorno, conteggiati tramite hash con salt dell'indirizzo IP) e un budget giornaliero rendono costosa la manipolazione dei voti ma non possono escluderla del tutto. Le persone giudicano sia lo stile che la sostanza: le risposte più lunghe e ben formattate tendono a vincere. I prompt vengono conservati per le categorie e possono essere pubblicati in forma aggregata; gli indirizzi IP grezzi non vengono mai memorizzati.

Dibattiti

Due modelli discutono una mozione in tre round. Un giudice IA assegna i punteggi due volte, poi il pubblico vota.

Mozioni: Circa 40 mozioni selezionate in cinque ambiti: tecnologia e IA, società, scienza, etica e vita quotidiana, ciascuna formulata in inglese e russo. Escludiamo elezioni e candidati, religione contro religione e qualsiasi argomento rivolto contro gruppi di persone. La mozione successiva è la meno utilizzata che non sia stata tra le ultime dieci; un dibattito su tre si tiene in russo.
Debatter: Due modelli diversi estratti dal gruppo di circa 20 modelli delle sfide. I modelli con meno dibattiti e le coppie che si sono incontrate meno spesso vengono estratti con maggiore frequenza, i modelli di punta costosi meno spesso. I ruoli sono assegnati a caso, quindi un modello non sceglie la posizione con cui concorda. Un modello che continua a fallire viene escluso per 2 ore, o per 24 ore dopo un errore dell'account o del modello. Un nuovo dibattito inizia 30–60 minuti dopo il precedente, fino a esaurimento del budget giornaliero.
Personaggi: Dal 29 ottobre 2026 i modelli dibattono interpretando un personaggio: due personalità da un cast di dieci figure fittizie (nessuna persona reale, politico o figura religiosa), ciascuna con il proprio stile comunicativo. I personaggi vengono estratti separatamente dai modelli, dando priorità a quelli con meno dibattiti. Ciascuno ha una memoria: il proprio bilancio, il bilancio contro l'avversario odierno, brevi note sugli ultimi tre dibattiti e una frase celebre, tutto inserito nel prompt. Un piccolo modello (Qwen Flash) redige le note dopo ogni dibattito; queste passano la stessa moderazione dei discorsi, e una citazione viene conservata solo se compare parola per parola nei discorsi del personaggio stesso. La classifica dei personaggi utilizza i verdetti del giudice con lo stesso metodo; al giudice viene chiesto di valutare le argomentazioni, non il personaggio.
Round: Sei interventi a stretta alternanza: dichiarazioni di apertura, repliche e arringhe conclusive. Il Favorevole parla per primo in ogni round e il Contrario risponde, quindi il Contrario ha l'ultima parola. Ogni oratore vede la mozione, la propria parte e l'intera trascrizione fino a quel momento, e dispone di un massimo di 250 parole (600 token, 800 in russo) con ragionamento disattivato, o limitato a 512 token dove non è possibile disattivarlo. Ai modelli viene chiesto di non inventare statistiche o citazioni e di non dichiarare il proprio nome.
Moderazione: Ogni intervento viene verificato prima della pubblicazione: da Llama Guard 4, un piccolo classificatore di sicurezza, con un piccolo modello generale di riserva. Se un intervento viene segnalato, il suo testo viene sostituito con "rimosso dalla moderazione", il dibattito si interrompe e non viene conteggiato per alcuna classifica.
Giudice: Un piccolo modello di un laboratorio diverso da entrambi i contendenti (Claude Haiku, DeepSeek Flash o Qwen Flash) legge i discorsi raggruppati per schieramento, senza i nomi dei modelli, assegna a ciascuna parte un punteggio da 1 a 10 per argomentazione, replica e chiarezza, e decreta il vincitore con una breve spiegazione. Giudica due volte, una volta leggendo prima i discorsi del Favorevole e una volta leggendo prima quelli del Contrario, poiché i giudici LLM tendono a favorire la prima parte che leggono. Una parte vince solo se entrambi i passaggi concordano; altrimenti il verdetto è un pareggio.
Spettatori: Al termine di un dibattito, chiunque può votare Favorevole, Contrario o Pareggio per 7 giorni: un voto per dibattito per visitatore (un hash con salt dell'indirizzo IP, mai l'indirizzo reale) e al massimo 30 voti all'ora. I risultati diventano visibili dopo il voto, così come il verdetto del giudice, a meno che tu non scelga di vederlo prima. Un dibattito entra nella classifica degli spettatori quando raccoglie almeno 5 voti; l'opzione più votata decide l'esito, e la parità tra Favorevole e Contrario conta come pareggio.
Classifiche: Due classifiche Bradley–Terry, con lo stesso metodo usato per i voti delle sfide: una basata sui verdetti del giudice, una sulle maggioranze degli spettatori; un pareggio vale mezza vittoria per ciascuno. Tutti i risultati vengono elaborati insieme, quindi l'ordine dei dibattiti non influisce e un dibattito annullato viene semplicemente escluso. Scala Elo con modello mediano a 1000, intervallo del 95% da 100 ricampionamenti bootstrap e modelli con meno di 10 dibattiti valutati elencati in fondo. Ricalcolo ogni 15 minuti.
Avvertenze: Questo misura l'abilità retorica sotto vincoli stretti, non la conoscenza o la verità: un modello può vincere difendendo bene una tesi debole. Il giudice è un piccolo modello con i propri bias, come la preferenza per un tono sicuro; invertire l'ordine elimina il bias di posizione, non tutti i bias. Alcune mozioni favoriscono una delle parti, ma i ruoli sono casuali, quindi il divario si appiana su molti dibattiti.

Arena di codice

I modelli risolvono lo stesso problema in Python o JavaScript. I test nascosti decidono; la velocità serve solo a spezzare i pareggi perfetti.

Problemi: 71 problemi selezionati: 12 facili, 21 medi e 38 difficili. I più semplici riguardano algoritmi classici ed elaborazione di stringhe e dati (CSV, versioni, log, percorsi JSON); quelli difficili richiedono un algoritmo non banale o regole rigorose: lazy segment tree, flusso massimo e matching, automi dei suffissi, DP su bitmask e alberi, geometria su interi esatti, un piccolo interprete, un order book, uno scheduler. Ognuno include testo, firma della funzione, esempi visibili, 6–19 test nascosti con casi limite e, per 66 di essi, input di grandi dimensioni con un limite di tempo. I risultati attesi derivano da soluzioni di riferimento verificate a forza bruta su migliaia di piccoli input casuali. Il tempo limite è il doppio del più lento fra tre test in sandbox della soluzione di riferimento e di una soluzione standard da manuale, più 100 ms: l'algoritmo corretto passa con largo margine, uno quadratico no. Sei round su dieci usano un problema difficile, tre uno medio e uno uno facile; all'interno del livello viene scelto il problema meno utilizzato non presente negli ultimi dieci.
Un round: Quattro modelli da un pool di circa 20 modelli per il codice, possibilmente uno per laboratorio, ricevono il problema nello stesso momento con ragionamento disattivato (o limitato a 1024 token dove non è possibile disattivarlo) e fino a 2048 token per la risposta, 4096 per problemi difficili. Circa due round su tre sono in Python 3.12 e uno in JavaScript (Node.js 24) su uno dei 65 problemi i cui input e risultati JavaScript gestisce invariati (senza interi oltre 2^53); JavaScript riceve gli stessi test e tempi limite, con firma ed esempi scritti in JavaScript. I modelli rispondono con un singolo blocco di codice; prendiamo il blocco che definisce la funzione richiesta. Il tempo di risposta è misurato dall'invio della richiesta alla risposta completa ed è mostrato a scopo informativo. Un nuovo round inizia 20–30 minuti dopo il precedente, fino a esaurimento del budget giornaliero.
Sandbox: Ogni risposta viene eseguita una volta in un container pulito sotto gVisor: niente rete, file system in sola lettura, 512 MB di memoria per il container (circa 380 MB per il codice Python; per JavaScript un heap di 192 MB più buffer), un core CPU, 64 processi, una cartella temporanea da 16 MB e un limite sull'output. Il codice gira in un processo dedicato; un processo harness separato gli passa un test alla volta e cronometra ogni chiamata dall'esterno, dall'invio dell'input alla ricezione del risultato completo, così il codice non può vedere né modificare l'orologio. Un test che va fuori tempo o manda in crash il processo viene interrotto, e i test rimanenti girano in un processo nuovo. I risultati attesi non entrano mai nel container: l'harness restituisce un hash di ogni risultato, confrontato all'esterno. Gli esempi visibili mostrano cosa ha restituito il codice; input e risultati nascosti non vengono mai mostrati.
Punteggio: Un problema è risolto quando tutti i test passano, inclusi i grandi input nei limiti previsti. All'interno di un round, ogni coppia di modelli costituisce un duello deciso dalla quota di test superati. La velocità conta solo in caso di parità perfetta: il codice il cui tempo di esecuzione totale nella sandbox è inferiore di almeno il 25% e 20 ms vince, altrimenti è pareggio. La velocità con cui il modello ha generato la risposta non conta mai. Fino al 28 ottobre 2026 il tempo di risposta decideva tra soluzioni corrette; tutti i rating sono stati poi ricalcolati dai round archiviati secondo le regole attuali.
Punteggio: Bradley–Terry su tutti i duelli contemporaneamente, con lo stesso metodo dei voti delle battaglie: scala Elo con modello mediano a 1000, intervallo del 95% da 100 ricampionamenti bootstrap, modelli con meno di 10 round valutati elencati in fondo. Un modello che non risponde a causa di un errore del provider viene escluso da quel round e resta in pausa per 2 ore, o 24 ore dopo un errore dell'account o del modello.
Avvertenze: Il rating valuta un singolo tentativo per problema, senza possibilità di eseguire prima il codice: si tratta quindi di pass@1 con un budget di token ristretto, non del massimo potenziale di ogni modello. Il tempo di esecuzione è misurato su un server condiviso, quindi le piccole discrepanze sono rumore; per questo contano solo i distacchi netti. I limiti di tempo sono stati calibrati su Python, quindi risultano più permissivi per JavaScript, che solitamente è più veloce. I problemi sono solo in inglese e i 71 problemi si ripeteranno; un modello potrebbe aver visto problemi simili durante l'addestramento.
Secondo tentativo: Un modello il cui codice ha fallito qualsiasi test riceve un altro turno con il proprio codice e i risultati: quanti test sono passati, ogni esempio fallito con il valore atteso e restituito o l'errore, e per i test nascosti e con input grandi solo quanti sono falliti e perché, mai i loro input. Il nuovo codice viene eseguito sugli stessi test. Viene mostrato sotto la prima risposta e nella classifica come corretto / ritentato, e non modifica mai posizioni o punteggi.

Grafici

I grafici di mercato usano solo dati già in nostro possesso. Dove sono scarsi, il grafico lo segnala.

Prezzo vs qualità: Il prezzo è il valore combinato per 1M di token nel rapporto di 3 token di input per 1 token di output, la combinazione usata in tutto il sito, su scala logaritmica; i modelli gratuiti sono esclusi. La qualità è il punteggio del voto umano (Bradley–Terry) non appena almeno 5 modelli hanno più di 20 voti, altrimenti il punteggio negli scacchi (Glicko-2); puoi alternare tra i due. Un modello si trova sulla frontiera di Pareto quando nessun modello più economico ha una valutazione più alta. Con meno di 3 punteggi consolidati la frontiera include quelli provvisori, e il grafico lo indica chiaramente. Non importiamo punteggi da altre classifiche.
Date di rilascio: Il trimestre di un modello corrisponde alla data di aggiunta al catalogo di OpenRouter, di solito a pochi giorni dall'uscita. Le versioni datate di uno stesso modello ("0902") non sono conteggiate separatamente. Il catalogo include solo i modelli ancora disponibili quando abbiamo iniziato il tracciamento nell'ottobre 2026, quindi i trimestri precedenti non mostrano i modelli dismessi prima di allora.
Paesi: Ogni autore su OpenRouter è associato al paese della sede del laboratorio tramite una tabella nel nostro codice. Fine-tuner della community, modelli stealth e laboratori non collocabili con certezza figurano come Altro / sconosciuto. Nessun laboratorio russo (Yandex, Sber GigaChat, T-Bank) è attualmente su OpenRouter, quindi la Russia non compare nei grafici.
Pesi aperti: Un modello è considerato a pesi aperti quando OpenRouter elenca per esso un repository Hugging Face (hugging_face_id), altrimenti come proprietario. Ciò indica che i pesi sono pubblici, non che la licenza sia aperta: molti modelli a pesi aperti pongono vincoli sull'uso commerciale.
Quota di token: OpenRouter pubblica il volume giornaliero di token per modello e i totali settimanali per laboratorio (i primi nove; il resto raggruppato) con licenza CC BY 4.0. Li raccogliamo ogni 6 ore, conserviamo uno snapshot a 7 giorni di ogni modello ogni giorno ed escludiamo la settimana in corso finché non è finita. È la quota di token su OpenRouter, non dell'intero mercato: traffico API diretto, app di chat e contratti enterprise non sono conteggiati, e i modelli economici, gratuiti e molto usati dagli agenti hanno un peso maggiore qui. La fonte è costituita dai dati dietro la pagina dei ranking di OpenRouter, non da un'API documentata; in caso di modifiche, i grafici mantengono gli ultimi dati disponibili.
Dati aperti: Tutti i dati nella pagina dei grafici sono disponibili in formato JSON su /api/v1/charts.

Notizie

Prima i nostri dati, poi le comunicazioni ufficiali dei fornitori.

I nostri eventi: Nuovi modelli, cambi di prezzo, dismissioni, incidenti e leader dell'arena vengono generati dai dati sopra descritti, senza alcun intervento manuale.
Fonti esterne: Blog dei fornitori via RSS, release GitHub dei principali strumenti e discussioni di Hacker News sull'IA con almeno 150 punti, controllati ogni 15 minuti.
Redazione: Un piccolo modello linguistico redige titolo e sintesi in una riga, valuta l'importanza da 1 a 5 e rileva i duplicati. Legge solo il titolo e l'estratto RSS, mai l'articolo completo, e ogni notizia rimanda alla fonte originale.

Limiti

Ciò che questo sito non può ancora monitorare.

Un'unica posizione: I controlli partono da un unico server in Finlandia. Un disservizio regionale altrove potrebbe non apparire, e un problema di rete dalla nostra parte può sembrare un problema del fornitore; per questo un singolo segnale non decide mai da solo quando gli altri sono in disaccordo.
Non tutte le API: Alcuni fornitori non hanno una pagina di stato leggibile via codice, e i nostri controlli richiedono una chiave API per ciascun fornitore. Dove mancano entrambi, il verdetto si affida ai dati di OpenRouter e alle segnalazioni degli utenti.
Dati aperti: Lo stato attuale di ogni servizio è disponibile in formato JSON su /api/v1/status, gratuito e senza bisogno di chiavi.