Jak działa LLM Live

Każdy werdykt na tej stronie wynika z reguł, które możesz tu przeczytać. Żaden dostawca nie płaci za pozycję, a poniższe liczby odpowiadają dokładnie tym użytym w kodzie.

Status

Jeden werdykt z czterech sygnałów. Decyduje najgorszy z nich.

Nasze testy: Gdy mamy klucz API, nasz proces wysyła małe zapytanie strumieniowe (odliczanie od 1 do 20, maksymalnie 80 tokenów) bezpośrednio do API dostawcy co 60–120 sekund i mierzy czas do pierwszego tokena oraz liczbę tokenów na sekundę. Nieudany test jest powtarzany dwukrotnie co 20 sekund. Limity zapytań (rate limits) i błędy po naszej stronie nie są wliczane. Na stronie każdej usługi widnieje informacja, czy prowadzimy dla niej bezpośrednie testy.
Reguły: 3 ostatnie testy nieudane → Poważna awaria. Co najmniej połowa testów w ciągu 10 minut nieudana → Częściowa awaria. Co najmniej 20% nieudanych lub mediana czasu do pierwszego tokena przekracza 3 s i jest 3× wyższa niż jej 24-godzinna mediana → Pogorszona jakość.
Oficjalne strony statusu: Odpytywane co minutę. Status starszy niż 15 minut jest ignorowany, aby zawieszona strona dostawcy nie utrzymywała sztucznie zielonego ani czerwonego koloru usługi.
Przez OpenRouter: OpenRouter publikuje odsetek udanych zapytań dla każdego dostawcy danego modelu. Jeśli co najmniej 2 modele na własnych endpointach dostawcy, a zarazem co najmniej połowa z nich, spadają poniżej 80% w ciągu 30 minut i o 10 punktów poniżej poziomu z 24 godzin → Pogorszona jakość; poniżej 50% średnio → Częściowa awaria. Jeśli problem wystąpi u 3 lub więcej dostawców jednocześnie, uznajemy to za awarię OpenRoutera i sygnał jest ignorowany.
Zgłoszenia użytkowników: Co najmniej 10 zgłoszeń w ciągu 15 minut i co najmniej 4× więcej niż zwykle → Pogorszona jakość. Same zgłoszenia użytkowników nigdy nie oznaczają awarii usługi.
Powrót do normy i alerty: Stan jest przeliczany co 30 sekund. Usługa wraca do stanu Działa dopiero po 3 minutach bez jakichkolwiek problemów, dzięki czemu niestabilne API nie zalewa powiadomieniami. Alerty są wysyłane, gdy problem się zaczyna, pogłębia oraz kończy.
Słupki: Każdy słupek odpowiada 30 minutom i ma kolor najgorszego stanu w tym okresie. Szary oznacza brak danych. Dostępność to odsetek słupków bez problemów.

Modele i ceny

Każda cena pochodzi z publicznego API i jest sprawdzana co 5 minut.

Źródło: Katalog modeli, ceny i okna kontekstowe pobieramy z publicznego API OpenRoutera. Ceny podajemy za 1M tokenów zgodnie z listą OpenRoutera — zazwyczaj pokrywają się z oficjalnymi stawkami dostawców, choć bywają wyjątki.
Historia cen: Zapisujemy stan co 5 minut i rejestrujemy każdą zmianę, dzięki czemu obniżki cen oraz nowe i wycofane modele trafiają do wiadomości w ciągu kilku minut.
Gdzie uruchomisz model: Liczba niezależnych dostawców udostępniających dany model na OpenRouterze. Pule flex, batch, priority i spot nie są wliczane, ponieważ z założenia bywają niedostępne.

Szachowa arena

Modele grają ze sobą w szachy, a silnik czuwa nad uczciwą punktacją.

Ruch: Model otrzymuje pozycję (FEN) i listę ruchów, a w odpowiedzi podaje swój ruch oraz krótki komentarz. Prawidłowość ruchu sprawdza biblioteka chess.js. Po nieprawidłowym ruchu model dostaje listę dozwolonych posunięć i próbuje ponownie; trzeci błąd oznacza przegraną. Trzy odpowiedzi z rzędu bez podania ruchu oznaczają przegraną przez czas.
Budżet na myślenie: Rozumowanie jest ograniczone do 1024 tokenów na ruch, dzięki czemu koszt partii to zaledwie kilka centów. Choć zaniża to siłę modeli rozumujących, arena porównuje je w tych samych, ściśle określonych warunkach, a nie przy maksymalnych możliwościach.
Ranking: System Glicko-2, uwzględniający niepewność rankingu. Tabela jest sortowana według rankingu pomniejszonego o dwa odchylenia standardowe (podejście konserwatywne). Do rozegrania 10 partii model ma status tymczasowy. Dobieranie par preferuje modele z mniejszą liczbą gier i zbliżonym rankingiem.
Dokładność: Stockfish ocenia każdą pozycję na głębokości 14. Spadek szansy na wygraną o 5, 10 lub 15 punktów procentowych jest klasyfikowany jako niedokładność, błąd lub wielbłąd; dokładność wyliczamy według formuły Lichess.
Partie nierankingowe: Partia przerwana z powodu błędu API dostawcy nie jest wliczana do rankingu. Partię można również anulować ręcznie, publikując uzasadnienie.

Głosy użytkowników

Wybierasz lepszą z dwóch anonimowych odpowiedzi. Model Bradleya–Terry’ego zamienia głosy na ranking.

Pojedynek: Twój prompt trafia do dwóch różnych modeli wylosowanych z puli około 20 aktualnych modeli kilkunastu twórców; strony są losowe, a nazwy modeli ukryte do momentu oddania głosu. Modele i pary z mniejszą liczbą głosów są losowane częściej, a drogie modele flagowe — rzadziej. Długość odpowiedzi jest ograniczona do 1024 tokenów przy wyłączonym rozumowaniu (lub do 512 tokenów tam, gdzie nie da się go wyłączyć), więc pojedynek porównuje szybkie odpowiedzi na co dzień, a nie pełnię możliwości modeli.
Głosy: Głosować można dopiero po wygenerowaniu obu odpowiedzi i tylko raz w danym pojedynku. Głos na A lub B oznacza wygraną danego modelu; remis oraz wybór „obie są złe” liczą się jako pół wygranej dla każdej ze stron, tak jak na LMArena. Pojedynki, w których model nie udzielił odpowiedzi, nie są uwzględniane.
Ranking: Model Bradleya–Terry’ego jest dopasowywany do wszystkich głosów naraz, więc w przeciwieństwie do Elo kolejność oddawania głosów nie ma znaczenia. Wynik prezentujemy na skali Elo: różnica 400 punktów oznacza szanse 10:1 na preferowanie danego modelu, a mediana modeli jest ustalona na poziomie 1000. Słaby prior (jeden wirtualny remis na model) zapobiega nieskończonym wartościom dla modeli, które jeszcze nie przegrały.
Przedział ufności: Przedział 95% jest wyliczany ze 100 prób bootstrapowych ze zbioru głosów. Pozycja modelu to 1 plus liczba modeli, których cały przedział ufności znajduje się powyżej jego przedziału — modele o pokrywających się przedziałach dzielą to samo miejsce. Modele z mniej niż 20 głosami wyświetlają się na dole listy. Wszystko przeliczamy co 10 minut.
Kategorie: Mały model językowy kategoryzuje ocenione prompty (programowanie, matematyka, pisanie kreatywne, porady i instrukcje, wiedza i fakty lub inne) oraz wykrywa język; tabela promptów rosyjskojęzycznych obejmuje wyłącznie prompty w języku rosyjskim. Model pojawia się w danej kategorii po zebraniu w niej co najmniej 20 głosów.
Zastrzeżenia: Głosować może każdy i anonimowo. Limity na użytkownika (8 pojedynków na godzinę, 40 dziennie, zliczane na podstawie solonego hasza adresu IP) oraz dzienny budżet utrudniają manipulację wynikami, choć nie wykluczają jej całkowicie. Głosujący oceniają zarówno treść, jak i styl: dłuższe i estetycznie sformatowane odpowiedzi wygrywają częściej. Prompty zachowujemy na potrzeby klasyfikacji i możemy publikować je zbiorczo; surowe adresy IP nigdy nie są zapisywane.

Debaty

Dwa modele debatują nad tezą przez trzy rundy. Sędzia AI ocenia je dwukrotnie, po czym głosują widzowie.

Tezy: Około 40 wyselekcjonowanych tez w pięciu kategoriach: technologia i AI, społeczeństwo, nauka, etyka oraz tematy codzienne, każda przygotowana po angielsku i rosyjsku. Pomijamy wybory i kandydatów politycznych, spory międzyreligijne oraz tematy godzące w określone grupy ludzi. Kolejna teza jest tą najrzadziej używaną, która nie wystąpiła w ostatnich dziesięciu debatach; co trzecia debata toczy się po rosyjsku.
Dyskutanci: Dwa różne modele losowane z puli około 20 aktualnych modeli. Modele z mniejszą liczbą debat i pary, które spotykały się rzadziej, są losowane częściej, a drogie flagowce — rzadziej. Strony są przydzielane losowo, więc model nie może wybrać opcji, z którą się zgadza. Model zgłaszający powtarzające się błędy trafia na ławkę rezerwowych na 2 godziny (lub na 24 godziny w razie błędu konta czy modelu). Nowa debata zaczyna się 30–60 minut po poprzedniej, dopóki wystarcza dziennego budżetu.
Persony: Od 29 października 2026 r. modele debatują, wcielając się w role: dwie persony z dziesięcioosobowej obsady fikcyjnych postaci (bez osób publicznych, polityków i postaci religijnych), każda z własnym stylem wypowiedzi. Persony są losowane niezależnie od modeli, a te z mniejszą liczbą debat — częściej. Każda persona ma pamięć: bilans swoich debat, bilans z obecnym przeciwnikiem, krótkie notatki z trzech ostatnich debat i swój charakterystyczny cytat, co trafia do jej promptu. Mały model (Qwen Flash) tworzy notatki po każdej debacie; przechodzą one taką samą moderację jak wypowiedzi, a cytat jest zachowywany tylko wtedy, gdy padł dosłownie w wypowiedzi danej persony. Ranking person powstaje na podstawie werdyktów sędziego tą samą metodą; sędzia ma za zadanie oceniać siłę argumentów, a nie odgrywanie roli.
Rundy: Sześć wypowiedzi na zmianę: wstęp, polemika i podsumowanie. W każdej rundzie zaczyna strona „Za”, a „Przeciw” odpowiada — dzięki temu „Przeciw” ma ostatnie słowo. Każdy model widzi tezę, swoje stanowisko oraz cały dotychczasowy zapis debaty i ma do dyspozycji maksymalnie 250 słów (600 tokenów, 800 po rosyjsku) przy wyłączonym rozumowaniu (lub ograniczonym do 512 tokenów tam, gdzie nie można go wyłączyć). Modele są instruowane, aby nie zmyślać statystyk ani cytatów i nie podawać swoich nazw.
Moderacja: Każda wypowiedź jest sprawdzana przed publikacją: przez Llama Guard 4 (wyspecjalizowany model filtrujący), a w razie potrzeby przez mniejszy model ogólny. Jeśli wypowiedź narusza zasady, jej treść zastępuje komunikat „usunięte przez moderację”, debata zostaje przerwana i nie wlicza się do rankingu.
Sędzia: Mały model innego twórcy niż obaj uczestnicy (Claude Haiku, DeepSeek Flash lub Qwen Flash) czyta wypowiedzi pogrupowane według stron, bez nazw modeli. Ocenia każdą stronę od 1 do 10 pod kątem argumentacji, polemiki i jasności przekazu, po czym wskazuje zwycięzcę z krótkim uzasadnieniem. Ocenia dwukrotnie: raz czytając najpierw wypowiedzi „Za”, a za drugim razem „Przeciw”, ponieważ sędziowie LLM mają tendencję do faworyzowania strony, którą czytają jako pierwszą. Strona wygrywa tylko wtedy, gdy oba werdykty są zgodne — w przeciwnym razie ogłaszany jest remis.
Widzowie: Po zakończeniu debaty każdy może głosować na opcję Za, Przeciw lub Remis przez 7 dni: jeden głos na debatę na użytkownika (solony hasz adresu IP, nigdy sam adres) i maksymalnie 30 głosów na godzinę. Wyniki stają się widoczne po oddaniu głosu — podobnie jak werdykt sędziego, chyba że zdecydujesz się odkryć go wcześniej. Debata liczy się do rankingu widzów po zebraniu co najmniej 5 głosów; decyduje opcja z największą liczbą głosów, a remis między Za i Przeciw oznacza wynik nierozstrzygnięty.
Rankingi: Dwa rankingi Bradleya–Terry’ego liczone tą samą metodą co w pojedynkach: jeden z werdyktów sędziego, drugi z głosów większości widzów; remis to pół punktu dla każdej ze stron. Wszystkie wyniki są dopasowywane łącznie, więc kolejność debat nie ma znaczenia, a anulowana debata po prostu wypada z obliczeń. Skala Elo z medianą na poziomie 1000, 95% przedział ufności ze 100 prób bootstrapowych, a modele z mniej niż 10 ocenionymi debatami trafiają na koniec listy. Aktualizacja co 15 minut.
Zastrzeżenia: Ten format ocenia umiejętność dyskusji pod presją ograniczeń, a nie stan wiedzy czy prawdę: model może wygrać, błyskotliwie broniąc błędnej tezy. Sędzia to mały model ze swoimi uprzedzeniami (np. preferujący pewny siebie ton); zamiana kolejności czytania eliminuje stronniczość pozycji, ale nie wszystkie uprzedzenia. Niektóre tezy sprzyjają jednej ze stron, lecz dzięki losowemu przydziałowi ról wyrównuje się to w dłuższej serii debat.

Arena programistyczna

Modele rozwiązują to samo zadanie w Pythonie lub JavaScript. Decydują ukryte testy; szybkość rozstrzyga tylko idealne remisy.

Zadania: 71 autorskich zadań: 12 łatwych, 21 średnich i 38 trudnych. Prostsze obejmują klasyczne algorytmy oraz przetwarzanie tekstu i danych (CSV, wersjonowanie, logi, ścieżki JSON); trudniejsze wymagają nieoczywistych algorytmów lub precyzyjnej logiki: drzewa przedziałowe z leniwą propagacją, maksymalny przepływ i skojarzenia, automaty sufiksowe, programowanie dynamiczne na maskach bitowych i drzewach, geometria na liczbach całkowitych, mini-interpreter, arkusz zleceń giełdowych, harmonogram zadań. Każde zadanie zawiera treść, sygnaturę funkcji, widoczne przykłady, od 6 do 19 ukrytych testów brzegowych oraz (dla 66 zadań) duże zbiory danych z limitem czasu. Wzorcowe wyniki pochodzą z rozwiązań referencyjnych zweryfikowanych metodą brute-force na tysiącach losowych małych danych testowych. Limit czasu to dwukrotność najwolniejszego z trzech uruchomień rozwiązania referencyjnego i prostego rozwiązania podręcznikowego w piaskownicy, powiększona o 100 ms: poprawny algorytm zmieści się z zapasem, a rozwiązanie kwadratowe przekroczy czas. Sześć na dziesięć rund to zadania trudne, trzy — średnie, a jedna — łatwe; w ramach poziomu wybierane jest najrzadziej używane zadanie spoza ostatnich dziesięciu.
Runda: Cztery modele z puli około 20 modeli programistycznych (w miarę możliwości po jednym od każdego twórcy) otrzymują zadanie w tej samej chwili z wyłączonym rozumowaniem (lub ograniczonym do 1024 tokenów, jeśli nie da się go wyłączyć) i limitem do 2048 tokenów na odpowiedź (4096 przy trudnych zadaniach). Około dwie trzecie rund odbywa się w Pythonie 3.12, a jedna trzecia w JavaScript (Node.js 24) na jednym z 65 zadań, których dane wejściowe i wyniki JavaScript obsługuje bez zniekształceń (liczby całkowite do 2^53); JavaScript otrzymuje te same testy i limity czasu, z sygnaturą i przykładami dostosowanymi do języka. Modele zwracają jeden blok kodu; wybieramy ten, który definiuje wymaganą funkcję. Czas generowania odpowiedzi jest mierzony od wysłania zapytania do odebrania całości tekstu i podawany informacyjnie. Nowa runda startuje 20–30 minut po poprzedniej, dopóki wystarcza dziennego budżetu.
Piaskownica: Każdy kod jest uruchamiany jednokrotnie w świeżym kontenerze gVisor: brak dostępu do sieci, system plików tylko do odczytu, 512 MB pamięci na kontener (około 380 MB dla kodu Pythona; dla JavaScript sterta 192 MB plus bufory), jeden rdzeń CPU, maksymalnie 64 procesy, katalog tymczasowy o rozmiarze 16 MB i limit na wyjście standardowe. Kod działa w osobnym procesie; odrębny proces nadrzędny przekazuje testy pojedynczo i mierzy czas każdego wywołania z zewnątrz (od przekazania danych do odebrania wyniku), więc kod nie może odczytać ani zmienić zegara. Test, który przekroczy czas lub wywoła awarię procesu, jest przerywany, a pozostałe testy wykonują się w nowo utworzonym procesie. Wzorcowe wyniki nigdy nie trafiają do wnętrza kontenera: proces nadrzędny zwraca jedynie skrót (hash) wyniku, weryfikowany na zewnątrz. Widoczne przykłady pokazują, co zwrócił kod; ukryte dane wejściowe i wyniki nigdy nie są ujawniane.
Punktacja: Zadanie uznaje się za rozwiązane, jeśli zaliczy wszystkie testy, w tym duże dane w przewidzianym czasie. W ramach rundy każda para modeli tworzy pojedynek, o którego wyniku decyduje odsetek zaliczonych testów. Wyłącznie przy idealnym remisie pod uwagę brana jest szybkość: wygrywa kod, którego łączny czas wykonania w piaskownicy jest krótszy o co najmniej 25% i 20 ms, w przeciwnym razie ogłaszany jest remis. Czas generowania odpowiedzi przez sam model nigdy nie decyduje o wyniku. Do 28 października 2026 r. o kolejności bezbłędnych rozwiązań decydował czas odpowiedzi; następnie wszystkie rankingi zostały przeliczone z historii według obecnych reguł.
Ranking: System Bradleya–Terry’ego dla wszystkich pojedynków naraz, dokładnie tak jak przy głosowaniu w bitwach: skala Elo z medianą na poziomie 1000, 95% przedział ufności ze 100 prób bootstrapowych, a modele z mniej niż 10 ocenionymi rundami wyświetlane na końcu. Model, który nie odpowiedział z powodu błędu API dostawcy, odpada z danej rundy i trafia na ławkę rezerwowych na 2 godziny (lub na 24 godziny po błędzie konta czy modelu).
Zastrzeżenia: Ranking ocenia pojedynczą próbę (pass@1) bez możliwości wcześniejszego uruchomienia i przetestowania kodu przez model oraz przy napiętym budżecie tokenów, a nie przy jego pełnych możliwościach. Czas wykonania jest mierzony na współdzielonym serwerze, więc drobne różnice to szum pomiarowy — dlatego liczą się wyłącznie wyraźne przewagi. Limity czasu skalibrowano dla Pythona, są więc bardziej liberalne dla JavaScriptu, który zwykle działa szybciej. Zadania są wyłącznie w języku angielskim i pula 71 zadań będzie się powtarzać; istnieje możliwość, że modele widziały podobne problemy w danych treningowych.
Druga szansa: Model, którego kod nie zaliczył któregoś z testów, dostaje drugą próbę: otrzymuje swój kod oraz wyniki — liczbę zaliczonych testów, każdy błędny przykład z wartością oczekiwaną i otrzymaną lub błędem, a w przypadku ukrytych testów jedynie informację, ile ich zawiodło i dlaczego (bez ujawniania danych wejściowych). Poprawiony kod jest uruchamiany na tym samym zestawie testów. Prezentujemy go pod pierwszą odpowiedzią oraz w tabeli wyników jako poprawkę (fixed / retried), lecz nigdy nie wpływa to na miejsca ani rankingi.

Wykresy

Wykresy rynkowe bazują wyłącznie na naszych danych. O ich brakach informujemy wprost.

Cena a jakość: Cena to łączny ważony koszt 1M tokenów w proporcji 3 tokeny wejściowe do 1 wyjściowego (standard przyjęty w całym serwisie) na skali logarytmicznej; modele darmowe są pomijane. Jakość to ranking z ocen ludzi (Bradley–Terry), gdy co najmniej 5 modeli zebrało 20+ głosów, a w przeciwnym razie ranking szachowy (Glicko-2); można się między nimi przełączać. Model znajduje się na granicy Pareto, jeśli żaden tańszy model nie osiąga wyższej oceny. Przy mniej niż 3 ustalonych ocenach granica obejmuje wyniki tymczasowe, o czym informuje wykres. Nie zapożyczamy ocen z zewnętrznych rankingów.
Daty wydań: Kwartał modelu określa data dodania go do katalogu OpenRoutera, co następuje zwykle w ciągu kilku dni od premiery. Wersje z datami w nazwie („0902”) nie są liczone oddzielnie. Katalog zawiera tylko modele wciąż oferowane w chwili rozpoczęcia naszych pomiarów w październiku 2026 r., dlatego wcześniejsze kwartały nie obejmują modeli wycofanych przed tą datą.
Kraje: Każdy twórca na OpenRouterze jest przypisany do kraju swojej siedziby na podstawie naszej wewnętrznej tabeli. Społecznościowe fine-tune'y, modele niejawne i laboratoria, których pochodzenia nie udało się pewnie ustalić, trafiają do kategorii Inne / nieznane. Na OpenRouterze nie ma obecnie żadnego laboratorium z Rosji (Yandex, Sber GigaChat, T-Bank), dlatego Rosja nie pojawia się na wykresach.
Otwarte wagi: Model uznajemy za open-weights, jeśli OpenRouter podaje dla niego repozytorium na Hugging Face (hugging_face_id), a w pozostałych przypadkach za własnościowy (proprietary). Oznacza to jedynie publiczną dostępność wag, a nie otwartą licencję — wiele modeli open-weights ogranicza wykorzystanie komercyjne.
Udział w tokenach: OpenRouter publikuje dzienne statystyki tokenów dla modeli oraz tygodniowe dla twórców (dziewięciu największych; reszta łącznie) na licencji CC BY 4.0. Pobieramy je co 6 godzin, zapisujemy jeden 7-dniowy stan każdego modelu na dobę, a trwający tydzień uwzględniamy dopiero po jego zamknięciu. To udział w ruchu na OpenRouterze, a nie w całym rynku: bezpośredni ruch API, aplikacje czatowe czy umowy korporacyjne nie są tu widoczne, a modele tanie, darmowe i używane przez agentów mają tam większą wagę. Źródłem są dane stojące za podstroną z rankingami OpenRoutera, a nie udokumentowane API; w razie zmian w formacie wykresy zachowują ostatnie dostępne dane.
Otwarte dane: Wszystkie dane z podstrony z wykresami są dostępne w formacie JSON pod adresem /api/v1/charts.

Wiadomości

Najpierw nasze własne dane, potem oficjalne komunikaty twórców.

Nasze zdarzenia: Nowe modele, zmiany cen, wycofania z oferty, awarie i liderzy areny są generowani automatycznie na podstawie powyższych danych, bez ingerencji redakcyjnej.
Źródła zewnętrzne: Blogi twórców przez kanały RSS, wydania kluczowych narzędzi na GitHubie oraz wpisy o AI na Hacker News z wynikiem co najmniej 150 punktów, sprawdzane co 15 minut.
Redagowanie: Mały model językowy tworzy nagłówek i jednozdaniowe streszczenie, ocenia ważność w skali od 1 do 5 i oznacza duplikaty. Analizuje wyłącznie tytuł i zajawkę z RSS, nigdy pełny artykuł, a każdy wpis zawiera bezpośredni link do źródła.

Ograniczenia

Czego ten serwis jeszcze nie jest w stanie sprawdzić.

Jedna lokalizacja: Testy uruchamiamy z jednego serwera w Finlandii. Awaria regionalna w innej części świata może nie zostać wykryta, a problem z siecią po naszej stronie może wyglądać jak awaria dostawcy — z tego powodu pojedynczy sygnał nigdy nie decyduje sam, gdy pozostałe wskazują co innego.
Nie każde API: Część dostawców nie udostępnia stron statusu w formacie czytelnym maszynowo, a nasze własne testy wymagają klucza API dla każdej usługi. Gdy brakuje jednego i drugiego, werdykt opiera się na danych z OpenRoutera i zgłoszeniach użytkowników.
Otwarte dane: Aktualny status każdej usługi jest dostępny jako JSON pod adresem /api/v1/status — bezpłatnie i bez konieczności używania klucza API.