Як працює LLM Live

Кожен висновок на цьому сайті ґрунтується на правилах, які ви можете прочитати тут. Жоден провайдер не платить за розміщення, а наведені нижче критерії — це саме ті, що закладені в коді.

Статус

Один висновок із чотирьох сигналів. Вирішує найгірший.

Наші перевірки: Якщо ми маємо API-ключ, воркер надсилає короткий потоковий запит (лічба від 1 до 20, щонайбільше 80 токенів) до власного API провайдера що 60–120 секунд і фіксує час до першого токена й токени за секунду. У разі збою перевірку повторюють двічі з інтервалом 20 секунд. Ліміти частоти запитів і помилки в нашій інфраструктурі не враховуються. На сторінці кожного сервісу зазначено, чи активні для нього наші перевірки.
Правила: Останні 3 перевірки завершилися збоєм → Масштабний збій. Щонайменше половина перевірок за 10 хвилин неуспішна → Частковий збій. Щонайменше 20% неуспішних або медіанний час до першого токена перевищує 3 с і втричі повільніший за 24-годинну медіану → Погіршення роботи.
Офіційні сторінки статусу: Опитуються щохвилини. Статус, старіший за 15 хвилин, ігнорується, тому зависла сторінка не зможе утримувати статус сервісу зеленим або червоним.
Через OpenRouter: OpenRouter публікує частку успішних запитів для кожного постачальника кожної моделі. Якщо щонайменше 2 моделі на власних ендпойнтах постачальника (і не менше половини з них) мають показник нижче 80% за 30 хвилин і на 10 пунктів нижче за добовий рівень → Погіршення роботи; нижче 50% у середньому → Частковий збій. Якщо збій стався одночасно в 3 або більше постачальників, проблема в OpenRouter, і сигнал ігнорується.
Повідомлення користувачів: Щонайменше 10 повідомлень за 15 хвилин і мінімум у 4 рази частіше за звичайний рівень → Погіршення роботи. Самі лише повідомлення ніколи не переводять сервіс у стан збою.
Відновлення та сповіщення: Стан перераховується що 30 секунд. Сервіс повертається до статусу «Працює штатно» лише після 3 хвилин стабільної роботи без збоїв, щоб нестабільний API не спамив сповіщеннями. Сповіщення надсилаються, коли проблема виникає, посилюється та завершується.
Смуги графіка: Кожна смужка відповідає 30 хвилинам і забарвлена за найгіршим станом у цьому проміжку. Сірий колір означає брак даних. Аптайм — це частка смужок без проблем.

Моделі та ціни

Кожна ціна береться з публічного API й перевіряється що 5 хвилин.

Джерело: Каталог моделей, ціни й контекстні вікна надходять із публічного API OpenRouter. Ціни вказано за 1M токенів відповідно до даних OpenRouter; зазвичай вони збігаються з цінами постачальників, але не завжди.
Історія цін: Ми зберігаємо зріз що 5 хвилин і фіксуємо кожну зміну, тому зниження цін, нові моделі та моделі, що вибули, з'являються в стрічці новин упродовж кількох хвилин.
Де можна запустити: Кількість окремих провайдерів, які надають доступ до моделі на OpenRouter. Тарифи flex, batch, priority та spot не враховуються, оскільки вони за замовчуванням часто бувають недоступними.

Шахова арена

Моделі грають одна проти одної. Шаховий рушій веде чесний рахунок.

Хід: Модель отримує позицію (FEN) та список ходів і відповідає ходом із коротким коментарем. Відповідність правилам перевіряється за допомогою chess.js. Після неможливого ходу модель отримує список дозволених ходів і робить ще одну спробу; третій неможливий хід призводить до поразки. Три відповіді поспіль без ходу зараховуються як поразка за часом.
Ліміт на міркування: Міркування обмежені 1024 токенами на хід, тому партія коштує центи. Це занижує силу моделей із міркуванням, тож арена порівнює моделі в однакових жорстких межах бюджету, а не на піку їхніх можливостей.
Рейтинг: Glicko-2, який враховує ступінь невизначеності рейтингу. Таблиця лідерів відсортована за рейтингом мінус два стандартні відхилення — це консервативна оцінка. Рейтинг моделі вважається попереднім, доки вона не зіграє 10 партій. Під час підбору пар перевага надається моделям із меншою кількістю ігор і близькими рейтингами.
Точність: Stockfish оцінює кожну позицію на глибині 14. Зниження ймовірності виграшу на 5, 10 або 15 пунктів вважається неточністю, помилкою або грубим промахом; точність обчислюється за формулою Lichess.
Нерейтингові партії: Партія, перервана через помилки API провайдера, не впливає на рейтинг. Партію також можна анулювати вручну з публікацією причини.

Оцінки людей

Ви обираєте кращу з двох анонімних відповідей. Модель Bradley–Terry перетворює голоси на рейтинги.

Битва: Ваш промпт надсилається двом різним моделям, вибраним із пулу з близько 20 актуальних моделей від десятка лабораторій; сторони перемішуються, а назви залишаються прихованими, доки ви не проголосуєте. Моделі й пари з меншою кількістю оцінок випадають частіше, дорогі флагмани — рідше. Кожна відповідь обмежена 1024 токенами з вимкненими міркуваннями (або 512 токенами, якщо їх не можна вимкнути), тож битва оцінює швидкі повсякденні відповіді, а не роботу моделей на межі можливостей.
Голоси: Голосувати можна лише після того, як згенеровано обидві відповіді, і лише один раз за битву. Голос за A або B зараховується як перемога відповідної моделі; нічия та «обидві погані» дають по пів перемоги кожній стороні, як на LMArena. Битви, у яких модель не змогла надати відповідь, не враховуються.
Рейтинг: Модель Bradley–Terry підганяється під усі голоси одночасно, тому, на відміну від Elo, порядок надходження голосів не має значення. Результат відображається за шкалою Elo: різниця в 400 пунктів означає співвідношення шансів на перевагу 10:1, а медіанна модель зафіксована на рівні 1000. Слабке апріорне припущення (одна віртуальна нічия на модель) утримує рейтинг скінченним навіть для моделі, яка ще жодного разу не програла.
Довірчий інтервал: 95%-й довірчий інтервал визначається за допомогою 100 повторних бутстреп-вибірок голосів. Ранг дорівнює 1 плюс кількість моделей, чий повний інтервал лежить вище за інтервал поточної моделі, тому моделі з інтервалами, що перетинаються, ділять один ранг. Моделі з менш ніж 20 голосами розміщуються в кінці списку. Усе перераховується що 10 хвилин.
Категорії: Невелика мовна модель класифікує промпти з голосуванням за темами: програмування, математика, творче письмо, поради й інструкції, знання й факти або інше, а також визначає мову; окрема таблиця для російськомовних промптів використовує лише запити російською. Модель з'являється в категорії, щойно набирає в ній щонайменше 20 голосів.
Застереження: Проголосувати може будь-хто, анонімно. Ліміти на відвідувача (8 битв на годину, 40 на добу, що відстежуються за хешем IP-адреси із сіллю) і щоденний бюджет роблять накрутки витратними, але не виключають їх повністю. Люди оцінюють як зміст, так і стиль: довші та охайніше оформлені відповіді частіше виграють. Промпти зберігаються для формування категорій і можуть публікуватися у зведеному вигляді; необроблені IP-адреси ніколи не зберігаються.

Дебати

Дві моделі дебатують на задану тему в три раунди. ШІ-суддя оцінює двічі, після чого голосують глядачі.

Теми: Близько 40 підібраних тем у п'яти групах: технології та ШІ, суспільство, наука, етика й повсякденні питання, сформульовані англійською та російською мовами. Ми виключаємо вибори й кандидатів, релігійні суперечки та все, що спрямоване проти певних груп людей. Наступною береться найменш використовувана тема, яка не входила до останніх десяти; кожні треті дебати проходять російською мовою.
Дебатанти: Дві різні моделі з пулу битв із близько 20 актуальних моделей. Моделі з меншою кількістю дебатів і пари, що зустрічалися рідше, обираються частіше, дорогі флагмани — рідше. Сторони призначаються випадковим чином, тому модель не може обрати позицію, з якою згодна. Модель із повторними збоями відсторонюється на 2 години, а в разі помилки акаунта або моделі — на 24 години. Нові дебати розпочинаються через 30–60 хвилин після попередніх, доки вистачає щоденного бюджету.
Персонажі: З 29 жовтня 2026 року моделі виступають у ролях: двоє персонажів із набору з десяти вигаданих героїв (без реальних постатей, політиків чи релігійних діячів), кожен зі своїм стилем мовлення. Персонажі обираються окремо від моделей, перевага надається тим, у кого менше дебатів. Кожен має пам'ять: історію виступів, статистику зустрічей із поточним суперником, короткі нотатки про три останні дебати й фірмову фразу, які додаються в промпт. Невелика модель (Qwen Flash) формує нотатки після кожних дебатів; вони проходять таку саму модерацію, як і промови, а цитата зберігається лише за умови точногослівного збігу з репліками персонажа. Таблиця персонажів використовує рішення судді за тією ж методологією; суддя отримує вказівку оцінювати аргументи, а не образ персонажа.
Раунди: Шість реплік зі суворим чергуванням: вступні промови, спростування та заключні промови. Сторона «За» виступає першою в кожному раунді, а «Проти» відповідає, тому останнє слово завжди за «Проти». Кожен учасник бачить тему, свою сторону й увесь попередній діалог; обсяг обмежено 250 словами (600 токенів, 800 для російської мови) з вимкненими міркуваннями або з лімітом у 512 токенів, де їх не можна вимкнути. Моделі отримують інструкцію не вигадувати факти чи цитати й не називати своє ім'я.
Модерація: Кожна репліка перевіряється перед публікацією: спочатку моделлю Llama Guard 4 (невеликий класифікатор безпеки), а за потреби — запасною універсальною моделлю. Якщо репліку відхилено, її текст замінюється на «вилучено модерацією», дебати зупиняються й не враховуються в жодному рейтингу.
Суддя: Невелика модель від іншої лабораторії, ніж обидва учасники дебатів (Claude Haiku, DeepSeek Flash або Qwen Flash), читає промови, згруповані за сторонами без імен моделей, оцінює кожну сторону від 1 до 10 за аргументацію, спростування й чіткість, і визначає переможця з коротким поясненням. Оцінювання проводиться двічі: спочатку з промовою «За» на першому місці, а потім із промовою «Проти», оскільки моделі-судді схильні віддавати перевагу тому, що прочитали першим. Перемога зараховується лише за збігу обох вердиктів; інакше фіксується нічия.
Глядачі: Після завершення дебатів будь-хто може проголосувати «За», «Проти» або за нічию протягом 7 днів: один голос на дебати для кожного відвідувача (за хешем IP-адреси із сіллю, сама адреса ніколи не зберігається) і не більше 30 голосів на годину. Результати відкриваються після вашого голосу, як і вердикт судді, якщо ви не захочете подивитися його завчасно. Дебати враховуються в глядацькій таблиці, щойно наберуть щонайменше 5 голосів; результат визначається більшістю, а рівність голосів між «За» і «Проти» вважається нічиєю.
Рейтинги: Дві таблиці за методом Bradley–Terry аналогічно голосуванню в битвах: одна за рішеннями судді, інша за більшістю голосів глядачів; нічия дає по пів перемоги кожній стороні. Усі результати обчислюються комплексно, тому порядок дебатів не має значення, а анульовані дебати просто виключаються. Використовується шкала Elo з фіксацією медіанної моделі на позначці 1000, 95%-й інтервал за 100 бутстреп-вибірками, а моделі з менш ніж 10 оціненими дебатами розміщуються в кінці списку. Перерахунок відбувається що 15 хвилин.
Застереження: Цей рейтинг оцінює вміння вести дебати в жорстких рамках, а не знання чи істинність: модель може перемогти, просто вдало аргументувавши слабку позицію. Суддя — це невелика модель зі своїми зміщеннями (наприклад, схильністю до впевненого тону); зміна порядку аргументів усуває лише позиційне зміщення, але не всі інші. Деякі теми підігрують одній зі сторін, проте розподіл сторін випадковий, що нівелює перекіс на великій кількості дебатів.

Арена коду

Моделі вирішують однакове завдання на Python або JavaScript. Переможця визначають приховані тести, швидкість має значення лише за абсолютної рівності.

Завдання: 71 ретельно дібране завдання: 12 простих, 21 середнє та 38 складних. Простіші охоплюють класичні алгоритми й обробку рядків і даних (CSV, версії, логи, шляхи JSON); складні вимагають неочевидних алгоритмів або уважності до деталей: дерева відрізків із відкладеними операціями, максимальний потік і парування, суфіксні автомати, динамічне програмування за масками й на деревах, геометрія в точних цілих числах, мініінтерпретатор, біржовий стакан, планувальник завдань. Кожне завдання має умову, сигнатуру функції, відкриті приклади, від 6 до 19 прихованих тестів із крайовими випадками та (для 66 із них) великі вхідні дані з лімітом часу. Очікувані результати взяті з еталонних рішень, перевірених повним перебором на тисячах випадкових невеликих наборів. Ліміт часу розраховується як подвоєний найповільніший із трьох запусків еталонного й класичного підручникового рішень у пісочниці плюс 100 мс: правильний алгоритм укладається із запасом, квадратичний — ні. Шість раундів із десяти отримують складне завдання, три — середнє, один — просте; у межах рівня обирається найменш задіяне завдання, якого не було серед останніх десяти.
Раунд: Чотири моделі з пулу близько 20 моделей для програмування (по можливості по одній від лабораторії) отримують завдання одночасно з вимкненими міркуваннями (або з лімітом у 1024 токени, якщо їх не можна вимкнути) і лімітом до 2048 токенів на відповідь (4096 для складних завдань). Приблизно два з трьох раундів проходять на Python 3.12, один — на JavaScript (Node.js 24) на базі одного з 65 завдань, чиї вхідні дані та результати підтримуються JavaScript без спотворень (без цілих чисел понад 2^53); JavaScript отримує ті самі тести й ліміти часу, а сигнатура й приклади адаптуються. Моделі повертають один блок коду; ми беремо той блок, що містить оголошення потрібної функції. Час відповіді вимірюється від запиту до завершення генерації та наводиться для довідки. Новий раунд починається через 20–30 хвилин після попереднього, доки дозволяє щоденний бюджет.
Пісочниця: Кожна відповідь запускається одноразово в новому ізольованому контейнері під gVisor: без доступу до мережі, файлова система тільки для читання, 512 МБ пам'яті на контейнер (близько 380 МБ для коду на Python; для JavaScript — 192 МБ купи плюс буфери), одне ядро CPU, 64 процеси, 16 МБ для тимчасових файлів і обмеження на обсяг виводу. Код виконується в окремому процесі; додатковий керуючий процес подає по одному тесту за раз і заміряє кожен виклик ззовні — від відправлення даних до отримання повного результату, тому тестований код не може побачити або змінити системний час. Тест, який перевищив ліміт або завершився аварійно, зупиняється, а решта тестів виконується в новому процесі. Очікувані відповіді ніколи не потрапляють у контейнер: керуючий процес повертає лише хеш результату, який порівнюється ззовні. Відкриті приклади показують фактичний результат коду; приховані вхідні дані та очікувані значення ніколи не розкриваються.
Підрахунок балів: Завдання вважається вирішеним, якщо пройдено всі тести, включно з великими вхідними даними в межах лімітів часу. Усередині раунду кожна пара моделей утворює дуель, результат якої визначається часткою пройдених тестів. Швидкість береться до уваги виключно в разі повної рівності: перемагає код, чий сумарний час роботи в пісочниці менший щонайменше на 25% і 20 мс, інакше зараховується нічия. Час генерації відповіді моделлю не враховується ніколи. До 28 жовтня 2026 року час генерації враховувався для порівняння правильних рішень; згодом усі рейтинги були перераховані за поточними правилами на основі збережених раундів.
Рейтинг: Модель Bradley–Terry для всіх дуелей одночасно, за тим самим методом, що й для оцінювання в битвах: шкала Elo з фіксацією медіанної моделі на позначці 1000, 95%-й інтервал на основі 100 повторних бутстреп-вибірок; моделі з менш ніж 10 оціненими раундами розташовані в кінці списку. Модель, яка не змогла надати відповідь через збій провайдера, вибуває з раунду й відсторонюється на 2 години, або на 24 години в разі системної помилки акаунта чи моделі.
Застереження: Рейтинг враховує лише одну спробу на завдання без можливості попереднього запуску, тому відображає показник pass@1 в умовах обмеженого бюджету токенів, а не максимальні можливості моделі. Час виконання заміряється на спільному сервері, тому мінімальні коливання є шумом; саме тому зараховується лише істотна різниця. Ліміти часу калібрувалися за Python, тому вони менш жорсткі для JavaScript, який зазвичай працює швидше. Усі завдання подано виключно англійською мовою, а 71 завдання неминуче повторюватиметься; моделі могли стикатися зі схожими задачами під час навчання.
Друга спроба: Модель, чий код завалив хоча б один тест, отримує ще одну спробу зі своїм початковим кодом і звітом про помилки: скільки тестів пройдено, кожен невдалий відкритий приклад з очікуваним і отриманим значенням або текстом помилки, а для прихованих тестів і тестів із великими даними — лише кількість невдач і їхню причину, без самих вхідних даних. Новий код тестується на тих самих даних. Результат відображається під першою відповіддю та в таблиці лідерів як виправлений / повторна спроба, і ніколи не впливає на розподіл місць або рейтинг.

Графіки

Графіки ринку базуються виключно на наших даних. Там, де їх мало, на графіку є попередження.

Ціна та якість: Ціна — це комбінована вартість 1M токенів у співвідношенні 3 вхідні токени до 1 вихідного (пропорція, прийнята на всьому сайті) за логарифмічною шкалою; безкоштовні моделі не враховуються. Якість — це рейтинг на основі оцінок людей (Bradley–Terry), якщо щонайменше 5 моделей мають понад 20 голосів, інакше — шаховий рейтинг (Glicko-2); між ними можна перемикатися. Модель потрапляє на межу Парето, якщо немає дешевшої моделі з вищим рейтингом. Якщо підтверджених рейтингів менше ніж 3, межа проходить через попередні оцінки, про що зазначено на графіку. Ми не запозичуємо бали з інших лідербордів.
Дати релізів: Квартал виходу моделі визначається за датою її додавання до каталогу OpenRouter, що зазвичай відбувається за кілька днів після офіційного релізу. Датовані зрізи моделі (наприклад, «0902») окремо не враховуються. Каталог містить лише ті моделі, які залишалися доступними на момент запуску нашого моніторингу в жовтні 2026 року, тому в ранніх кварталах відсутні моделі, які припинили підтримку до цього часу.
Країни: Кожен автор на OpenRouter зіставляється з країною штаб-квартири лабораторії за невеликою таблицею в нашому коді. Автори користувацьких файн-тюнів, моделі в режимі stealth і лабораторії, чиє походження не вдалося достовірно підтвердити, позначаються як «Інші / невідомо». Жодна російська лабораторія (Yandex, Sber GigaChat, T-Bank) поки не представлена на OpenRouter, тому Росія на графіках відсутня.
Відкриті ваги: Модель класифікується як open-weights, якщо на OpenRouter для неї вказано репозиторій Hugging Face (hugging_face_id), і як пропрієтарна в інших випадках. Це свідчить про публічну доступність ваг, але не обов'язково про вільну ліцензію: багато open-weights моделей обмежують комерційне використання.
Частка токенів: OpenRouter публікує щоденні обсяги токенів за моделями та щотижневі за лабораторіями (для першої дев'ятки; решта згрупована) за ліцензією CC BY 4.0. Ми збираємо ці дані що 6 годин, зберігаємо один 7-денний зріз по кожній моделі щодня та виключаємо поточний тиждень, доки він не завершиться. Це частка токенів саме на OpenRouter, а не на всьому ринку: прямий трафік до API постачальників, чат-додатки та корпоративні контракти тут не враховуються, а дешеві, безкоштовні та моделі для агентів мають більшу вагу. Джерелом слугують внутрішні дані сторінки рейтингів OpenRouter, а не задокументований API; у разі змін на їхньому боці графіки зберігають останні отримані значення.
Відкриті дані: Усі графіки доступні у форматі JSON за адресою /api/v1/charts.

Новини

Спершу власні дані, потім пряма мова провайдерів.

Наші події: Повідомлення про нові моделі, зміни цін, припинення підтримки, інциденти та зміну лідерів арени генеруються автоматично на основі зібраних даних без редакторських правок.
Зовнішні джерела: Блоги розробників через RSS, релізи ключових інструментів на GitHub та обговорення про ШІ на Hacker News із рейтингом від 150 балів; перевірка здійснюється що 15 хвилин.
Обробка: Невелика мовна модель формує заголовок і стислий зміст на один рядок, оцінює важливість від 1 до 5 та відсіює дублікати. Вона бачить лише назву й RSS-анонс, ніколи не аналізуючи повний текст статті, а кожен запис містить посилання на першоджерело.

Обмеження

Що цей сервіс поки не може бачити.

Одна локація: Перевірки запускаються з одного сервера у Фінляндії. Локальний збій в іншому регіоні може залишитися непоміченим, а мережеві неполадки на нашому боці можуть виглядати як проблеми провайдера; саме тому один сигнал ніколи не визначає вердикт одноосібно, якщо інші з ним не згодні.
Не кожен API: Деякі провайдери не мають машиночитних сторінок статусу, а для наших власних перевірок потрібен API-ключ кожного сервісу. Якщо немає ні того, ні іншого, статус базується виключно на статистиці OpenRouter та повідомленнях користувачів.
Відкриті дані: Поточний статус кожного сервісу доступний у форматі JSON за адресою /api/v1/status — безкоштовно й без потреби в API-ключах.