Как работает LLM Live

Каждый вердикт на сайте следует правилам, описанным здесь. Вендоры не платят за место, а цифры ниже — те же, что в коде.

Статус

Один вердикт из четырёх сигналов. Побеждает худший.

Наши проверки: Где у нас есть ключ API, воркер раз в 60–120 секунд отправляет в собственный API вендора крошечный потоковый запрос (посчитать от 1 до 20, не больше 80 токенов) и записывает время до первого токена и скорость. Неудачную проверку повторяем дважды с интервалом 20 секунд. Лимиты запросов и ошибки в нашей настройке не считаются. На странице сервиса видно, идут ли по нему наши проверки.
Правила: Три последние проверки неудачны → «Не работает». Не меньше половины проверок за 10 минут неудачны → «Частичный сбой». Неудачных хотя бы 20% или медианное время до первого токена больше 3 с и втрое выше суточной медианы → «Проблемы».
Официальные статус-страницы: Опрашиваем каждую минуту. Статус старше 15 минут не учитываем, чтобы зависшая страница не держала сервис зелёным или красным.
Через OpenRouter: OpenRouter публикует долю успешных запросов по каждому провайдеру каждой модели. Если хотя бы 2 модели на собственных эндпоинтах вендора, и не меньше половины из них, ниже 80% за 30 минут и на 10 п.п. ниже своего суточного уровня → «Проблемы»; в среднем ниже 50% → «Частичный сбой». Если так сбоят 3 и больше вендоров разом, это сбой самого OpenRouter — сигнал не учитываем.
Жалобы пользователей: Не меньше 10 жалоб за 15 минут и вчетверо больше обычного → «Проблемы». Одни жалобы никогда не помечают сервис как неработающий.
Восстановление и оповещения: Статус пересчитывается каждые 30 секунд. Сервис возвращается в «Работает» только после 3 минут без проблем, чтобы мигающий API не засыпал оповещениями. Оповещения уходят, когда проблема началась, усилилась и закончилась.
Полоски: Каждая полоска — 30 минут, цвет — худшее состояние за это время. Серая — данных нет. Аптайм — доля полосок без проблем.

Модели и цены

Каждая цена — из публичного API, проверка раз в 5 минут.

Источник: Каталог моделей, цены и размер контекста — из публичного API OpenRouter. Цены за 1M токенов в том виде, как их показывает OpenRouter; обычно они совпадают с ценой вендора, но не всегда.
История цен: Снимок каждые 5 минут, каждое изменение записывается — снижение цен, новые и снятые модели появляются в ленте за минуты.
Где запустить: Число разных провайдеров модели на OpenRouter. Тарифы flex, batch, priority и spot не считаются: они часто недоступны штатно.

Шахматная арена

Модели играют друг с другом. Счёт честным держит шахматный движок.

Ход: Модель получает позицию (FEN) и список ходов и отвечает ходом и коротким комментарием. Легальность проверяет chess.js. После невозможного хода модель получает список возможных и пробует снова; третий невозможный ход — поражение. Три ответа подряд без хода — поражение по времени.
Бюджет на размышления: Рассуждения ограничены 1024 токенами на ход, чтобы партия стоила центы. Это занижает силу моделей с рассуждениями: арена сравнивает модели в одинаково жёстких условиях, а не на пределе их возможностей.
Рейтинг: Glicko-2 — он учитывает, насколько рейтинг надёжен. Таблица отсортирована по рейтингу минус два отклонения, то есть по осторожной оценке. До 10 партий рейтинг предварительный. В пары чаще попадают модели с меньшим числом партий и близким рейтингом.
Точность: Stockfish оценивает каждую позицию на глубине 14. Падение шансов на победу на 5, 10 или 15 п.п. — неточность, ошибка или зевок; точность считается по формуле Lichess.
Партии без рейтинга: Партия, прерванная из-за ошибок API провайдера, в рейтинге не учитывается. Партию можно аннулировать вручную — с указанной причиной.

Голоса людей

Вы выбираете лучший из двух анонимных ответов. Модель Брэдли — Терри превращает голоса в рейтинг.

Битва: Ваш запрос получают две разные модели из набора примерно в 20 актуальных моделей от десятка лабораторий; стороны перемешиваются, а имена скрыты до голосования. Модели и пары, у которых меньше голосов, выпадают чаще, дорогие флагманы — реже. Ответ ограничен 1024 токенами, рассуждения выключены, а где их нельзя выключить — ограничены 512 токенами. Поэтому битва сравнивает быстрые повседневные ответы, а не модели на пределе возможностей.
Голоса: Голосовать можно только после того, как готовы оба ответа, и только один раз за битву. Голос за A или B — победа этой модели; «ничья» и «оба плохие» засчитываются обеим сторонам как половина победы, как на LMArena. Битвы, в которых модель не ответила, не учитываются.
Рейтинг: Модель Брэдли — Терри подбирается сразу по всем голосам, поэтому, в отличие от Эло, порядок голосов не важен. Рейтинг показан в шкале Эло: разница в 400 очков означает, что одну модель предпочитают другой в 10 раз чаще, а медианная модель закреплена на 1000. Слабая априорная поправка (одна виртуальная ничья на модель) не даёт рейтингу уйти в бесконечность у модели, которая ещё ни разу не проигрывала.
Доверительный интервал: 95-процентный интервал считается по 100 бутстреп-выборкам голосов. Место — это 1 плюс число моделей, у которых весь интервал выше, чем у этой; модели с пересекающимися интервалами делят место. Модели меньше чем с 20 голосами идут после остальных. Всё пересчитывается каждые 10 минут.
Категории: Небольшая языковая модель относит запросы, за которые проголосовали, к одной из тем — код, математика, творчество, советы и инструкции, знания и факты или другое — и определяет язык; в рейтинг «Запросы на русском» попадают только русскоязычные запросы. Модель появляется в категории, когда наберёт в ней хотя бы 20 голосов.
Оговорки: Голосовать может кто угодно и анонимно. Лимиты на посетителя (8 битв в час и 40 в сутки по солёному хешу IP-адреса) и дневной бюджет делают накрутку дорогой, но не исключают её. Люди оценивают не только суть, но и подачу: длинные и красиво оформленные ответы чаще побеждают. Запросы хранятся для категорий и могут публиковаться в обобщённом виде; IP-адреса в открытом виде не хранятся.

Графики

Графики рынка строим только из данных, которые у нас уже есть. Где их мало, график так и говорит.

Цена и качество: Цена — смешанная цена за 1M токенов при 3 входных токенах на 1 выходной, как везде на сайте, по логарифмической шкале; бесплатные модели не показаны. Качество — рейтинг по голосам людей (Брэдли — Терри), когда хотя бы у 5 моделей набралось по 20+ голосов, иначе шахматный рейтинг (Glicko-2); их можно переключать. Модель на границе Парето, если ни одна более дешёвая модель не имеет рейтинга выше. Пока устоявшихся рейтингов меньше 3, граница проходит и через предварительные, о чём график предупреждает. Оценки чужих рейтингов мы не берём.
Даты выхода: Квартал модели — дата её появления в каталоге OpenRouter, обычно в пределах нескольких дней от релиза. Датированные снимки модели («0902») отдельно не считаются. В каталоге только модели, которые ещё были доступны, когда мы начали сбор в октябре 2026 года, поэтому в старых кварталах не хватает снятых до этого моделей.
Страны: Каждый автор на OpenRouter отнесён к стране штаб-квартиры лаборатории по небольшой таблице в нашем коде. Любительские дообучения, анонимные (stealth) модели и лаборатории, которые мы не смогли уверенно отнести к стране, — «Другие / неизвестно». Российских лабораторий (Яндекс, Сбер с GigaChat, Т-Банк) на OpenRouter пока нет, поэтому России на графиках нет.
Открытые веса: Модель считается открытой, если OpenRouter указывает для неё репозиторий на Hugging Face (hugging_face_id), иначе — закрытой. Это значит, что веса опубликованы, а не что лицензия открытая: многие открытые модели ограничивают коммерческое использование.
Доля токенов: OpenRouter публикует по лицензии CC BY 4.0 число токенов по моделям за каждый день и по лабораториям за каждую неделю (первая девятка, остальные вместе). Мы забираем их каждые 6 часов, храним по снимку за 7 дней по каждой модели на каждый день, а текущую неделю показываем только после её окончания. Это доля токенов на OpenRouter, а не рынка: прямые запросы к API, чат-приложения и корпоративные контракты не учитываются, а дешёвые, бесплатные и агентные модели там весят больше. Источник — данные страницы рейтингов OpenRouter, а не документированный API; если он изменится, графики останутся с последними полученными данными.
Открытые данные: Всё, что есть на странице графиков, доступно в JSON: /api/v1/charts.

Новости

Сначала наши данные, потом слова самих вендоров.

Наши события: Новые модели, изменения цен, снятия с API, инциденты и лидеры арены формируются из данных выше, без редактуры.
Внешние источники: Блоги вендоров через RSS, релизы ключевых инструментов на GitHub и посты Hacker News про ИИ от 150 баллов, проверка каждые 15 минут.
Редактура: Небольшая языковая модель пишет заголовок и одну фразу сути, ставит важность от 1 до 5 и отмечает дубли. Она видит только заголовок и анонс из RSS, не статью целиком, и у каждой новости есть ссылка на источник.

Ограничения

Чего сайт пока не видит.

Одна точка: Проверки идут с одного сервера в Финляндии. Региональный сбой в другом месте может не попасть в статус, а проблема сети у нас — выглядеть как проблема вендора; поэтому один сигнал не решает, если другие с ним не согласны.
Не каждый API: У части вендоров нет машиночитаемой статус-страницы, а для собственных проверок нужен ключ API каждого вендора. Где нет ни того ни другого, вердикт опирается на данные OpenRouter и жалобы.
Открытые данные: Текущий статус всех сервисов доступен в JSON по адресу /api/v1/status — бесплатно и без ключа.