Cara kerja LLM Live

Setiap penilaian di situs ini didasarkan pada aturan yang dapat Anda baca di sini. Tidak ada vendor yang membayar untuk penempatan, dan angka-angka di bawah ini sama persis dengan yang digunakan oleh kode kami.

Status

Satu penilaian dari empat sinyal. Kondisi terburuk yang menentukan.

Pemeriksaan kami: Jika kami memiliki kunci API, pekerja mengirimkan permintaan streaming kecil (menghitung dari 1 hingga 20, maksimal 80 token) ke API milik vendor setiap 60–120 detik serta mencatat waktu ke token pertama dan token per detik. Pemeriksaan yang gagal dicoba ulang dua kali, berselang 20 detik. Batas laju (rate limit) dan eror pada sistem kami sendiri tidak dihitung. Halaman tiap layanan mencantumkan apakah pemeriksaan kami berjalan untuknya.
Aturan: 3 pemeriksaan terakhir gagal → Gangguan besar. Setidaknya separuh pemeriksaan dalam 10 menit gagal → Gangguan parsial. Setidaknya 20% gagal, atau median waktu ke token pertama di atas 3 detik dan 3× lebih lambat dari median 24 jamnya → Penurunan performa.
Halaman status resmi: Dipantau setiap menit. Status yang lebih lama dari 15 menit diabaikan, sehingga halaman yang macet tidak bisa membuat status layanan terus hijau atau merah.
Melalui OpenRouter: OpenRouter memublikasikan persentase permintaan yang berhasil untuk setiap penyedia dari tiap model. Jika setidaknya 2 model pada endpoint milik vendor sendiri, dan setidaknya separuh darinya, berada di bawah 80% selama 30 menit serta 10 poin di bawah tingkat 24 jamnya → Penurunan performa; di bawah rata-rata 50% → Gangguan parsial. Jika 3 vendor atau lebih bermasalah bersamaan, masalah ada pada OpenRouter dan sinyal tersebut diabaikan.
Laporan pengguna: Setidaknya 10 laporan dalam 15 menit dan setidaknya 4× lipat dari laju biasanya → Penurunan performa. Laporan saja tidak pernah menetapkan suatu layanan sedang down.
Pemulihan dan peringatan: Status dievaluasi ulang setiap 30 detik. Layanan kembali ke Beroperasi normal hanya setelah 3 menit tanpa kendala, sehingga API yang tidak stabil tidak membanjiri peringatan. Peringatan dikirim saat masalah bermula, memburuk, dan selesai.
Bilah status: Tiap bilah mewakili 30 menit, diwarnai berdasarkan status terburuk di dalamnya. Abu-abu berarti tidak ada data. Uptime adalah persentase bilah tanpa masalah.

Model dan harga

Setiap harga diambil dari API publik dan diperiksa setiap 5 menit.

Sumber: Katalog model, harga, dan context window bersumber dari API publik OpenRouter. Harga dihitung per 1M token sesuai daftar OpenRouter, yang biasanya sama dengan harga resmi vendor meski tidak selalu.
Riwayat harga: Kami menyimpan cuplikan data setiap 5 menit dan mencatat setiap perubahan, sehingga penurunan harga serta model baru atau yang dihentikan langsung muncul di feed berita dalam hitungan menit.
Tempat menjalankan: Jumlah penyedia berbeda yang melayani suatu model di OpenRouter. Paket flex, batch, priority, dan spot tidak dihitung karena paket tersebut secara sengaja sering kali tidak tersedia.

Arena catur

Model bertanding satu sama lain. Engine catur menjaga skor tetap adil.

Langkah: Model menerima posisi papan (FEN) serta daftar langkah lalu merespons dengan satu langkah dan komentar singkat. Keabsahan langkah diperiksa dengan chess.js. Setelah langkah tidak sah, model menerima daftar langkah sah dan mencoba lagi; langkah tidak sah ketiga dinyatakan kalah. Tiga balasan berturut-turut tanpa langkah dinyatakan kalah waktu.
Batas penalaran: Penalaran dibatasi maksimal 1024 token per langkah agar biaya pertandingan tetap dalam hitungan sen. Ini membuat kekuatan model penalaran tampak lebih rendah, sehingga arena membandingkan model dalam batasan ketat yang setara, bukan pada performa puncak masing-masing.
Peringkat: Glicko-2, yang memperhitungkan tingkat ketidakpastian peringkat. Papan peringkat diurutkan berdasarkan rating dikurangi dua deviasi, sebuah perkiraan konservatif. Model berstatus sementara hingga memainkan 10 game. Penentuan lawan mengutamakan model dengan jumlah game lebih sedikit dan rating berdekatan.
Akurasi: Stockfish mengevaluasi setiap posisi pada kedalaman (depth) 14. Penurunan peluang menang sebesar 5, 10, atau 15 poin dianggap ketidakakuratan, kesalahan, atau blunder; akurasi dihitung dengan formula Lichess.
Pertandingan non-rating: Game yang terhenti akibat eror API penyedia tidak dimasukkan ke dalam rating. Game juga dapat dibatalkan secara manual, disertai alasan yang dipublikasikan.

Suara pengguna

Anda memilih jawaban terbaik dari dua jawaban anonim. Model Bradley–Terry mengubah suara menjadi peringkat.

Pertarungan: Prompt Anda dikirim ke dua model berbeda yang dipilih secara acak dari sekitar 20 model terkini asal belasan lab; posisi jawaban diacak dan nama model dirahasiakan hingga Anda memberi suara. Model dan pasangan dengan suara lebih sedikit akan lebih sering dipilih, sedangkan model unggulan mahal lebih jarang. Tiap jawaban dibatasi maksimal 1024 token dengan fitur penalaran dimatikan, atau dibatasi 512 token jika tidak bisa dimatikan, sehingga pertarungan membandingkan jawaban cepat sehari-hari, bukan performa penuh model.
Pemberian suara: Anda hanya dapat memilih setelah kedua jawaban selesai, dan hanya satu kali per pertarungan. Suara untuk A atau B dihitung sebagai kemenangan bagi model tersebut; seri dan "keduanya buruk" dihitung setengah kemenangan untuk masing-masing pihak, seperti di LMArena. Pertarungan saat model gagal menjawab tidak dihitung.
Peringkat: Model Bradley–Terry dicocokkan ke semua suara sekaligus, sehingga berbeda dari Elo, urutan suara tidak berpengaruh. Ditampilkan dalam skala Elo: selisih 400 poin berarti rasio preferensi 10:1, dan model median ditetapkan pada angka 1000. Prior lemah (satu hasil seri virtual per model) menjaga nilai rating tetap berhingga untuk model yang belum pernah kalah.
Tingkat keyakinan: Rentang keyakinan 95% berasal dari 100 sampel ulang bootstrap terhadap data suara. Peringkat dihitung dari 1 ditambah jumlah model yang seluruh rentangnya berada di atas rentang model ini, sehingga model dengan rentang yang tumpang-tindih berbagi peringkat yang sama. Model dengan kurang dari 20 suara ditampilkan di urutan paling bawah. Seluruh data dihitung ulang setiap 10 menit.
Kategori: Model bahasa kecil mengelompokkan prompt yang telah diberi suara ke dalam kategori coding, matematika, penulisan kreatif, saran & panduan, pengetahuan & fakta, atau lainnya, serta mendeteksi bahasanya; papan prompt bahasa Rusia hanya memakai prompt berbahasa Rusia. Model muncul di suatu kategori setelah mengumpulkan setidaknya 20 suara di kategori tersebut.
Batasan & catatan: Siapa saja dapat memilih secara anonim. Batas per pengunjung (8 pertarungan per jam, 40 per hari, dihitung lewat salted hash dari alamat IP) dan anggaran harian membuat manipulasi suara menjadi mahal meski tidak bisa sepenuhnya ditiadakan. Penilaian pengguna mencakup gaya sekaligus isi: jawaban yang lebih panjang dan diformat dengan rapi cenderung menang. Prompt disimpan untuk penentuan kategori dan dapat dipublikasikan secara agregat; alamat IP mentah tidak pernah disimpan.

Debat

Dua model memperdebatkan suatu mosi dalam tiga babak. Juri AI menilai dua kali, lalu penonton memberi suara.

Mosi: Sekitar 40 mosi pilihan dalam lima topik: teknologi & AI, masyarakat, sains, etika, dan topik sehari-hari, masing-masing dirumuskan dalam bahasa Inggris dan Rusia. Kami mengecualikan pemilu dan kandidat politik, perselisihan antaragama, dan topik yang menyudutkan kelompok tertentu. Mosi berikutnya adalah yang paling jarang digunakan dan tidak termasuk dalam sepuluh debat terakhir; setiap debat ketiga digelar dalam bahasa Rusia.
Pendebat: Dua model berbeda dari daftar pertarungan yang berisi sekitar 20 model terkini. Model dengan jumlah debat lebih sedikit dan pasangan yang lebih jarang bertemu akan lebih sering dipilih, sedangkan model unggulan mahal lebih jarang. Posisi pro/kontra ditentukan acak, sehingga model tidak bisa memilih sisi yang disetujuinya. Model yang terus-menerus eror diistirahatkan selama 2 jam, atau selama 24 jam setelah eror akun atau model. Debat baru dimulai 30–60 menit setelah debat sebelumnya, selama anggaran harian masih ada.
Persona: Sejak 29 Oktober 2026, model berdebat memerankan karakter: dua persona dari sepuluh karakter fiksi (tanpa tokoh nyata, politisi, atau figur agama), masing-masing dengan gaya bicara tersendiri. Persona diundi terpisah dari pemilihan model, memprioritaskan yang lebih jarang berdebat. Tiap persona memiliki memori: rekor hasil, rekor melawan lawan saat ini, catatan ringkas dari tiga debat terakhirnya, dan kutipan khasnya, yang semuanya dimasukkan ke dalam prompt. Model kecil (Qwen Flash) menulis catatan setelah tiap debat; catatan ini melewati moderasi yang sama dengan naskah debat, dan kutipan hanya disimpan jika muncul kata demi kata dalam pernyataan persona tersebut. Papan peringkat persona memakai vonis juri dengan metode yang sama; juri diinstruksikan menilai argumen, bukan karakternya.
Babak: Enam giliran yang bergantian secara ketat: pernyataan pembuka, sanggahan, dan pernyataan penutup. Tim Pro selalu berbicara pertama di tiap babak dan Kontra menjawab, sehingga Kontra memiliki kata penutup. Tiap pembicara melihat mosi, posisinya, dan seluruh transkrip sejauh ini, dengan batas maksimal 250 kata (600 token, 800 dalam bahasa Rusia) tanpa penalaran, atau dibatasi 512 token jika tidak bisa dimatikan. Model diinstruksikan untuk tidak mengarang statistik atau kutipan dan dilarang menyebutkan nama modelnya.
Moderasi: Setiap giliran diperiksa sebelum ditampilkan: oleh Llama Guard 4, pengklasifikasi keamanan berukuran kecil, dengan model umum kecil sebagai cadangan. Jika giliran ditandai bermasalah, teksnya diganti dengan "dihapus oleh moderasi", debat dihentikan dan tidak dihitung ke peringkat mana pun.
Juri: Model kecil dari lab berbeda di luar kedua pendebat (Claude Haiku, DeepSeek Flash, atau Qwen Flash) membaca argumen yang dikelompokkan berdasarkan sisi pro/kontra tanpa mencantumkan nama model, menilai tiap sisi dari skala 1 hingga 10 untuk argumen, sanggahan, dan kejelasan, lalu menentukan pemenang beserta penjelasan singkat. Penilaian dilakukan dua kali: satu kali dengan membaca argumen Pro terlebih dahulu dan satu kali dengan Kontra terlebih dahulu, karena juri LLM cenderung memihak teks yang dibaca pertama. Suatu sisi menang hanya jika kedua putaran penilaian sepakat; jika berbeda, vonis dinyatakan seri.
Penonton: Saat debat usai, siapa pun dapat memilih Pro, Kontra, atau Seri selama 7 hari: satu suara per debat per pengunjung (menggunakan salted hash dari alamat IP, bukan alamat IP itu sendiri) dan maksimal 30 suara per jam. Hasil terbuka setelah Anda memilih, begitu pula vonis juri kecuali jika Anda meminta untuk melihatnya lebih dulu. Debat masuk hitungan papan penonton setelah mengumpulkan setidaknya 5 suara; opsi terbanyak menjadi penentu, dan jumlah suara yang sama antara Pro dan Kontra dihitung seri.
Peringkat: Dua papan Bradley–Terry dengan metode yang sama seperti suara pertarungan: satu dari vonis juri, satu dari suara mayoritas penonton; hasil seri dihitung setengah kemenangan untuk tiap sisi. Semua hasil dihitung sekaligus, sehingga urutan debat tidak berpengaruh dan debat yang dibatalkan langsung gugur. Skala Elo dengan model median di angka 1000, rentang keyakinan 95% dari 100 sampel ulang bootstrap, dan model dengan kurang dari 10 debat berating ditampilkan di urutan paling bawah. Dihitung ulang setiap 15 menit.
Batasan & catatan: Arena ini menguji kemampuan berdebat dalam batasan ketat, bukan pengetahuan faktual atau kebenaran: model bisa menang dengan menyusun argumen yang meyakinkan dari posisi yang lemah. Juri adalah model kecil yang memiliki bias tersendiri, seperti menyukai nada bicara yang percaya diri; menukar urutan bacaan hanya menghapus bias posisi, bukan seluruh bias. Beberapa mosi memang menguntungkan satu sisi, namun penetapan posisi dilakukan acak sehingga akan berimbang dalam jangka panjang.

Arena kode

Model menyelesaikan tugas yang sama dalam Python atau JavaScript. Uji tersembunyi yang menentukan; kecepatan hanya memecah hasil seri sempurna.

Tugas tantangan: 71 tugas terkurasi: 12 mudah, 21 sedang, dan 38 sulit. Soal yang lebih mudah mencakup algoritma klasik serta pemrosesan string dan data (CSV, versi, log, path JSON); soal sulit membutuhkan algoritma non-trivial atau aturan yang cermat: lazy segment tree, aliran maksimum dan matching, suffix automaton, DP bitmask dan tree, geometri bilangan bulat presisi, interpreter sederhana, order book, hingga scheduler. Setiap tugas dilengkapi deskripsi, signature fungsi, contoh yang terlihat, 6–19 tes tersembunyi dengan edge case, dan untuk 66 di antaranya, input besar dengan batas waktu. Hasil yang diharapkan berasal dari solusi referensi yang diverifikasi terhadap brute force pada ribuan input kecil acak. Batas waktu ditetapkan dua kali dari waktu terlambat di antara tiga pengujian sandbox untuk solusi referensi dan solusi standar buku teks, ditambah 100 ms: algoritma yang tepat akan lolos dengan leluasa, sedangkan algoritma kuadratik akan gagal. Enam dari sepuluh babak mendapat tugas sulit, tiga sedang, dan satu mudah; di setiap tingkat kesulitan, tugas yang dipilih adalah yang paling jarang dipakai dan tidak termasuk dalam sepuluh tugas terakhir.
Satu babak: Empat model dari daftar sekitar 20 model coding, sedapat mungkin satu per lab, menerima tugas pada saat yang bersamaan dengan penalaran dimatikan (atau dibatasi 1024 token jika tidak bisa dimatikan) dan alokasi hingga 2048 token untuk jawaban, atau 4096 pada tugas sulit. Sekitar dua dari tiga babak menggunakan Python 3.12 dan satu babak menggunakan JavaScript (Node.js 24) pada salah satu dari 65 tugas yang input dan hasilnya diproses identik oleh JavaScript (tanpa bilangan bulat di atas 2^53); JavaScript mendapatkan pengujian dan batas waktu yang sama, dengan signature dan contoh yang ditulis dalam JavaScript. Model menjawab dengan satu blok kode; kami mengambil blok yang mendefinisikan fungsi yang diminta. Waktu respons diukur dari pengiriman permintaan hingga balasan selesai dan ditampilkan hanya sebagai informasi. Babak baru dimulai 20–30 menit setelah babak sebelumnya, selama anggaran harian masih ada.
Sandbox: Setiap jawaban dijalankan satu kali di container baru berbasis gVisor: tanpa akses jaringan, sistem file read-only, memori 512 MB untuk container (sekitar 380 MB untuk kode Python; untuk JavaScript berupa heap 192 MB ditambah buffer), satu core CPU, 64 proses, direktori sementara 16 MB, dan pembatasan output. Kode berjalan di prosesnya sendiri; proses harness terpisah mengirimkan pengujian satu per satu dan mencatat waktu panggilan dari luar, mulai dari pengiriman input hingga penerimaan hasil lengkap, sehingga kode tidak dapat memanipulasi jam. Pengujian yang kehabisan waktu atau menyebabkan proses crash akan dihentikan, dan pengujian berikutnya dijalankan di proses baru. Hasil yang diharapkan tidak pernah masuk ke container: harness mengembalikan hash dari tiap hasil untuk dicocokkan di luar. Contoh yang terlihat menampilkan apa yang dikembalikan oleh kode; input dan hasil tersembunyi tidak pernah ditampilkan.
Penilaian: Tugas dianggap berhasil diselesaikan jika semua pengujian lolos, termasuk input besar dalam batas waktu yang ditentukan. Dalam satu babak, setiap pasangan model bertarung dalam duel yang ditentukan oleh persentase pengujian yang berhasil dilewati. Kecepatan hanya diperhitungkan saat terjadi hasil seri sempurna: kode yang total waktu jalannya di sandbox lebih cepat setidaknya 25% dan selisih 20 ms dinyatakan menang, jika tidak maka seri. Kecepatan model dalam menjawab tidak pernah diperhitungkan. Hingga 28 Oktober 2026, waktu respons model sempat menjadi pemecah seri antar-solusi yang benar; seluruh peringkat setelah itu telah dihitung ulang dari data babak yang tersimpan menggunakan aturan saat ini.
Peringkat: Bradley–Terry diterapkan pada seluruh duel sekaligus, menggunakan metode yang sama seperti suara pertarungan: skala Elo dengan model median di angka 1000, rentang keyakinan 95% dari 100 sampel ulang bootstrap, serta model dengan kurang dari 10 babak berating dicantumkan di bagian bawah. Model yang gagal menjawab karena eror penyedia dinyatakan gugur dari babak tersebut dan diistirahatkan selama 2 jam, atau 24 jam setelah eror akun atau model.
Batasan & catatan: Peringkat ini hanya menilai satu kali percobaan per tugas, tanpa kesempatan untuk menguji coba kode terlebih dahulu, sehingga sifatnya adalah pass@1 dalam anggaran token yang ketat, bukan performa puncak masing-masing model. Waktu eksekusi diukur pada server bersama, sehingga perbedaan kecil hanyalah noise; karena itulah hanya perbedaan yang signifikan yang dihitung. Batas waktu dikalibrasi pada Python, sehingga lebih longgar untuk JavaScript yang biasanya berjalan lebih cepat. Soal tantangan hanya tersedia dalam bahasa Inggris dan 71 soal ini akan berulang; ada kemungkinan model pernah melihat masalah serupa saat pelatihan.
Kesempatan kedua: Model yang kodenya gagal pada salah satu pengujian mendapat satu kesempatan lagi dengan kodenya sendiri beserta hasil evaluasi: jumlah tes yang lolos, setiap contoh yang gagal beserta nilai yang diharapkan dan yang dikembalikan atau pesan erornya, dan untuk tes tersembunyi serta input besar hanya ditampilkan jumlah yang gagal dan alasannya, tanpa pernah membocorkan inputnya. Kode baru diuji pada pengujian yang sama. Hasilnya ditampilkan di bawah jawaban pertama dan pada papan peringkat berstatus diperbaiki / dicoba ulang, serta tidak mengubah peringkat maupun rating.

Grafik

Grafik pasar murni menggunakan data yang kami miliki. Jika data terbatas, grafik akan menjelaskannya.

Harga vs kualitas: Harga adalah harga gabungan per 1M token dengan rasio 3 token input per 1 token output, racikan yang dipakai di seluruh situs ini, dalam skala logaritma; model gratis tidak disertakan. Kualitas diukur dari rating suara pengguna (Bradley–Terry) setelah setidaknya 5 model mengantongi 20+ suara, atau rating catur (Glicko-2) jika belum; Anda dapat beralih di antara keduanya. Model berada di Pareto frontier jika tidak ada model yang lebih murah dengan rating lebih tinggi. Dengan kurang dari 3 rating mapan, garis frontier ditarik melewati rating sementara, dan keterangan tersebut dicantumkan pada grafik. Kami tidak mengambil skor dari papan peringkat lain.
Tanggal rilis: Kuartal rilis model dihitung berdasarkan tanggal model ditambahkan ke katalog OpenRouter, biasanya selisih beberapa hari dari rilis perdananya. Cuplikan bertanggal dari suatu model ("0902") tidak dihitung terpisah. Katalog hanya mencantumkan model yang masih tersedia saat kami mulai mencatat pada Oktober 2026, sehingga kuartal-kuartal terdahulu tidak menyertakan model yang sudah dihentikan sebelum periode tersebut.
Negara: Setiap author di OpenRouter dipetakan ke negara kantor pusat lab tersebut menggunakan tabel pemetaan di kode kami. Fine-tuner komunitas, model siluman (stealth), dan lab yang tidak dapat kami pastikan lokasinya dikelompokkan ke Lainnya / tidak diketahui. Belum ada lab Rusia (Yandex, Sber GigaChat, T-Bank) yang terdaftar di OpenRouter, sehingga Rusia tidak muncul pada grafik.
Open weights: Model dikategorikan sebagai open-weights jika OpenRouter mencantumkan repositori Hugging Face untuknya (hugging_face_id), dan sebagai proprietary jika tidak. Ini hanya menandakan bobot modelnya dirilis ke publik, bukan berarti lisensinya bebas: banyak model open-weights membatasi penggunaan komersial.
Pangsa token: OpenRouter memublikasikan volume token harian per model dan mingguan per lab (sembilan lab teratas; sisanya digabung) di bawah lisensi CC BY 4.0. Kami mengambil data ini tiap 6 jam, menyimpan satu cuplikan 7 hari dari tiap model per hari, dan tidak memasukkan minggu yang sedang berjalan sampai datanya lengkap. Angka ini mencerminkan pangsa token di OpenRouter, bukan pangsa pasar industri: lalu lintas API langsung, aplikasi chat, dan kontrak enterprise tidak dihitung, serta model murah, gratis, dan berbasis agen memiliki porsi lebih dominan di sana. Sumbernya adalah data di balik halaman peringkat OpenRouter, bukan API terdokumentasi; jika data tersebut berubah, grafik mempertahankan data terakhir yang tersedia.
Data terbuka: Semua data pada halaman grafik dapat diakses dalam format JSON di /api/v1/charts.

Berita

Data kami sendiri didahulukan, baru pernyataan resmi dari vendor.

Peristiwa kami: Model baru, pembaruan harga, penghentian layanan, insiden, dan pemuncak arena disusun secara otomatis dari data di atas tanpa penyuntingan manual.
Sumber luar: Blog resmi vendor via RSS, rilis GitHub untuk perkakas populer, dan diskusi Hacker News seputar AI dengan minimal 150 poin, dipantau setiap 15 menit.
Penyuntingan: Model bahasa kecil membuat judul dan rangkuman satu kalimat, memberi skor kepentingan dari 1 hingga 5, serta menandai berita duplikat. Model hanya membaca judul dan ringkasan RSS, tidak pernah membaca artikel lengkap, dan setiap item menyertakan tautan ke sumber asli.

Keterbatasan

Hal-hal yang belum dapat dipantau oleh situs ini.

Satu lokasi pemantauan: Pemeriksaan dijalankan dari satu server di Finlandia. Gangguan regional di lokasi lain mungkin tidak terdeteksi, dan gangguan jaringan pada sisi kami bisa tampak seolah-olah kendala dari vendor; itulah sebabnya satu sinyal tidak pernah menentukan status secara mutlak jika sinyal lainnya tidak sejalan.
Tidak semua API: Sebagian vendor tidak menyediakan halaman status yang dapat dibaca mesin, dan pemeriksaan independen kami memerlukan kunci API untuk tiap vendor. Jika keduanya tidak tersedia, kesimpulan status bergantung sepenuhnya pada data OpenRouter dan laporan pengguna.
Data terbuka: Status terkini dari setiap layanan tersedia dalam format JSON di /api/v1/status, gratis dan tanpa memerlukan kunci API.