نحوه کارکرد LLM Live

تمام نتایج در این سایت بر اساس قوانینی است که می‌توانید در اینجا بخوانید. هیچ ارائه‌دهنده‌ای برای جایگاه پولی پرداخت نمی‌کند و اعداد زیر دقیقاً همان اعدادی هستند که در کد استفاده می‌شوند.

وضعیت

یک نتیجه‌گیری از چهار سیگنال. بدترین سیگنال ملاک است.

بررسی‌های ما: جایی که کلید API داریم، یک ورکر هر ۶۰ تا ۱۲۰ ثانیه یک درخواست استریمینگ بسیار کوچک (شمارش از ۱ تا ۲۰، حداکثر ۸۰ توکن) به API خود ارائه‌دهنده ارسال می‌کند و زمان تا اولین توکن و توکن در ثانیه را ثبت می‌کند. بررسی ناموفق دو بار با فاصله ۲۰ ثانیه تکرار می‌شود. محدودیت‌های نرخ مصرف (Rate limits) و خطاهای سمت زیرساخت خود ما شمرده نمی‌شوند. صفحه هر سرویس مشخص می‌کند که بررسی‌های ما برای آن فعال است یا خیر.
قوانین: ۳ بررسی آخر ناموفق ← قطعی بزرگ (Major outage). حداقل نیمی از بررسی‌ها در ۱۰ دقیقه ناموفق ← قطعی جزئی (Partial outage). حداقل ۲۰٪ ناموفق، یا میانه زمان تا اولین توکن بیش از ۳ ثانیه و ۳ برابر کندتر از میانه ۲۴ ساعته آن ← افت کیفیت (Degraded).
صفحات وضعیت رسمی: هر یک دقیقه بررسی می‌شوند. وضعیت قدیمی‌تر از ۱۵ دقیقه نادیده گرفته می‌شود تا یک صفحه قفل‌شده نتواند وضعیت سرویس را به‌اشتباه سبز یا قرمز نگه دارد.
از طریق OpenRouter: OpenRouter سهم درخواست‌های موفق را برای هر ارائه‌دهنده از هر مدل منتشر می‌کند. اگر حداقل ۲ مدل روی اندپوینت‌های اختصاصی خود ارائه‌دهنده و حداقل نیمی از آنها ظرف ۳۰ دقیقه زیر ۸۰٪ و ۱۰ درصد پایین‌تر از سطح ۲۴ ساعته باشند ← افت کیفیت؛ زیر ۵۰٪ به‌طور میانگین ← قطعی جزئی. اگر ۳ ارائه‌دهنده یا بیشتر هم‌زمان دچار مشکل شوند، مشکل از خود OpenRouter است و سیگنال نادیده گرفته می‌شود.
گزارش‌های کاربران: حداقل ۱۰ گزارش در ۱۵ دقیقه و حداقل ۴ برابر نرخ معمول ← افت کیفیت. گزارش‌ها به‌تنهایی هرگز یک سرویس را قطع اعلام نمی‌کنند.
بازیابی و هشدارها: وضعیت هر ۳۰ ثانیه بازبینی می‌شود. یک سرویس تنها پس از ۳ دقیقه بدون مشکل به حالت عملیاتی (Operational) بازمی‌گردد تا نوسانات موقت API باعث ارسال هشدارهای مکرر نشود. هشدارها هنگام شروع مشکل، وخیم‌تر شدن آن و پایانش ارسال می‌شوند.
نمودارهای میله‌ای: هر میله ۳۰ دقیقه است و با بدترین وضعیت درون آن رنگ‌بندی می‌شود. رنگ خاکستری یعنی داده‌ای نیست. آپ‌تایم سهم میله‌های بدون مشکل است.

مدل‌ها و قیمت‌ها

همه قیمت‌ها از یک API عمومی می‌آیند و هر ۵ دقیقه بررسی می‌شوند.

منبع: فهرست مدل‌ها، قیمت‌ها و پنجره‌های کانتکست از API عمومی OpenRouter دریافت می‌شوند. قیمت‌ها برای هر 1M توکن به همان صورتی است که OpenRouter درج کرده است، که معمولاً با قیمت خود ارائه‌دهنده مطابقت دارد اما نه همیشه.
تاریخچه قیمت: ما هر ۵ دقیقه یک اسنپ‌شات نگه می‌داریم و تمام تغییرات را ثبت می‌کنیم؛ بنابراین کاهش قیمت‌ها و مدل‌های جدید یا بازنشسته ظرف چند دقیقه در فید اخبار نمایش داده می‌شوند.
کجا می‌توانید اجرا کنید: تعداد ارائه‌دهندگان متمایزی که یک مدل را در OpenRouter میزبانی می‌کنند. پلن‌های Flex، بسته‌ای (batch)، اولویت‌دار (priority) و Spot محاسبه نمی‌شوند، زیرا طبق ساختارشان اغلب ممکن است در دسترس نباشند.

میدان شطرنج

مدل‌ها با یکدیگر بازی می‌کنند. یک موتور شطرنج امتیازها را منصفانه نگه می‌دارد.

یک حرکت: مدل وضعیت بازی (FEN) و فهرست حرکات را دریافت می‌کند و با یک حرکت و توضیحی کوتاه پاسخ می‌دهد. قانونی بودن حرکت با chess.js سنجیده می‌شود. بعد از یک حرکت غیرقانونی، فهرست حرکات مجاز به مدل داده شده و دوباره تلاش می‌کند؛ سومین حرکت غیرقانونی به باخت منجر می‌شود. سه پاسخ پیاپی بدون حرکت نیز باخت با اتمام زمان تلقی می‌شود.
بودجه تفکر: استدلال به ۱۰۲۴ توکن در هر حرکت محدود شده تا هزینه هر بازی چند سنت بیشتر نباشد. این محدودیت قدرت مدل‌های استدلالی را کمتر نشان می‌دهد، بنابراین میدان بازی، مدل‌ها را تحت بودجه کم و یکسان می‌سنجد نه در اوج توانایی‌شان.
رتبه‌بندی: Glicko-2، که میزان عدم قطعیت رتبه را لحاظ می‌کند. لیدربورد بر اساس رتبه منهای دو انحراف معیار مرتب می‌شود، که یک برآورد محافظه‌کارانه است. یک مدل تا زمانی که ۱۰ بازی نکرده باشد موقت محسوب می‌شود. در جفت‌سازی‌ها، اولویت با مدل‌های با بازی کمتر و رتبه‌های نزدیک به هم است.
دقت: Stockfish هر وضعیت را در عمق ۱۴ ارزیابی می‌کند. افت شانس برد به میزان ۵، ۱۰ یا ۱۵ امتیاز به‌ترتیب بی‌دقتی، اشتباه یا خطای فاحش تلقی می‌شود؛ محاسبه دقت از فرمول Lichess استفاده می‌کند.
بازی‌های رتبه‌بندی‌نشده: بازی‌ای که به‌دلیل خطای API ارائه‌دهنده متوقف شود در رتبه‌بندی حساب نمی‌شود. همچنین یک بازی می‌تواند به‌صورت دستی با ذکر دلیل عمومی باطل اعلام شود.

آرای انسانی

شما پاسخ بهتر را از میان دو پاسخ ناشناس انتخاب می‌کنید. یک مدل Bradley–Terry آرا را به رتبه‌بندی تبدیل می‌کند.

یک نبرد: پرامپت شما برای دو مدل مختلف از استخری با حدود ۲۰ مدل روز از دوازده آزمایشگاه ارسال می‌شود؛ جایگاه‌ها جابه‌جا شده و نام‌ها تا زمان ثبت رأی پنهان می‌مانند. مدل‌ها و جفت‌های با آرای کمتر بیشتر انتخاب می‌شوند و مدل‌های پرچمدار گران‌قیمت کمتر. هر پاسخ به ۱۰۲۴ توکن با استدلال خاموش محدود است، یا در صورتی که خاموش نشود به ۵۱۲ توکن، تا نبرد پاسخی سریع و روزمره را بسنجد، نه توان نهایی مدل را.
آرا: تنها پس از پایان هر دو پاسخ و فقط یک بار در هر نبرد می‌توانید رأی دهید. رأی به A یا B به معنی برد آن مدل است؛ تساوی و «هر دو بد هستند» مانند LMArena نیم امتیاز برای هر طرف حساب می‌شود. نبردهایی که در آنها مدلی پاسخ نداده باشد شمرده نمی‌شوند.
رتبه‌بندی: یک مدل Bradley–Terry به‌طور هم‌زمان بر روی تمام آرا برازش می‌شود، بنابراین برخلاف Elo، ترتیب آرا اهمیتی ندارد. امتیازات در مقیاس Elo نمایش داده می‌شوند: اختلاف ۴۰۰ امتیاز به معنی شانس ترجیح ۱۰ به ۱ است، و میانه مدل‌ها روی ۱۰۰۰ ثابت شده است. یک متغیر پیشین ضعیف (یک تساوی فرضی به ازای هر مدل) رتبه مدلی را که هنوز نباخته محدود و تعریف‌شده نگه می‌دارد.
اطمینان: بازه ۹۵٪ از ۱۰۰ بار نمونه‌گیری مجدد بوت‌استرپ از آرا به‌دست می‌آید. رتبه برابر است با ۱ به‌علاوه تعداد مدل‌هایی که کل بازه‌شان بالاتر از این مدل است؛ بنابراین مدل‌هایی با بازه‌های هم‌پوشان رتبه مشترک دارند. مدل‌هایی با کمتر از ۲۰ رأی پس از بقیه فهرست می‌شوند. همه‌چیز هر ۱۰ دقیقه از نو محاسبه می‌شود.
دسته‌بندی‌ها: یک مدل زبانی کوچک پرامپت‌های رأی‌داده‌شده را به دسته‌های کدنویسی، ریاضی، نگارش خلاقانه، مشاوره و راهنما، دانش و حقایق، یا موارد دیگر دسته‌بندی کرده و زبان را تشخیص می‌دهد؛ جدول پرامپت‌های روسی فقط از پرامپت‌های روسی استفاده می‌کند. یک مدل زمانی در دسته‌بندی نمایش می‌یابد که حداقل ۲۰ رأی در آن داشته باشد.
ملاحظات: هر کاربری می‌تواند به‌صورت ناشناس رأی دهد. محدودیت‌ها به ازای هر بازدیدکننده (۸ نبرد در ساعت، ۴۰ نبرد در روز، محاسبه‌شده با هش همراه با salt آدرس IP) و بودجه روزانه، تلاش برای تقلب را بسیار پرهزینه می‌کند اما نمی‌تواند آن را کاملاً منتفی کند. کاربران فرم و ظاهر را مانند محتوا قضاوت می‌کنند: پاسخ‌های طولانی‌تر و با قالب‌بندی زیبا معمولاً برنده می‌شوند. پرامپت‌ها برای دسته‌بندی نگهداری می‌شوند و ممکن است به‌صورت تجمیعی منتشر شوند؛ آدرس‌های خام IP هرگز ذخیره نمی‌شوند.

مناظره‌ها

دو مدل در طول سه راند بر سر یک گزاره مناظره می‌کنند. یک داور هوش مصنوعی دو بار امتیاز می‌دهد، سپس بینندگان رأی می‌دهند.

گزاره‌ها: حدود ۴۰ گزاره گلچین‌شده در پنج گروه: فناوری و هوش مصنوعی، جامعه، علم، اخلاق و موضوعات روزمره، هرکدام به دو زبان انگلیسی و روسی. ما انتخابات و کاندیداها، تقابل ادیان و هر موضوعی علیه گروه‌های خاصی از مردم را کنار گذاشته‌ایم. گزاره بعدی کم‌استفاده‌ترین گزینه‌ای است که در ده مناظره اخیر نبوده؛ هر سه مناظره یک بار به زبان روسی برگزار می‌شود.
مناظره‌کنندگان: دو مدل مختلف از استخر نبرد با حدود ۲۰ مدل روز. مدل‌هایی با مناظرات کمتر و جفت‌هایی که کمتر با هم روبه‌رو شده‌اند شانس انتخاب بیشتری دارند و مدل‌های پرچمدار گران‌قیمت کمتر. موضع موافق یا مخالف کاملاً تصادفی است، بنابراین مدل سمتی را که با آن هم‌عقیده است انتخاب نمی‌کند. مدلی که پیوسته خطا بدهد به مدت ۲ ساعت، و پس از خطای حساب یا مدل به مدت ۲۴ ساعت معلق می‌شود. یک مناظره جدید ۳۰ تا ۶۰ دقیقه پس از قبلی آغاز می‌شود، تا زمانی که بودجه روزانه باقی باشد.
پرسوناها: از ۲۹ اکتبر ۲۰۲۶ مدل‌ها با شخصیت مناظره می‌کنند: دو پرسونا از گروهی ده‌نفره از شخصیت‌های خیالی (بدون افراد واقعی، سیاستمداران یا چهره‌های مذهبی)، هرکدام با سبک بیان خاص خود. پرسوناها جدا از مدل‌ها انتخاب می‌شوند و مواردی با مناظره‌های کمتر شانس بالاتری دارند. هر پرسونا یک حافظه دارد: پیشینه رکورد خود، رکورد در برابر حریف امروز، یادداشت‌های کوتاه از سه مناظره قبلی‌اش و جمله‌ای مشهور از خودش که همگی به پرامپت آن تزریق می‌شوند. یک مدل کوچک (Qwen Flash) این یادداشت‌ها را بعد از هر مناظره می‌نویسد؛ آنها از همان بررسی نظارتی سخنان عبور می‌کنند و یک نقل قول تنها زمانی ثبت می‌شود که عیناً کلمه‌به‌کلمه در سخنان خود پرسونا آمده باشد. لیدربورد پرسونا از آرای داور با همین روش استفاده می‌کند؛ به داور دستور داده شده است که استدلال‌ها را ارزیابی کند، نه شخصیت را.
راندها: شش نوبت کاملاً یک‌درمیان: بیانیه‌های آغازین، دفاعیات و بیانیه‌های پایانی. در هر راند موافق ابتدا صحبت می‌کند و مخالف پاسخ می‌دهد، بنابراین مخالف کلام آخر را دارد. هر سخنران گزاره، موضع خود و کل متن گفت‌وگوی تا آن لحظه را می‌بیند و حداکثر ۲۵۰ کلمه (۶۰۰ توکن، ۸۰۰ توکن در روسی) با استدلال خاموش یا محدود به ۵۱۲ توکن فرصت دارد. به مدل‌ها تأکید شده که از ساختن آمار یا نقل‌قول خودداری کنند و نام خود را نبرند.
نظارت بر محتوا: هر نوبت پیش از نمایش بررسی می‌شود: توسط Llama Guard 4، یک طبقه‌بند امنیتی کوچک، با یک مدل عمومی کوچک به‌عنوان پشتیبان. اگر نوبتی علامت‌گذاری شود، متن آن با عبارت «حذف‌شده توسط نظارت» جایگزین شده، مناظره متوقف می‌شود و در هیچ رتبه‌بندی‌ای لحاظ نخواهد شد.
داور: یک مدل کوچک از آزمایشگاهی متفاوت از هر دو مناظره‌کننده (Claude Haiku، DeepSeek Flash یا Qwen Flash) سخنان را بر اساس موضع و بدون نام مدل‌ها می‌خواند، به هر طرف از ۱ تا ۱۰ در استدلال، پاسخ به حریف و وضوح نمره می‌دهد و برنده را با توضیحی کوتاه معرفی می‌کند. قضاوت دو بار انجام می‌شود، یک بار با قرار دادن سخنان موافق در ابتدا و یک بار با سخنان مخالف، زیرا داوران مبتنی بر مدل زبانی معمولاً به سمتی که اول می‌خوانند تمایل نشان می‌دهند. یک طرف تنها زمانی برنده است که هر دو بار نتیجه یکسان باشد؛ در غیر این صورت، رأی به تساوی داده می‌شود.
بینندگان: با پایان مناظره، هر کاربری می‌تواند به مدت ۷ روز به موافق، مخالف یا تساوی رأی دهد: یک رأی برای هر مناظره به ازای هر بازدیدکننده (هش همراه با salt آدرس IP و هرگز خود آدرس) و حداکثر ۳۰ رأی در ساعت. نتایج پس از رأی دادن نمایش داده می‌شوند، و رأی داور نیز همین‌طور، مگر آنکه درخواست کنید ابتدا آن را ببینید. یک مناظره وقتی حداقل ۵ رأی دریافت کند در جدول بینندگان محاسبه می‌شود؛ گزینه‌ای که بیشترین رأی را بیاورد تعیین‌کننده است، و برابری موافق و مخالف به منزله تساوی خواهد بود.
رتبه‌بندی‌ها: دو جدول Bradley–Terry با همان متد رأی‌گیری نبردها: یکی از آرای داور و دیگری از اکثریت آرای بینندگان؛ تساوی نیم برد برای هر طرف است. همه نتایج یک‌جا برازش می‌شوند، بنابراین ترتیب مناظرات تأثیری ندارد و مناظره باطل‌شده صرفاً حذف می‌شود. مقیاس Elo با میانه ۱۰۰۰، بازه ۹۵٪ از ۱۰۰ بار نمونه‌گیری مجدد بوت‌استرپ، و مدل‌های با کمتر از ۱۰ مناظره رسمی پس از سایرین آورده می‌شوند. محاسبه هر ۱۵ دقیقه تکرار می‌شود.
ملاحظات: این معیار هنر مناظره در شرایط فشرده را می‌سنجد نه دانش یا حقیقت را: یک مدل می‌تواند با دفاع عالی از یک موضع ضعیف برنده شود. داور یک مدل کوچک با سوگیری‌های خاص خود است، مانند تمایل به لحن بااعتمادبه‌نفس؛ جابه‌جایی ترتیب فقط سوگیری ناشی از تقدم و تأخر را حذف می‌کند، نه هر نوع سوگیری دیگری را. برخی گزاره‌ها ممکن است به نفع یک طرف باشند، اما موضع‌ها تصادفی است و در تعداد زیاد مناظرات تعدیل می‌شود.

میدان کدنویسی

مدل‌ها یک مسئله مشترک را در Python یا JavaScript حل می‌کنند. آزمون‌های پنهان تصمیم‌گیرنده‌اند؛ سرعت فقط تساوی‌های مطلق را می‌شکند.

مسئله‌ها: ۷۱ مسئله اختصاصی: ۱۲ آسان، ۲۱ متوسط و ۳۸ سخت. مسائل آسان‌تر شامل الگوریتم‌های کلاسیک و پردازش متن و داده‌ها (CSV، نسخه‌ها، لاگ‌ها، مسیرهای JSON) هستند؛ مسائل دشوار به الگوریتم‌های پیشرفته یا قوانین دقیق نیاز دارند: lazy segment trees، تطابق و بیشینه جریان، suffix automata، برنامه‌نویسی پویا روی درخت و bitmask، هندسه دقیق اعداد صحیح، یک مفسر کوچک، دفتر سفارشات (order book) و زمان‌بند. هر مسئله دارای شرح، امضای تابع، مثال‌های قابل مشاهده، ۶ تا ۱۹ آزمون پنهان همراه با حالت‌های مرزی و برای ۶۶ مورد، ورودی‌های حجیم با محدودیت زمانی است. خروجی‌های مورد انتظار از پاسخ‌های مرجعی به دست آمده‌اند که درستی آنها با آزمون brute force روی هزاران ورودی تصادفی کوچک اعتبارسنجی شده است. محدودیت زمان دو برابر کندترین زمان از میان سه اجرای سندرومیک راه‌حل مرجع و یک راه‌حل ساده کتابی، به‌علاوه ۱۰۰ میلی‌ثانیه است: الگوریتم بهینه با فراغ بال پاس می‌شود اما الگوریتم با مرتبه دو پاس نمی‌شود. شش راند از هر ده راند مسئله دشوار دارند، سه راند متوسط و یک راند آسان؛ در هر سطح دشواری، اولویت با کم‌استفاده‌ترین مسئله‌ای است که در ده دور قبل نیامده باشد.
یک راند: چهار مدل از استخری با حدود ۲۰ مدل کدنویسی (در صورت امکان یکی از هر آزمایشگاه) مسئله را هم‌زمان با استدلال خاموش (یا محدود به ۱۰۲۴ توکن در صورت عدم امکان خاموشی) و تا ۲۰۴۸ توکن برای پاسخ (۴۰۹۶ در مسائل دشوار) دریافت می‌کنند. حدود دو راند از سه راند با Python 3.12 و یک راند با JavaScript (Node.js 24) روی یکی از ۶۵ مسئله‌ای اجرا می‌شود که ورودی و خروجی یکسانی در JavaScript دارند (بدون اعداد صحیح بزرگتر از 2^53)؛ JavaScript همان آزمون‌ها و محدودیت‌های زمانی را دریافت می‌کند و امضای تابع و مثال‌ها با JavaScript نوشته می‌شوند. مدل‌ها با یک بلوک کد پاسخ می‌دهند؛ ما کدی را می‌گیریم که تابع درخواستی را تعریف می‌کند. زمان پاسخ از لحظه درخواست تا پایان پاسخ سنجیده و صرفاً جهت اطلاع نمایش داده می‌شود. راند جدید ۲۰ تا ۳۰ دقیقه بعد از راند قبلی تا زمانی که بودجه روزانه اجازه دهد شروع می‌شود.
سندباکس: هر پاسخ یک بار در کانتینری تازه تحت gVisor اجرا می‌شود: بدون شبکه، سیستم فایل فقط‌خواندنی، ۵۱۲ مگابایت حافظه کانتینر (حدود ۳۸۰ مگابایت برای کد Python؛ برای JavaScript یک heap به میزان ۱۹۲ مگابایت به‌علاوه بافرها)، یک هسته پردازنده، ۶۴ فرآیند، پوشه موقت ۱۶ مگابایتی و سقف خروجی. کد در فرآیند خودش اجرا می‌شود؛ یک فرآیند آزمون‌گیرنده جداگانه هر تست را یک‌به‌یک تحویل داده و زمان هر فراخوانی را از بیرون اندازه می‌گیرد (از ارسال ورودی تا دریافت کل نتیجه) تا کد دسترسی به ساعت نداشته و نتواند آن را تغییر دهد. تستی که بیش از حد طول بکشد یا کرش کند متوقف شده و باقی تست‌ها در فرآیندی تازه ران می‌شوند. نتایج مورد انتظار هرگز وارد کانتینر نمی‌شوند: آزمون‌گیرنده هش هر نتیجه را برمی‌گرداند تا در بیرون مقایسه شود. مثال‌های آشکار نشان می‌دهند کد چه پاسخی داده است؛ ورودی‌ها و نتایج پنهان هرگز آشکار نمی‌شوند.
امتیازدهی: مسئله زمانی حل‌شده تلقی می‌شود که همه آزمون‌ها (ورودی‌های حجیم در محدوده زمانی خود) با موفقیت پاس شوند. در هر راند، هر جفت مدل یک دوئل به حساب می‌آیند که نتیجه با درصد آزمون‌های پاس‌شده تعیین می‌شود. فقط در شرایط تساوی مطلق سرعت دخالت دارد: کدی که مجموع زمان اجرای آن در سندباکس حداقل ۲۵٪ و ۲۰ میلی‌ثانیه کمتر باشد برنده است، در غیر این صورت مساوی است. سرعت پاسخ‌دهی خود مدل هرگز ملاک نیست. تا ۲۸ اکتبر ۲۰۲۶ زمان پاسخ بین پاسخ‌های درست قضاوت می‌کرد؛ از آن تاریخ تمام رتبه‌بندی‌ها از راندهای ذخیره‌شده بر اساس قوانین فعلی دوباره محاسبه شدند.
رتبه‌بندی: Bradley–Terry روی همه دوئل‌ها به‌صورت یکپارچه، مشابه روش آرای نبرد: مقیاس Elo با میانه ۱۰۰۰، بازه ۹۵٪ حاصل از ۱۰۰ بار نمونه‌گیری مجدد بوت‌استرپ، و مدل‌های با کمتر از ۱۰ راند ارزیابی‌شده بعد از دیگران لیست می‌شوند. مدلی که به دلیل خطای ارائه‌دهنده نتواند پاسخ دهد از آن دور حذف شده و به مدت ۲ ساعت، و پس از خطای حساب یا مدل به مدت ۲۴ ساعت معلق می‌شود.
ملاحظات: این رتبه‌بندی یک تلاش در هر مسئله را بدون امکان اجرای آزمایشی کد می‌سنجد، بنابراین pass@1 با بودجه توکن محدود است نه اوج توانایی مدل. زمان اجرا روی یک سرور مشترک سنجیده می‌شود، بنابراین تفاوت‌های اندک خطا محسوب می‌شوند؛ به همین دلیل فقط فواصل فاحش ملاک هستند. محدودیت‌های زمانی برای Python تنظیم شده‌اند، بنابراین برای JavaScript که معمولاً سریع‌تر است انعطاف‌پذیرترند. مسائل فقط به زبان انگلیسی هستند و ۷۱ مسئله تکرار خواهند شد؛ ممکن است مدلی مسائل مشابه را در دوره آموزش خود دیده باشد.
تلاش دوم: مدلی که کد آن در هر آزمونی رد شود، یک فرصت دیگر با کد خودش و نتایج دریافت می‌کند: تعداد آزمون‌های پاس‌شده، هر مثال ناموفق با مقدار مورد انتظار و مقدار بازگشتی یا خطا، و برای آزمون‌های پنهان و ورودی‌های بزرگ تنها تعداد موارد ردشده و علت آن (بدون نمایش ورودی‌ها). کد جدید با همان آزمون‌ها اجرا می‌شود. این پاسخ زیر پاسخ اول و در لیدربورد با عنوان اصلاح‌شده / تکرارشده نشان داده می‌شود و جایگاه یا رتبه‌بندی را تغییر نمی‌دهد.

نمودارها

نمودارهای بازار فقط از داده‌هایی استفاده می‌کنند که از قبل داریم. در صورت کمبود داده، داخل نمودار اعلام می‌شود.

قیمت در برابر کیفیت: قیمت، میانگین موزون قیمت برای هر 1M توکن به نسبت ۳ توکن ورودی به ۱ توکن خروجی است (فرمول یکسانی که در سراسر سایت اعمال شده) در مقیاس لگاریتمی؛ مدل‌های رایگان حذف شده‌اند. کیفیت، رتبه آرای انسانی (Bradley–Terry) است به شرطی که حداقل ۵ مدل بالای ۲۰ رأی داشته باشند، در غیر این صورت رتبه شطرنج (Glicko-2)؛ می‌توانید بین آنها جابه‌جا شوید. یک مدل زمانی روی مرز پارتو (Pareto frontier) قرار می‌گیرد که هیچ مدل ارزان‌تری امتیازی بالاتر از آن نداشته باشد. با کمتر از ۳ رتبه قطعی، این مرز شامل مدل‌های موقت نیز می‌شود و این موضوع در نمودار درج می‌گردد. ما هیچ نمره‌ای از سایر لیدربوردها قرض نمی‌گیریم.
تاریخ‌های عرضه: فصل انتشار یک مدل، تاریخی است که به کاتالوگ OpenRouter اضافه شده است، که معمولاً چند روز پس از عرضه رسمی است. نسخه‌های تاریخ‌دار یک مدل (مانند «0902») جداگانه محاسبه نمی‌شوند. این کاتالوگ فقط مدل‌هایی را فهرست می‌کند که در زمان شروع رصد ما در اکتبر ۲۰۲۶ فعال بوده‌اند، بنابراین فصول قدیمی‌تر فاقد مدل‌هایی هستند که قبل از آن بازنشسته شده‌اند.
کشورها: سازندگان در OpenRouter بر اساس یک جدول مشخص در کدهای ما به کشور دفتر مرکزی آزمایشگاه نگاشت می‌شوند. تیونرهای کامیونیتی، مدل‌های بدون اطلاعات رسمی و آزمایشگاه‌هایی که نتوانستیم با اطمینان تشخیص دهیم در دسته «سایر / نامشخص» قرار می‌گیرند. هنوز هیچ آزمایشگاه روسی (Yandex، Sber GigaChat، T-Bank) در OpenRouter حضور ندارد، بنابراین روسیه در نمودارها دیده نمی‌شود.
وزن‌های باز: یک مدل زمانی با وزن باز (open-weights) محسوب می‌شود که OpenRouter مخزن Hugging Face آن را معرفی کرده باشد (hugging_face_id)، و در غیر این صورت اختصاصی تلقی می‌شود. این موضوع صرفاً نشان‌دهنده انتشار وزن‌هاست نه آزاد بودن پروانه نرم‌افزاری؛ بسیاری از مدل‌های با وزن باز استفاده تجاری را محدود می‌کنند.
سهم توکن: OpenRouter شمارش روزانه توکن‌ها به ازای هر مدل و شمارش هفتگی به ازای هر آزمایشگاه (نه مورد برتر؛ بقیه تجمیع‌شده) را تحت مجوز CC BY 4.0 منتشر می‌کند. ما هر ۶ ساعت آنها را دریافت می‌کنیم، یک اسنپ‌شات ۷ روزه از هر مدل در روز نگه می‌داریم و هفته در جریان را تا تکمیل شدن در نظر نمی‌گیریم. این داده سهم توکن‌ها در OpenRouter است نه کل بازار: ترافیک مستقیم API، اپلیکیشن‌های چت و قراردادهای سازمانی محاسبه نمی‌شوند، و مدل‌های ارزان، رایگان و عامل‌محور در آنجا وزن بیشتری دارند. منبع این اطلاعات داده‌های پشت صفحه رتبه‌بندی OpenRouter است نه یک API مستند؛ اگر تغییر کند، نمودارها آخرین داده‌های دریافتی خود را حفظ می‌کنند.
داده‌های باز: تمام اطلاعات موجود در صفحه نمودارها در قالب JSON در آدرس /api/v1/charts در دسترس است.

اخبار

اول داده‌های خودمان، سپس گفته‌های رسمی ارائه‌دهندگان.

رویدادهای ما: مدل‌های جدید، تغییرات قیمت، بازنشستگی‌ها، اختلالات و پیشتازان میدان بدون ویرایش انسانی از داده‌های بالا استخراج و تولید می‌شوند.
منابع خارجی: وبلاگ ارائه‌دهندگان از طریق RSS، نسخه‌های جدید ابزارهای بزرگ در GitHub و مطالب هوش مصنوعی در Hacker News با حداقل ۱۵۰ امتیاز، که هر ۱۵ دقیقه بررسی می‌شوند.
ویرایش: یک مدل زبانی کوچک یک تیتر و خلاصه‌ای یک‌خطی می‌نویسد، اهمیت را از ۱ تا ۵ ارزیابی کرده و موارد تکراری را مشخص می‌کند. این مدل فقط عنوان و متن کوتاه RSS را می‌بیند نه کل مقاله را، و تمام موارد به منبع اصلی لینک دارند.

محدودیت‌ها

آنچه این سایت هنوز به آن دسترسی ندارد.

یک موقعیت مکانی: بررسی‌ها از یک سرور در فنلاند انجام می‌شوند. قطعی منطقه‌ای در نقاط دیگر ممکن است ثبت نشود، و اختلال شبکه از سمت ما می‌تواند شبیه به اختلال ارائه‌دهنده به نظر برسد؛ به همین دلیل وقتی سایر سیگنال‌ها هم‌نظر نیستند، یک سیگنال هرگز به‌تنهایی تعیین‌کننده نیست.
نه هر API: برخی ارائه‌دهندگان فاقد صفحه وضعیت خوانا برای ماشین هستند و بررسی‌های مستقیم ما نیز برای هر ارائه‌دهنده به کلید API نیاز دارد. در غیاب هر دو، ملاک وضعیت صرفاً داده‌های OpenRouter و گزارش‌های کاربران خواهد بود.
داده‌های باز: وضعیت لحظه‌ای هر سرویس در قالب JSON در مسیر /api/v1/status به‌صورت رایگان و بدون نیاز به کلید در دسترس است.