जानें LLM Live कैसे काम करता है
इस साइट पर हर फ़ैसला उन नियमों से तय होता है जिन्हें आप यहाँ पढ़ सकते हैं। कोई भी वेंडर लिस्टिंग के लिए पैसे नहीं देता, और नीचे दिए गए आंकड़े वही हैं जिनका इस्तेमाल कोड करता है।
स्थिति
चार संकेतों से एक निर्णय। सबसे ख़राब स्थिति को प्राथमिकता।
- हमारी जाँच
- जहाँ हमारे पास API key है, वहाँ एक वर्कर हर 60–120 सेकंड में वेंडर की अपनी API पर एक छोटा स्ट्रीमिंग अनुरोध (1 से 20 तक गिनती, अधिकतम 80 टोकन) भेजता है और पहले टोकन का समय व टोकन प्रति सेकंड दर्ज करता है। विफल जाँच को 20 सेकंड के अंतराल पर दो बार दोहराया जाता है। हमारी अपनी सेटअप की दर सीमाएँ (rate limits) और त्रुटियाँ इसमें नहीं गिनी जातीं। हर सर्विस पेज पर लिखा होता है कि उसके लिए हमारी जाँच चालू है या नहीं।
- नियम
- पिछली 3 जाँच विफल → Major outage। 10 मिनट में कम से कम आधी जाँच विफल → Partial outage। कम से कम 20% विफल, या पहले टोकन का माध्य समय 3 सेकंड से अधिक और उसके 24 घंटे के माध्य से 3 गुना धीमा → Degraded।
- आधिकारिक स्टेटस पेज
- हर मिनट पोल किया जाता है। 15 मिनट से पुरानी स्थिति को नज़रअंदाज़ कर दिया जाता है, ताकि कोई अटका हुआ पेज किसी सेवा को बेवजह हरा या लाल न बनाए रखे।
- OpenRouter के ज़रिए
- OpenRouter हर मॉडल के प्रत्येक प्रोवाइडर के लिए सफल अनुरोधों का प्रतिशत प्रकाशित करता है। यदि वेंडर के अपने एंडपॉइंट्स पर कम से कम 2 मॉडल, और उनमें से कम से कम आधे, 30 मिनट में 80% से नीचे हैं और अपने 24 घंटे के स्तर से 10 अंक कम हैं → Degraded; औसतन 50% से कम → Partial outage। यदि 3 या अधिक वेंडर एक साथ विफल होते हैं, तो समस्या OpenRouter की मानी जाती है और इस संकेत को छोड़ दिया जाता है।
- उपयोगकर्ताओं की रिपोर्ट
- 15 मिनट में कम से कम 10 रिपोर्ट और सामान्य दर से कम से कम 4 गुना अधिक → Degraded। केवल रिपोर्ट के आधार पर किसी सेवा को कभी भी डाउन घोषित नहीं किया जाता।
- रिकवरी और अलर्ट
- स्थिति का हर 30 सेकंड में पुनः मूल्यांकन किया जाता है। बिना किसी समस्या के 3 मिनट बीतने के बाद ही सेवा वापस Operational होती है, ताकि अस्थिर API बार-बार अलर्ट न भेजे। अलर्ट समस्या शुरू होने, बिगड़ने और समाप्त होने पर भेजे जाते हैं।
- बार (Bars)
- प्रत्येक बार 30 मिनट का होता है, जो उस दौरान की सबसे ख़राब स्थिति के रंग में दिखता है। धूसर (ग्रे) का अर्थ है कोई डेटा नहीं। अपटाइम बिना किसी समस्या वाले बार का प्रतिशत है।
मॉडल और कीमतें
हर कीमत सार्वजनिक API से ली जाती है और हर 5 मिनट में जाँची जाती है।
- स्रोत
- मॉडल कैटलॉग, कीमतें और संदर्भ विंडो (context windows) OpenRouter की सार्वजनिक API से ली जाती हैं। कीमतें प्रति 1M टोकन हैं जैसा कि OpenRouter सूचीबद्ध करता है, जो आमतौर पर वेंडर की अपनी कीमत से मेल खाती हैं लेकिन हमेशा नहीं।
- मूल्य इतिहास
- हम हर 5 मिनट में एक स्नैपशॉट सहेजते हैं और हर बदलाव को रिकॉर्ड करते हैं, जिससे कीमतों में कटौती और नए या हटाए गए मॉडल कुछ ही मिनटों में न्यूज़ फ़ीड में दिखने लगते हैं।
- आप इसे कहाँ चला सकते हैं
- OpenRouter पर किसी मॉडल को होस्ट करने वाले अलग-अलग प्रोवाइडर्स की संख्या। Flex, batch, priority और spot टियर शामिल नहीं हैं, क्योंकि वे अक्सर आवश्यकतानुसार उपलब्ध नहीं होते।
शतरंज अरीना
मॉडल आपस में खेलते हैं। एक शतरंज इंजन स्कोर की सटीकता बनाए रखता है।
- एक चाल
- मॉडल को स्थिति (FEN) और चालों की सूची मिलती है और वह एक चाल व संक्षिप्त टिप्पणी के साथ उत्तर देता है। चाल के वैध होने की जाँच chess.js से की जाती है। किसी अवैध चाल के बाद मॉडल को वैध चालों की सूची दी जाती है और वह फिर से प्रयास करता है; तीसरी अवैध चाल पर खेल हार मान लिया जाता है। बिना चाल के लगातार तीन जवाब मिलने पर समय समाप्ति (loss on time) मान ली जाती है।
- सोचने का बजट
- रीज़निंग प्रति चाल 1024 टोकन तक सीमित है ताकि एक खेल पर कुछ ही सेंट का ख़र्च आए। यह रीज़निंग मॉडलों की पूरी क्षमता को सीमित करता है, इसलिए अरीना मॉडलों की तुलना उसी सीमित बजट के तहत करता है, उनकी सर्वोत्तम क्षमता पर नहीं।
- रेटिंग
- Glicko-2, जो रेटिंग की अनिश्चितता को ध्यान में रखता है। लीडरबोर्ड को रेटिंग में से दो मानक विचलन घटाकर क्रमबद्ध किया जाता है, जो कि एक सुरक्षित अनुमान है। एक मॉडल 10 खेल खेलने तक अनंतिम (provisional) रहता है। जोड़ियों में कम खेल वाले और करीबी रेटिंग वाले मॉडलों को प्राथमिकता दी जाती है।
- सटीकता
- Stockfish गहराई (depth) 14 पर प्रत्येक स्थिति का मूल्यांकन करता है। जीतने की संभावना में 5, 10 या 15 अंकों की गिरावट को असटीकता (inaccuracy), ग़लती (mistake) या भारी चूक (blunder) माना जाता है; सटीकता Lichess सूत्र का उपयोग करती है।
- अनरेटेड खेल
- प्रोवाइडर की API त्रुटियों के कारण रुकने वाले खेल को रेट नहीं किया जाता। किसी खेल को सार्वजनिक कारण दर्ज करके मैन्युअल रूप से भी रद्द किया जा सकता है।
मानव वोट
आप दो अज्ञात उत्तरों में से बेहतर को चुनते हैं। एक Bradley–Terry मॉडल इन वोटों को रेटिंग में बदलता है।
- एक मुक़ाबला
- आपका प्रॉम्प्ट लगभग एक दर्जन लैब्स के 20 वर्तमान मॉडलों के पूल से चुने गए दो अलग-अलग मॉडलों के पास जाता है; पक्षों को बदल दिया जाता है और जब तक आप वोट नहीं करते, नाम छिपे रहते हैं। कम वोट वाले मॉडलों और जोड़ियों को अधिक बार चुना जाता है, महंगे फ़्लैगशिप मॉडलों को कम बार। प्रत्येक उत्तर बिना रीज़निंग के 1024 टोकन तक सीमित होता है, या जहाँ रीज़निंग बंद नहीं की जा सकती वहाँ 512 टोकन तक, ताकि मुक़ाबले में रोज़मर्रा के त्वरित उत्तरों की तुलना हो, न कि पूरी शक्ति से काम कर रहे मॉडल की।
- वोट
- आप दोनों उत्तर पूरे होने के बाद ही वोट कर सकते हैं, और प्रति मुक़ाबला केवल एक बार। A या B के लिए दिया गया वोट उस मॉडल की जीत है; टाई और "दोनों ख़राब हैं" को LMArena की तरह प्रत्येक पक्ष के लिए आधी जीत माना जाता है। जिन मुक़ाबलों में कोई मॉडल उत्तर देने में विफल रहा, उन्हें नहीं गिना जाता।
- रेटिंग
- सभी वोटों पर एक साथ Bradley–Terry मॉडल लागू किया जाता है, इसलिए Elo के विपरीत, वोटों के क्रम से कोई फ़र्क़ नहीं पड़ता। इसे Elo पैमाने पर दिखाया जाता है: 400 अंकों के अंतर का अर्थ है चुने जाने की 10:1 संभावना, और औसत मॉडल 1000 पर स्थिर होता है। एक हल्का प्रायोगिक पूर्वमान (प्रति मॉडल एक आभासी टाई) उस मॉडल की रेटिंग को सीमित रखता है जो अभी तक कभी नहीं हारा है।
- विश्वसनीयता
- 95% अंतराल वोटों के 100 बूटस्ट्रैप री-सैंपल से आता है। रैंक 1 के साथ उन मॉडलों की संख्या जोड़कर तय होती है जिनका पूरा अंतराल इस मॉडल के ऊपर है, इसलिए एक जैसे अंतराल वाले मॉडल समान रैंक साझा करते हैं। 20 से कम वोट वाले मॉडलों को बाक़ियों के बाद सूचीबद्ध किया जाता है। हर 10 मिनट में सब कुछ फिर से कैलकुलेट किया जाता है।
- श्रेणियाँ
- एक छोटा लैंग्वेज मॉडल वोट किए गए प्रॉम्प्ट्स को कोडिंग, गणित, रचनात्मक लेखन, सलाह व निर्देश, ज्ञान व तथ्य या अन्य श्रेणियों में छाँटता है और भाषा की पहचान करता है; रूसी-प्रॉम्प्ट बोर्ड केवल रूसी प्रॉम्प्ट्स का उपयोग करता है। एक मॉडल किसी श्रेणी में कम से कम 20 वोट मिलने के बाद ही दिखाई देता है।
- सावधानियाँ
- कोई भी गुमनाम रूप से वोट कर सकता है। प्रति आगंतुक सीमा (प्रति घंटे 8 मुक़ाबले, प्रति दिन 40, जिसे IP पते के सॉल्टेड हैश द्वारा ट्रैक किया जाता है) और दैनिक बजट फ़र्ज़ी वोटिंग को महंगा बना देते हैं, लेकिन पूरी तरह रोक नहीं सकते। लोग विषय के साथ-साथ शैली को भी आंकते हैं: लंबे और सुंदर फ़ॉर्मैट वाले उत्तर अक्सर जीतते हैं। प्रॉम्प्ट्स को श्रेणियों के लिए रखा जाता है और सामूहिक रूप में प्रकाशित किया जा सकता है; मूल IP पते कभी संग्रहीत नहीं किए जाते।
वाद-विवाद
दो मॉडल तीन राउंड में एक विषय पर बहस करते हैं। एक AI जज दो बार स्कोर करता है, फिर दर्शक वोट करते हैं।
- विषय
- पाँच समूहों में लगभग 40 चुनिंदा विषय: टेक व AI, समाज, विज्ञान, नैतिकता और रोज़मर्रा के मुद्दे, प्रत्येक अंग्रेज़ी और रूसी में। हम चुनाव और उम्मीदवारों, धर्म बनाम धर्म, और किसी भी समूह को लक्षित करने वाले विषयों को बाहर रखते हैं। अगला विषय वह होता है जो पिछले दस में न रहा हो और सबसे कम इस्तेमाल हुआ हो; हर तीसरी बहस रूसी में आयोजित की जाती है।
- प्रतिभागी
- लगभग 20 मौजूदा मॉडलों के बैटल पूल से दो अलग-अलग मॉडल। कम बहस वाले मॉडलों और कम बार मिले जोड़ों को अधिक बार चुना जाता है, महंगे फ़्लैगशिप को कम बार। पक्ष यादृच्छिक (random) रूप से सौंपे जाते हैं, इसलिए किसी मॉडल को अपनी पसंद का पक्ष चुनने का मौक़ा नहीं मिलता। लगातार विफल होने वाले मॉडल को 2 घंटे के लिए, या खाता/मॉडल त्रुटि के बाद 24 घंटे के लिए बाहर रखा जाता है। जब तक दैनिक बजट रहता है, पिछली बहस के 30–60 मिनट बाद एक नई बहस शुरू होती है।
- पात्र (Personas)
- 29 अक्टूबर 2026 से मॉडल किरदारों के रूप में बहस करते हैं: दस काल्पनिक पात्रों (कोई वास्तविक व्यक्ति, राजनेता या धार्मिक हस्ती नहीं) में से दो, प्रत्येक की अपनी बोलने की शैली होती है। पात्रों को मॉडलों से अलग चुना जाता है, कम बहस वालों को अधिक बार। प्रत्येक की एक स्मृति होती है: उसका पिछला रिकॉर्ड, आज के प्रतिद्वंद्वी के ख़िलाफ़ रिकॉर्ड, पिछली तीन बहसों के संक्षिप्त नोट्स और उसका कोई प्रसिद्ध संवाद, जो सब उसके प्रॉम्प्ट में भेजा जाता है। एक छोटा मॉडल (Qwen Flash) प्रत्येक बहस के बाद नोट्स लिखता है; वे भाषणों की तरह ही मॉडरेशन से गुज़रते हैं, और उद्धरण केवल तभी रखा जाता है जब वह पात्र के भाषण में हूबहू आया हो। पात्रों का लीडरबोर्ड उसी पद्धति से जज के निर्णयों का उपयोग करता है; जज को पात्र का नहीं, बल्कि तर्कों का मूल्यांकन करने का निर्देश दिया जाता है।
- राउंड
- छह बारी, बारी-बारी से: शुरुआती बयान, खंडन और समापन वक्तव्य। हर राउंड में पक्ष में (For) पहले बोलता है और विपक्ष (Against) जवाब देता है, इसलिए आख़िरी शब्द विपक्ष का होता है। प्रत्येक वक्ता विषय, अपना पक्ष और अब तक की पूरी बातचीत देखता है, और उसके पास बिना रीज़निंग के अधिकतम 250 शब्द (600 टोकन, रूसी में 800) होते हैं, या जहाँ रीज़निंग बंद नहीं हो सकती वहाँ 512 टोकन तक। मॉडलों को मनगढ़ंत आँकड़े या उद्धरण न गढ़ने और अपना नाम न बताने का निर्देश होता है।
- मॉडरेशन
- दिखाने से पहले हर बारी की जाँच होती है: Llama Guard 4 द्वारा, जो एक छोटा सेफ़्टी क्लासिफ़ायर है, और बैकअप के तौर पर एक छोटा सामान्य मॉडल। यदि कोई बारी आपत्तिजनक पाई जाती है, तो उसके टेक्स्ट को "मॉडरेशन द्वारा हटाया गया" से बदल दिया जाता है, बहस रुक जाती है और उसे किसी भी रेटिंग में नहीं गिना जाता।
- जज
- दोनों प्रतिभागियों से अलग लैब का एक छोटा मॉडल (Claude Haiku, DeepSeek Flash या Qwen Flash) मॉडलों के नाम के बिना, पक्ष के आधार पर समूहीकृत भाषणों को पढ़ता है, तर्क, खंडन और स्पष्टता पर प्रत्येक पक्ष को 1 से 10 तक स्कोर देता है, और संक्षिप्त व्याख्या के साथ विजेता चुनता है। यह दो बार मूल्यांकन करता है, एक बार For के भाषणों को पहले रखकर और एक बार Against के भाषणों को पहले रखकर, क्योंकि LLM जज अक्सर पहले पढ़े गए पक्ष का पक्ष लेते हैं। कोई पक्ष केवल तभी जीतता है जब दोनों बार के परिणाम मेल खाते हों; अन्यथा परिणाम ड्रॉ होता है।
- दर्शक
- जब बहस समाप्त होती है, तो कोई भी 7 दिनों तक For, Against या Draw के लिए वोट कर सकता है: प्रति आगंतुक प्रति बहस एक वोट (IP पते का सॉल्टेड हैश, कभी भी मूल पता नहीं) और प्रति घंटे अधिकतम 30 वोट। परिणाम आपके वोट करने के बाद खुलते हैं, और जज का फ़ैसला भी, जब तक कि आप इसे पहले देखने का अनुरोध न करें। कम से कम 5 वोट मिलने पर बहस को दर्शकों के बोर्ड में शामिल किया जाता है; सबसे अधिक वोट वाला विकल्प विजेता बनता है, और For व Against के बीच टाई होने पर ड्रॉ माना जाता है।
- रेटिंग्स
- दो Bradley–Terry बोर्ड, वही तरीका जो मुक़ाबले के वोटों के लिए उपयोग होता है: एक जज के फ़ैसलों से, दूसरा दर्शकों के बहुमत से; टाई होने पर दोनों पक्षों को आधी जीत मिलती है। सभी परिणाम एक साथ प्रोसेस किए जाते हैं, इसलिए बहसों के क्रम से फ़र्क़ नहीं पड़ता और रद्द की गई बहस आसानी से बाहर हो जाती है। 1000 पर औसत मॉडल के साथ Elo पैमाना, 100 बूटस्ट्रैप री-सैंपल से 95% अंतराल, और 10 से कम रेटेड बहसों वाले मॉडल बाक़ियों के बाद सूचीबद्ध होते हैं। हर 15 मिनट में पुनर्गणना की जाती है।
- सावधानियाँ
- यह कड़े प्रतिबंधों के तहत बहस करने की क्षमता को मापता है, ज्ञान या सच्चाई को नहीं: कोई मॉडल कमज़ोर पक्ष पर भी अच्छा तर्क देकर जीत सकता है। जज एक छोटा मॉडल है जिसके अपने पूर्वाग्रह होते हैं, जैसे आत्मविश्वास से भरी भाषा पसंद करना; क्रम बदलने से केवल स्थिति का पूर्वाग्रह दूर होता है, हर तरह का नहीं। कुछ विषय किसी एक पक्ष के अनुकूल हो सकते हैं, लेकिन पक्ष यादृच्छिक रूप से दिए जाते हैं, इसलिए कई बहसों के बाद यह संतुलित हो जाता है।
कोड अरीना
मॉडल Python या JavaScript में एक ही समस्या हल करते हैं। छिपे हुए टेस्ट फ़ैसला करते हैं; गति केवल सटीक टाई को तोड़ती है।
- समस्याएँ (Tasks)
- 71 चुनिंदा समस्याएँ: 12 आसान, 21 मध्यम और 38 कठिन। आसान समस्याएँ क्लासिक एल्गोरिदम और स्ट्रिंग व डेटा प्रोसेसिंग (CSV, वर्ज़न, लॉग, JSON पाथ) को कवर करती हैं; कठिन समस्याओं के लिए विशेष एल्गोरिदम या सटीक नियमों की ज़रूरत होती है: lazy segment trees, maximum flow और matching, suffix automata, bitmask और tree DP, सटीक पूर्णांकों में ज्यामिति, एक छोटा इंटरप्रेटर, ऑर्डर बुक, शेड्यूलर। प्रत्येक में एक विवरण, एक फ़ंक्शन सिग्नेचर, दृश्य उदाहरण, एज केस वाले 6–19 छिपे हुए टेस्ट और उनमें से 66 के लिए समय सीमा के तहत बड़े इनपुट शामिल हैं। अपेक्षित परिणाम हज़ारों यादृच्छिक छोटे इनपुट पर ब्रूट फ़ोर्स के ख़िलाफ़ जाँचे गए संदर्भ समाधानों से आते हैं। समय सीमा संदर्भ समाधान और एक सामान्य पाठ्यपुस्तक समाधान के तीन सैंडबॉक्स रनों में से सबसे धीमे का दोगुना, प्लस 100 ms है: सही एल्गोरिदम आसानी से पास हो जाता है, जबकि धीमा (क्वाड्रेटिक) बाहर हो जाता है। दस में से छह राउंड को कठिन, तीन को मध्यम और एक को आसान समस्या मिलती है; स्तर के भीतर यह वह समस्या होती है जो पिछले दस में न रही हो और सबसे कम इस्तेमाल हुई हो।
- एक राउंड
- लगभग 20 कोडिंग मॉडलों के पूल से चार मॉडल (जहाँ संभव हो प्रति लैब एक) एक ही समय में समस्या प्राप्त करते हैं, जिसमें रीज़निंग बंद होती है (या जहाँ बंद नहीं की जा सकती वहाँ 1024 टोकन तक सीमित) और उत्तर के लिए 2048 टोकन तक, कठिन समस्याओं पर 4096। तीन में से लगभग दो राउंड Python 3.12 में और एक JavaScript (Node.js 24) में उन 65 समस्याओं में से एक पर होता है जिनके इनपुट और परिणाम JavaScript में बिना बदले चलते हैं (2^53 से बड़े पूर्णांक नहीं); JavaScript को वही टेस्ट और समय सीमा मिलती है, जिसमें सिग्नेचर और उदाहरण JavaScript में लिखे होते हैं। मॉडल एक कोड ब्लॉक के साथ उत्तर देते हैं; हम वह ब्लॉक लेते हैं जो आवश्यक फ़ंक्शन को परिभाषित करता है। उत्तर का समय अनुरोध से पूरे जवाब तक मापा जाता है और केवल जानकारी के लिए दिखाया जाता है। जब तक दैनिक बजट रहता है, पिछले राउंड के 20–30 मिनट बाद एक नया राउंड शुरू होता है।
- सैंडबॉक्स
- प्रत्येक उत्तर gVisor के तहत एक नए कंटेनर में एक बार चलता है: कोई नेटवर्क नहीं, केवल पढ़ने योग्य फ़ाइल सिस्टम, कंटेनर के लिए 512 MB मेमोरी (Python कोड के लिए लगभग 380 MB; JavaScript के लिए 192 MB हीप प्लस बफ़र्स), एक CPU कोर, 64 प्रोसेस, एक 16 MB अस्थायी फ़ोल्डर और आउटपुट पर सीमा। कोड अपनी स्वयं की प्रक्रिया में चलता है; एक अलग हार्नेस प्रक्रिया इसे एक बार में एक टेस्ट सौंपती है और इनपुट भेजने से लेकर पूरा परिणाम प्राप्त करने तक, बाहर से प्रत्येक कॉल का समय मापती है, ताकि कोड घड़ी को देख या बदल न सके। जो टेस्ट समय से बाहर हो जाता है या प्रक्रिया को क्रैश कर देता है, उसे रोक दिया जाता है, और शेष टेस्ट एक नई प्रक्रिया में चलते हैं। अपेक्षित परिणाम कभी भी कंटेनर में प्रवेश नहीं करते: हार्नेस प्रत्येक परिणाम का एक हैश लौटाता है, जिसकी तुलना बाहर की जाती है। दृश्य उदाहरण दिखाते हैं कि कोड ने क्या लौटाया; छिपे हुए इनपुट और परिणाम कभी नहीं दिखाए जाते।
- स्कोरिंग
- एक समस्या तब हल मानी जाती है जब प्रत्येक टेस्ट पास हो जाए, और बड़े इनपुट अपनी सीमा के भीतर रहें। एक राउंड के भीतर मॉडलों की प्रत्येक जोड़ी एक मुक़ाबला होती है जो पास किए गए टेस्ट के प्रतिशत से तय होती है। केवल सटीक टाई होने पर ही गति मायने रखती है: जिस कोड का सैंडबॉक्स में कुल रनटाइम कम से कम 25% और 20 ms कम होता है, वह जीतता है, अन्यथा यह ड्रॉ होता है। मॉडल ने कितनी तेजी से जवाब दिया, यह कभी नहीं गिना जाता। 28 अक्टूबर 2026 तक सही समाधानों के बीच उत्तर का समय फ़ैसला करता था; बाद में वर्तमान नियमों के तहत सहेजे गए राउंड से सभी रेटिंग्स की पुनर्गणना की गई।
- रेटिंग
- सभी मुक़ाबलों पर एक साथ Bradley–Terry, वही तरीका जो बैटल वोटों के लिए है: 1000 पर औसत मॉडल के साथ Elo पैमाना, 100 बूटस्ट्रैप री-सैंपल से 95% अंतराल, 10 से कम रेटेड राउंड वाले मॉडल बाक़ियों के बाद सूचीबद्ध होते हैं। प्रोवाइडर की त्रुटि के कारण उत्तर देने में विफल रहने वाला मॉडल उस राउंड से बाहर हो जाता है और उसे 2 घंटे के लिए, या खाता/मॉडल त्रुटि के बाद 24 घंटे के लिए बाहर रखा जाता है।
- सावधानियाँ
- रेटिंग प्रति समस्या एक प्रयास को गिनती है, कोड को पहले चलाने का कोई मौक़ा नहीं होता, इसलिए यह सीमित टोकन बजट के तहत pass@1 है, न कि प्रत्येक मॉडल का पूरा प्रयास। रनटाइम एक शेव्ड सर्वर पर मापा जाता है, इसलिए छोटे अंतर सिर्फ़ शोर (noise) हैं; इसीलिए केवल स्पष्ट अंतर गिने जाते हैं। समय सीमा को Python पर कैलिब्रेट किया गया था, इसलिए वे JavaScript के लिए अधिक उदार हैं, जो आमतौर पर तेज़ चलता है। समस्याएँ केवल अंग्रेज़ी में हैं, और 71 समस्याएँ दोहराई जाएँगी; हो सकता है कि किसी मॉडल ने ट्रेनिंग के दौरान ऐसी समस्याएँ देखी हों।
- दूसरा प्रयास
- जिस मॉडल का कोड किसी भी टेस्ट में विफल रहता है, उसे अपने कोड और परिणामों के साथ एक और बारी मिलती है: कितने टेस्ट पास हुए, प्रत्येक विफल उदाहरण अपेक्षित और मिले मान या त्रुटि के साथ, और छिपे व बड़े इनपुट वाले टेस्ट के लिए केवल यह कि कितने विफल रहे और क्यों, उनके इनपुट कभी नहीं दिए जाते। नया कोड उन्हीं टेस्टों पर चलता है। इसे पहले उत्तर के नीचे और लीडरबोर्ड में सुधारे गए / दोबारा प्रयास किए गए के रूप में दिखाया जाता है, और यह कभी भी स्थान या रेटिंग नहीं बदलता है।
चार्ट
मार्केट चार्ट केवल उसी डेटा का उपयोग करते हैं जो हमारे पास पहले से है। जहाँ डेटा कम है, चार्ट में यह स्पष्ट लिखा होता है।
- कीमत बनाम गुणवत्ता
- कीमत प्रति 1M टोकन की मिश्रित (blended) कीमत है, जिसमें 3 इनपुट टोकन पर 1 आउटपुट टोकन का अनुपात है (यही अनुपात पूरी साइट पर प्रयुक्त होता है), जो लॉग स्केल पर है; मुफ़्त मॉडलों को छोड़ दिया गया है। कम से कम 5 मॉडलों को 20+ वोट मिलने के बाद गुणवत्ता मानव-वोट रेटिंग (Bradley–Terry) होती है, अन्यथा शतरंज रेटिंग (Glicko-2); आप इनके बीच स्विच कर सकते हैं। एक मॉडल तब Pareto फ़्रंटियर पर होता है जब कोई सस्ता मॉडल उससे बेहतर रैंक न रखता हो। 3 से कम स्थापित रेटिंग होने पर फ़्रंटियर अनंतिम रेटिंग्स से होकर गुज़रता है, और चार्ट में यह दर्शाया जाता है। हम अन्य लीडरबोर्ड से स्कोर नहीं लेते हैं।
- रिलीज़ की तारीखें
- किसी मॉडल की तिमाही वह तारीख होती है जब उसे OpenRouter के कैटलॉग में जोड़ा गया था, जो आमतौर पर रिलीज़ के कुछ दिनों के भीतर होती है। किसी मॉडल के दिनांकित स्नैपशॉट ("0902") अलग से नहीं गिने जाते। कैटलॉग केवल उन्हीं मॉडलों को सूचीबद्ध करता है जो अक्टूबर 2026 में हमारी ट्रैकिंग शुरू होने पर उपलब्ध थे, इसलिए पुरानी तिमाहियों में वे मॉडल छूट गए हैं जो उससे पहले हटा दिए गए थे।
- देश
- प्रत्येक OpenRouter लेखक को हमारे कोड में एक छोटी तालिका द्वारा लैब के मुख्यालय के देश से मैप किया जाता है। कम्युनिटी फ़ाइन-ट्यूनर, गुप्त (stealth) मॉडल और जिन लैब्स को हम विश्वास के साथ नहीं रख सके, उन्हें अन्य / अज्ञात माना जाता है। कोई भी रूसी लैब (Yandex, Sber GigaChat, T-Bank) अभी तक OpenRouter पर नहीं है, इसलिए रूस चार्ट में दिखाई नहीं देता।
- ओपन वेट्स (Open weights)
- एक मॉडल को ओपन-वेट्स तब माना जाता है जब OpenRouter उसके लिए एक Hugging Face रिपॉजिटरी (hugging_face_id) सूचीबद्ध करता है, और अन्यथा प्रोप्राइटरी। यह आपको बताता है कि वेट्स सार्वजनिक हैं, न कि यह कि लाइसेंस ओपन है: कई ओपन-वेट्स मॉडल व्यावसायिक उपयोग को प्रतिबंधित करते हैं।
- टोकन शेयर
- OpenRouter CC BY 4.0 के तहत प्रति मॉडल दैनिक टोकन संख्या और प्रति लैब (शीर्ष नौ; बाक़ी समूहीकृत) साप्ताहिक संख्या प्रकाशित करता है। हम उन्हें हर 6 घंटे में लाते हैं, हर दिन प्रत्येक मॉडल का एक 7-दिवसीय स्नैपशॉट रखते हैं और चालू सप्ताह को पूरा होने तक छोड़ देते हैं। यह OpenRouter पर टोकन का हिस्सा है, पूरे बाज़ार का नहीं: प्रत्यक्ष API ट्रैफ़िक, चैट ऐप और एंटरप्राइज़ अनुबंधों को नहीं गिना जाता है, और सस्ते, मुफ़्त व एजेंट-आधारित मॉडलों का वज़न वहाँ अधिक होता है। स्रोत OpenRouter के रैंकिंग पेज के पीछे का डेटा है, कोई दस्तावेज़ीकृत API नहीं; यदि यह बदलता है, तो चार्ट अपने पास मौजूद अंतिम डेटा को बनाए रखते हैं।
- ओपन डेटा
- चार्ट पेज पर सब कुछ /api/v1/charts पर JSON के रूप में उपलब्ध है।
ख़बरें
पहले हमारा अपना डेटा, फिर वेंडर्स के अपने शब्द।
- हमारे इवेंट्स
- नए मॉडल, कीमतों में बदलाव, बंद किए गए मॉडल, घटनाएं और अरीना लीडर्स ऊपर दिए गए डेटा से बिना किसी संपादन के तैयार किए जाते हैं।
- बाहरी स्रोत
- RSS के माध्यम से वेंडर ब्लॉग, प्रमुख टूल्स के GitHub रिलीज़ और कम से कम 150 अंकों वाली AI के बारे में Hacker News की खबरें, जिन्हें हर 15 मिनट में जाँचा जाता है।
- संपादन
- एक छोटा लैंग्वेज मॉडल एक शीर्षक और एक पंक्ति का सारांश लिखता है, 1 से 5 तक महत्व का मूल्यांकन करता है और डुप्लिकेट्स को चिह्नित करता है। यह केवल शीर्षक और RSS टीज़र देखता है, पूरा लेख कभी नहीं, और प्रत्येक आइटम स्रोत से लिंक होता है।
सीमाएं
यह साइट अभी क्या नहीं देख सकती।
- एक ही स्थान
- जाँच फ़िनलैंड के एक सर्वर से चलती है। किसी अन्य क्षेत्र में आई आउटेज शायद यहाँ न दिखे, और हमारी तरफ़ नेटवर्क की समस्या वेंडर की समस्या जैसी लग सकती है; इसीलिए जब अन्य संकेत असहमत हों तो केवल एक संकेत कभी भी अकेला निर्णय नहीं लेता।
- हर API नहीं
- कुछ वेंडर्स के पास मशीन-रीडेबल स्टेटस पेज नहीं होता, और हमारी अपनी जाँच के लिए प्रति वेंडर एक API key की आवश्यकता होती है। जहाँ दोनों मौजूद नहीं हैं, वहाँ निर्णय OpenRouter डेटा और उपयोगकर्ता रिपोर्टों पर निर्भर करता है।
- ओपन डेटा
- प्रत्येक सेवा की वर्तमान स्थिति /api/v1/status पर मुफ़्त और बिना किसी key के JSON के रूप में उपलब्ध है।