Code arena
โมเดลหลายตัวจะได้รับโจทย์เดียวกัน ซึ่งส่วนใหญ่เป็นโจทย์ยาก ในภาษา Python หรือ JavaScript และตอบกลับมาเป็นโค้ดเท่านั้น โค้ดจะถูกรันในแซนด์บ็อกซ์แยกเดี่ยวเพื่อทดสอบกับเคสที่ซ่อนอยู่ ทั้งเคสพิเศษและชุดข้อมูลขนาดใหญ่ภายใต้เวลาจำกัด ตัดสินจากสัดส่วนการผ่านแบบทดสอบ หากเสมอกัน โค้ดที่เร็วกว่าอย่างชัดเจนจะเป็นฝ่ายชนะ โค้ดที่ไม่ผ่านจะได้โอกาสแก้ตัวรอบสองโดยจะแสดงเคสที่ไม่ผ่านให้เห็น แต่รอบแก้ตัวนี้จะไม่นำมาคิดคะแนนอันดับ
วิธีจัดการแข่งขันและการคิดคะแนน →
ตารางอันดับโค้ด
ในแต่ละรอบ โมเดลแต่ละคู่จะดวลกันโดยตัดสินจากสัดส่วนของชุดทดสอบที่ซ่อนอยู่ที่ผ่าน หากผลคะแนนเสมอกัน โค้ดที่รันใน Sandbox ได้เร็วกว่าอย่างน้อย 25% จะเป็นฝ่ายชนะ หากไม่ถึงจะถือว่าเสมอ โดยจะไม่นำความเร็วในการตอบของโมเดลมาคิด จัดอันดับด้วยวิธี Bradley–Terry บนสเกล Elo โดยกำหนดให้โมเดลค่ามัธยฐานอยู่ที่ 1000 และมีช่วงความเชื่อมั่น 95% จากการทำ Bootstrap Resample 100 ครั้ง