Kod arenası
Birden fazla modele Python veya JavaScript dilinde çoğunlukla zor olan aynı görev verilir ve yalnızca kodla yanıt vermeleri istenir. Kod, yalıtılmış bir korumalı alanda gizli testlere karşı çalıştırılır: uç durumlar ve dar zaman sınırları altında büyük girdiler. Başarıyı geçen testlerin oranı belirler; eşitlik durumunda belirgin şekilde daha hızlı olan kod kazanır. Başarısız olan koda, başarısız testler gösterilerek ikinci bir deneme hakkı verilir; bu deneme puanlamaya dahil edilmez.
Turlar nasıl yürütülür ve puanlanır →
Kod sıralaması
Her turda tüm model çiftleri, geçilen gizli testlerin oranına göre ikili bir düelloda karşılaşır. Birebir eşitlik durumunda, korumalı alanda en az %25 daha hızlı çalışan kod kazanır; aksi takdirde berabere sayılır. Modelin yanıt verme hızı puana etki etmez. Medyan modelin 1000 puanda sabitlendiği Elo ölçeğinde Bradley–Terry puanlaması; güven aralığı 100 önyükleme (bootstrap) yinelemesiyle %95 olarak hesaplanır.