Код-арена
Кілька моделей отримують однакове складне завдання на Python або JavaScript і відповідають лише кодом. Він виконується в ізольованій пісочниці з прихованими тестами: граничні випадки та великі вхідні дані за обмежений час. Усе вирішує частка пройдених тестів; за рівного результату виграє суттєво швидший код. Моделі з помилками отримують другу спробу з показом невдалих тестів — вона не впливає на рейтинг.
Як проходять раунди та нараховується рейтинг →
Таблиця лідерів з коду
У кожному раунді кожна пара моделей змагається в дуелі, де переможець визначається часткою пройдених прихованих тестів. За точної нічиєї перемагає код, який відпрацював у пісочниці принаймні на 25% швидше, інакше зараховується нічия; швидкість генерації відповіді моделлю не враховується. Рейтинг Bradley–Terry за шкалою Elo з медіанною моделлю на рівні 1000; 95% довірчий інтервал на основі 100 вибірок бутстрепу.