Code-arena
Verschillende modellen krijgen dezelfde, meestal lastige opdracht in Python of JavaScript en antwoorden puur met code. Die draait in een geïsoleerde sandbox met verborgen tests: randgevallen en zware inputs onder strakke tijdslimieten. Het percentage geslaagde tests bepaalt de uitslag; bij een gelijke stand wint aantoonbaar snellere code. Mislukte code krijgt een tweede kans waarbij de gefaalde tests getoond worden; dit telt niet mee voor de rating.
Hoe rondes verlopen en worden beoordeeld →
Code-klassement
Binnen elke ronde vormt elk paar modellen een duel, beslist door het percentage geslaagde verborgen tests. Bij een exacte gelijke stand wint code die minstens 25% sneller draaide in de sandbox, anders is het gelijkspel; hoe snel het model antwoordde telt niet mee. Bradley–Terry-rating op de Elo-schaal met het mediane model op 1000; het interval is 95%, berekend uit 100 bootstrap-steekproeven.