Arène de code
Plusieurs modèles reçoivent la même consigne en Python ou JavaScript, souvent difficile, et doivent répondre uniquement par du code. Il est exécuté dans un bac à sable isolé face à des tests cachés : cas limites et volumétries importantes sous contraintes de temps strictes. Le taux de tests validés détermine le résultat ; en cas d'égalité, le code nettement plus rapide l'emporte. Le code ayant échoué bénéficie d'un second essai avec affichage des erreurs, sans impact sur le classement.
Déroulement et calcul des scores →
Classement code
À chaque manche, chaque paire de modèles forme un duel départagé par la part de tests cachés réussis. En cas d'égalité exacte, le code ayant tourné au moins 25 % plus vite dans le bac à sable l'emporte, sinon c'est un match nul ; la vitesse de génération du modèle n'entre pas en compte. Classement Bradley–Terry sur l'échelle Elo avec le modèle médian fixé à 1000 ; l'intervalle est de 95 %, calculé à partir de 100 rééchantillonnages bootstrap.