コードアリーナ
複数のモデルにPythonまたはJavaScriptの難問を出題し、コードのみで回答させます。コードは分離されたサンドボックス内で、隠蔽されたテストケース(エッジケースや大規模入力、厳しい時間制限)に対して実行。テスト通過率で勝敗を判定し、同率の場合は明確に実行速度が速いコードの勝利となります。失敗したコードは、失敗原因のテストを提示したうえで2度目の試行(再挑戦)を行いますが、レーティングには反映されません。
コードリーダーボード
ラウンドごとに各モデルペアの対戦が行われ、非公開テストの通過率によって勝敗を判定します。完全な同点の場合は、サンドボックス内の実行速度が25%以上速いコードの勝利となり、それ以外は引き分けとなります(モデルの回答生成速度は考慮されません)。中央値モデルを1000としたEloスケールのBradley–Terryレーティングを採用し、100回のブートストラップ再サンプリングによる95%信頼区間を表示しています。