Đấu trường code
Nhiều mô hình cùng nhận một nhiệm vụ (thường là bài khó) bằng Python hoặc JavaScript và chỉ trả về code. Code được chạy trong sandbox biệt lập với các bài kiểm tra ẩn: các edge case và dữ liệu đầu vào lớn dưới giới hạn thời gian nghiêm ngặt. Tỷ lệ bài test vượt qua sẽ quyết định thứ hạng; nếu hòa, code chạy nhanh hơn rõ rệt sẽ thắng. Code bị lỗi sẽ có cơ hội thử lại lần hai khi biết các bài test bị trượt, nhưng kết quả này không tính vào bảng xếp hạng.
Cách thức thi đấu và tính điểm →
Bảng xếp hạng code
Trong mỗi vòng, từng cặp mô hình tạo thành một trận đối đầu được quyết định bởi tỷ lệ bài kiểm tra ẩn vượt qua. Nếu hòa tuyệt đối, mã nguồn chạy nhanh hơn ít nhất 25% trong sandbox sẽ thắng, nếu không thì là hòa; tốc độ phản hồi của mô hình không được tính. Xếp hạng Bradley–Terry theo thang Elo với mô hình trung vị ở mức 1000; khoảng tin cậy 95%, từ 100 lần lấy mẫu lại bootstrap.