Sới so bản (A/B)
Điểm chấm tự động chỉ đếm được thứ đếm được: bài dài bao nhiêu, có lộ đáp án không, có dùng tên giả lập không. Nó cho hai câu chuyện mở bài cùng điểm 1.0 dù một cái kéo người ta đọc tiếp còn cái kia đúng luật mà nhạt.
Khoảng giữa "không phạm luật" và "hay" là khoảng máy không đo được, và đó đúng là khoảng quyết định người học có học tiếp hay không. Chỉ người đọc phân biệt được, và người đọc cần thấy cả hai cùng lúc.
Màn hình: admin.conan.school/content/content-arena.
Vì sao phải giữ lại bản thua
Tới trước 29.08.2026, mỗi lượt sinh ghi đè thẳng vào bảng nội dung. Bản cũ biến mất ngay khi bản mới ghi xuống. Nghĩa là câu hỏi "model nào viết hay hơn" về nguyên tắc không trả lời được
- không còn hai bản để đặt cạnh nhau.
Nên bảng course_content_candidates giữ lại mọi bản đã sinh, chụp sau bước chấm, tức chụp đúng thứ đã qua mọi lớp lọc và đã tới được bảng nội dung, không phải bản thô trước khi bị chỉnh.
Kho so sánh bắt đầu từ số không
Mọi bản sinh trước 29.08.2026 đã bị ghi đè và mất vĩnh viễn. Một cặp so được đòi cùng một chỗ (target_kind + target_id) được sinh ít nhất hai lần, bằng hai model khác nhau hoặc hai phiên bản lời dặn khác nhau.
Bốn quyết định trong thiết kế
1. Bầu mù
Không chỗ nào trên màn hình nói bên nào do model nào sinh, cho tới khi phiếu đã ghi xong.
Biết trước bên nào là model mới thì phiếu bầu đo kỳ vọng chứ không đo chất lượng, và cái sai đó không gỡ ra khỏi dữ liệu được nữa. Bên trái/phải cũng được tráo theo từng cặp, để thiên lệch vị trí (người ta hay chọn bên trái) không dính chặt vào một model.
2. Hơn ở khía cạnh nào: riêng cho từng loại
Chỉ biết "bản A thắng" thì không mở được file nào ra sửa. Biết "A thắng vì ví dụ giống việc thật hơn" thì mở đúng đoạn lời dặn về ví dụ.
Cố ý không dùng bộ tiêu chí chung kiểu rõ ràng / chính xác / hấp dẫn: áp cho mọi thứ thì người bầu tick cho xong. Mỗi khía cạnh phải trỏ được về một đoạn prompt cụ thể.
| Loại | Khía cạnh |
|---|---|
| Câu chuyện mở bài | kéo được đọc tiếp · giống việc thật · nối vào bài · văn không sáo |
| Bài viết và ví dụ | dễ hiểu hơn · ví dụ thật hơn · phản ví dụ đúng chỗ nhầm · đủ mà không thừa |
| Ngân hàng câu hỏi | phân biệt được người hiểu · phương án nhiễu đáng tin · không lộ đáp án · lời giải dạy được |
| Đặc tả unit | Big Idea đáng giá · outcome làm được thật · hiểu lầm bắt đúng · task làm được |
| Đích đến của khoá | làm được thật · đo được · đúng mức năng lực · đáng bỏ thời gian học |
Khía cạnh chọn trước khi bầu. Chọn sau thì người ta đã có kẻ thắng trong đầu rồi và chỉ đi tìm lý do biện minh.
3. Chưa đủ thì nói là chưa đủ
- Dưới 12 phiếu một ô thì màn hình từ chối kết luận.
- Trên ngưỡng vẫn phải có khoảng tin Wilson không còn trùm qua vạch 50%.
- Biểu đồ vẽ cả dải khoảng tin, không chỉ vạch tỉ lệ. Một cột đặc trông như sự thật; cái dải mờ nói đúng thứ dữ liệu đang nói.
Dùng Wilson chứ không phải sai số chuẩn thường vì với n nhỏ, mà n ở đây luôn nhỏ, vài chục phiếu chia cho nhiều ô, công thức thường cho ra khoảng vượt ra ngoài [0,1] và hẹp một cách dối trá.
Chuyện sẽ gặp ngay: vài chục cặp chia cho 5 loại × 2 model là mỗi ô vài phiếu, và màn hình sẽ báo "chưa kết luận được" trong khi con số nhìn có vẻ nghiêng hẳn. Đó là báo đúng. Cả hệ thống này dựng lên chính vì trước đây đã có một phép đo tự tin mà rỗng.
4. "Cả hai đều tệ" tách khỏi "hoà"
Hoà nghĩa là hai bản đều dùng được. Cả-hai-đều-tệ nghĩa là máy sinh đang hỏng ở chỗ đó và không phiếu bầu nào cứu được, nó thuộc hàng đợi sửa engine, không thuộc bảng xếp hạng, và không tính vào mẫu.
Cách dùng
Bầu bằng phím: 1 bên trái · 2 bên phải · 3 hoà · 4 cả hai đều tệ · Enter cặp tiếp theo.
Vài chục cặp bằng chuột thì không ai làm hết, mà dưới vài chục cặp thì không kết luận được gì.
Dấu vân của lời dặn
prompt_hash = băm của giọng chung (VOICE, áp cho mọi lượt sinh) + số hiệu PROMPT_VERSIONS[kind] trong arena.ts.
Sửa prompt thì phải tăng số hiệu
Giọng chung băm được nên sửa là dấu vân tự đổi theo. Nhưng lời dặn riêng của từng engine viết lồng trong thân hàm sinh, băm không tới, người sửa prompt phải tự tăng PROMPT_VERSIONS[kind]. Quên tăng thì phiếu bầu của prompt cũ và mới trộn vào nhau, và không ai biết bản tốt lên là nhờ prompt mới hay chỉ do may.
Còn nợ
- Loại artefact so được mới có năm; các loại còn lại chưa chụp lại được nguyên văn nên đứng ngoài sới.
- Bản thắng chưa được đưa trở lại thành bản chính thức, bảng nội dung vẫn giữ bản sinh gần nhất, bất kể phiếu bầu.
Xem thêm: Điều gì đảm bảo thước đo đúng? · Hệ thống tự sinh và tự nâng chất lượng