Mỗi bảng bắt đầu bằng mốc chuẩn cố định và mỗi dòng kế tiếp là đúng một thay đổi. Không có số nào đứng một mình. Trang này chỉ trích số từ ledger của từng chiến dịch; muốn xem hướng nào nối hướng nào thì sang trang Tech tree.
| Bài toán | ACSA — phát hiện khía cạnh (ACD) + phân cực (SPC), học chung một mô hình |
| Dữ liệu | VLSP-2018 Hotel · 34 khía cạnh × 4 lớp · train 3.000 / val 2.000 / test 600 |
| Mốc chuẩn | PhoBERT-base + nối 4 hidden state cuối tại [CLS] + 34 đầu ra softmax + ASL γ⁻2 γ⁺0 |
| Thước đo chính | ACSA micro-F1 trên test, 5 seed, kiểm định đổi dấu theo cặp seed |
| Nơi chạy | GPU thuê Vast.ai, ghim một thế hệ GPU trong suốt một chiến dịch |
Δ tính so với mốc 0,7669. Dòng tổ hợp dùng các mô hình đã huấn luyện ở dòng khác nên không có độ lệch chuẩn theo seed.
| # | Cấu hình | micro-F1 (± sd) | macro-F1 | Δ micro | Seed | Verdict | Ghi chú | Nguồn |
|---|---|---|---|---|---|---|---|---|
| 0 | Mốc chuẩn (recipe thin_repro) | 0,7669 ± 0,0118 | 0,5377 ± 0,0192 | — | 5 | Mốc cố định | Đổi mốc = pre-registration mới | run12 |
| 1 | Mốc, thay ASL bằng BCE | 0,7609 ± 0,0091 | — | −0,0060 | 5 | Không kết luận | p = 0,37; ASL giữ làm mặc định | run15 |
| 2 | Tổ hợp soft-vote 5 seed của mốc | 0,7887 | 0,5638 | +0,0218 | 5 mô hình | Đã đóng | Ngang hard-vote trong nhiễu | run21 |
| 3 | ViT5 sinh chuỗi, beam-4, 20 epoch | 0,7739 ± 0,0040 | — | +0,0070 | 5 | WIN đuôi hiếm | rare-R7 macro 0,4689, Δ +0,1482 so mốc | run24 |
| 4 | ViT5 sinh chuỗi, 35 epoch | 0,7814 ± 0,0039 | — | +0,0145 | 5 | WIN micro | rare-R7 macro 0,5068; qua cổng ship | run29 |
| 5 | BARTpho sinh chuỗi, 20 epoch | 0,7533 | — | −0,0136 | 5 | Đã đóng | rare-R7 macro 0,3899; xác nhận cross-backbone, không thay ViT5 | run30 |
| 6 | Tổ hợp dị chủng: 5 encoder (dòng 2) + 5 sinh chuỗi (dòng 3) | 0,8038 | — | +0,0369 | 10 mô hình | WIN micro | Cao nhất dự án; là hàng ensemble, không phải một mô hình | run25 |
Δ tính so với A0, dòng đối chứng chạy lại recipe mốc trong cùng chiến dịch (A0 so mốc −0,0033, trong nhiễu). p là kiểm định đổi dấu một phía theo cặp seed.
| Arm | Thay đổi so A0 | micro-F1 (± sd) | macro-F1 (± sd) | Δ micro | Seed thắng | p | Verdict | Lớp |
|---|---|---|---|---|---|---|---|---|
| A0 | Đối chứng, recipe mốc | 0,7636 ± 0,0070 | 0,5278 ± 0,0132 | — | — | — | Không trôi mốc | — |
| A4 | cat-attn: chú ý theo khía cạnh thay nối 4 lớp | 0,7766 ± 0,0102 | 0,5674 ± 0,0223 | +0,0131 | 4/5 | 0,094 | Thăm dò dương | Chưa được phán; macro +0,0396, p = 0,031 |
| A1 | mean-pool thay [CLS] | 0,7331 ± 0,0235 | 0,4896 ± 0,0333 | −0,0305 | 1/5 | 0,969 | Thua | D |
| A6 | Head chung + FiLM theo thừa số | 0,4347 ± 0,0150 | 0,1540 ± 0,0148 | −0,3289 | 0/5 | 1,000 | Hỏng cấu trúc | E |
| A7 | Trọng số hai nhiệm vụ, GS-hard | 0,6453 ± 0,0169 | 0,3455 ± 0,0219 | −0,1183 | 0/5 | 1,000 | Thua | D |
| A8 | Trọng số hai nhiệm vụ, GS-Kendall | 0,6847 ± 0,0210 | 0,4082 ± 0,0307 | −0,0789 | 0/5 | 1,000 | Thua | D |
Phép so chính đã chốt trước là D3 − D2. Δ trong bảng tính so với D0 để đọc theo cùng một thước; D0 ở đây dùng seed 101–113 nên không trùng số mốc run12.
| Nhóm | Cách tính loss | micro-F1 (± sd) | macro-F1 (± sd) | Δ micro so D0 | Seed | Verdict | Ghi chú |
|---|---|---|---|---|---|---|---|
| D0 | Một lượt tính loss có nhãn | 0,7718 ± 0,0054 | 0,5454 ± 0,0050 | — | 5 | Đối chứng | Mốc so sánh thông thường |
| D1 | Hai lượt dropout, trung bình loss có nhãn | 0,7734 ± 0,0085 | 0,5463 ± 0,0136 | +0,0016 | 5 | Trong nhiễu | Kiểm ảnh hưởng của hai lượt tính |
| D2 | D1 + loss nhất quán trên mọi khía cạnh | 0,7781 ± 0,0053 | 0,5546 ± 0,0068 | +0,0063 | 5 | Cao nhất bốn nhóm | Đối chứng chính của giả thuyết |
| D3 | D1 + loss nhất quán cân bằng khía cạnh xuất hiện/vắng mặt | 0,7630 ± 0,0051 | 0,5333 ± 0,0073 | −0,0088 | 5 | Âm | D3 − D2 = −0,0152, thua ở 5/5 seed, p một phía = 1,0 |
VLSP-2018 Restaurant, 12 khía cạnh. Không phải miền báo cáo của luận văn; dùng để xem recipe có giữ được thứ hạng khi đổi miền.
| Cấu hình | micro-F1 (± sd) | Δ micro | Seed | Verdict | Nguồn |
|---|---|---|---|---|---|
| PhoBERT-base + BCE | 0,6901 ± 0,0126 | — | 5 | Đối chứng | run13 |
| PhoBERT-base + ASL γ⁻2 γ⁺0 | 0,6949 ± 0,0030 | +0,0048 | 5 | Không kết luận | run13, pre-registered |
| Mốc công bố Thin 2022, cùng miền | 0,7155 | — | — | Tham chiếu | bảng so sánh đã công bố |
Mỗi dòng chỉ khác dòng đối chứng của nó đúng một thứ. Đổi hai thứ cùng lúc chỉ được ở bước chẩn đoán và phải khai là chưa tách được đóng góp.
Phát biểu hiệu năng chỉ đến từ dòng 5 seed đã đăng ký trước. Dòng 1 seed là chẩn đoán, không phải kết quả.
Số sống ở ledger của từng chiến dịch; trang này chỉ trích lại. Lệch nhau thì ledger và git tag thắng.
Tổ hợp 0,8038 là hàng ensemble mười mô hình, không so ngang với một mô hình đơn. Hướng luận văn là học chung ACD + SPC trong một mô hình.
Mỗi mục đã qua cổng đăng ký trước và thất bại; không mở lại nếu không có bằng chứng mới.