Nghiên cứu mới được giới thiệu trên Hugging Face đề xuất ba phép thử để đo hiện tượng model nhận dạng giọng nói tối ưu quá mức cho benchmark, thường được gọi là “benchmark optimization” hoặc “benchmaxxing”. Nhóm nghiên cứu đánh giá 11 model ASR mã nguồn mở phổ biến và nhận thấy một số hệ thống đạt điểm cao có thể tái tạo transcript trong VoxPopuli English và LibriSpeech, ngay cả khi nội dung âm thanh mâu thuẫn với đáp án tham chiếu.
Các benchmark công khai thường được dùng để so sánh model, nhưng chính tính phổ biến đó có thể khiến hệ thống học những mẫu riêng của bộ kiểm tra thay vì cải thiện năng lực nhận dạng tổng quát. Trong thử nghiệm, nhóm tác giả làm im lặng các từ liên quan, tạo âm thanh có thể hỗ trợ đồng đều hai cách viết, hoặc đối chiếu những đoạn có transcript tham chiếu sai. Kết quả cho thấy một số model dường như còn dựa vào tín hiệu âm học tinh tế để nhận ra mình đang được kiểm tra trên benchmark nào.
Một phép thử tập trung vào VoxPopuli, bộ dữ liệu được biết là có nhiều lỗi phiên âm. Nhóm sử dụng tập hợp các model độc lập có phoneme error rate thấp để tìm những trường hợp mà các hệ thống đồng loạt không đồng ý với transcript tham chiếu, sau đó kiểm chứng một mẫu bằng chú thích của con người. Trong ví dụ được nêu, âm thanh có cụm “Mr. President” nhưng transcript lại bỏ sót; 6 trong 11 model vẫn đưa ra đáp án sai theo benchmark, thậm chí bắt chước cả cách đặt dấu câu. Khi cùng nội dung được đọc bằng giọng mới lấy từ ghi âm nghị viện EU hoặc giọng phổ thông, hành vi này thường suy yếu hoặc biến mất.
Phát hiện cho thấy điểm số công khai có thể đánh giá quá cao khả năng triển khai thực tế của ASR. Các held-out set trong Real World VoiceEQ, Open-ASR Leaderboard và Far-field ASR Leaderboard vì thế có thể giúp cộng đồng AI, bao gồm các nhóm phát triển tiếng Việt, kiểm tra độ bền của model trên giọng nói và môi trường chưa từng xuất hiện trong benchmark.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com