Chất lượng đầu ra của AI nên được chấm bằng một bảng tiêu chí cố định, trên một mẫu chọn ngẫu nhiên mỗi tuần, và khi có thể thì chấm mù: người chấm không biết bản nào do AI hỗ trợ, bản nào do người tự làm. Đây là cách rẻ nhất để biết liệu tốc độ có đang được mua bằng chất lượng hay không.
Bài này dành cho trưởng nhóm muốn có con số chất lượng đáng tin mà không phải đọc hết mọi bản. Bạn sẽ có khung bảng tiêu chí, cách lấy mẫu, cách đếm lỗi theo mức nặng nhẹ, và các bẫy làm điểm chấm sai lệch. Ví dụ trong bài là giả định.
Vì sao đo chất lượng khó hơn đo thời gian, và vẫn phải làm
Thời gian đo bằng đồng hồ, chất lượng phải đo bằng phán đoán của người. Đó là lý do nhiều đơn vị bỏ qua phần này và chỉ báo cáo "nhanh hơn". Nhưng với AI, rủi ro chất lượng lại cao hơn bình thường: văn bản do AI soạn thường trôi chảy, đúng ngữ pháp, nên lỗi nội dung được che rất khéo. Một con số sai, một điều khoản không có thật, một lời hứa với khách mà công ty không làm được có thể nằm gọn trong đoạn văn đọc rất xuôi tai.
Không đo chất lượng, bạn sẽ chỉ biết lỗi khi khách phàn nàn, tức là quá muộn. Có đo, bạn biết sớm loại lỗi nào hay xuất hiện, và có thể sửa ở câu lệnh, ở bước kiểm lại, hoặc quyết định loại việc đó không nên giao cho AI.
Tin tốt là đo chất lượng không cần đọc mọi bản. Một mẫu nhỏ chọn ngẫu nhiên, chấm theo vài tiêu chí rõ ràng, đã đủ để thấy xu hướng. Điều kiện là tiêu chí phải cố định trong suốt thời gian so sánh và người chấm phải hiểu giống nhau.
Dựng bảng tiêu chí: bốn đến sáu tiêu chí, mỗi tiêu chí ba mức
Bảng tiêu chí càng dài càng khó chấm đều. Bốn đến sáu tiêu chí, mỗi tiêu chí ba mức là vừa. Ví dụ giả định cho thư trả lời khách hàng:
| Tiêu chí | Đạt tốt (2 điểm) | Tạm được (1 điểm) | Chưa đạt (0 điểm) |
|---|---|---|---|
| Đúng thông tin | Mọi thông tin về đơn hàng, chính sách đều đúng | Có chi tiết nhỏ chưa chính xác nhưng không gây hiểu nhầm | Có thông tin sai hoặc hứa điều công ty không làm |
| Trả lời đúng câu hỏi | Trả lời trực tiếp mọi điều khách hỏi | Trả lời phần chính, bỏ sót phần phụ | Lạc đề hoặc trả lời chung chung |
| Giọng và cách xưng hô | Đúng giọng công ty, phù hợp tình huống | Hơi cứng hoặc hơi khách sáo | Sai cách xưng hô hoặc giọng gây khó chịu |
| Hành động tiếp theo rõ | Khách biết rõ việc tiếp theo và thời hạn | Có nhắc nhưng mơ hồ | Không có |
| Độ dài hợp lý | Ngắn gọn, không thừa | Hơi dài | Quá dài hoặc quá cụt |
Mỗi thư được tối đa mười điểm. Bạn không cần quá bận tâm điểm tuyệt đối; điều quan trọng là so sánh điểm trung bình giữa giai đoạn trước và sau, hoặc giữa bản có AI và bản không có AI, chấm theo cùng một bảng. Riêng tiêu chí "đúng thông tin" nên được theo dõi tách riêng, vì một lỗi ở đây có thể nghiêm trọng hơn cả tổng điểm.
Lấy mẫu ngẫu nhiên và chấm mù
Chấm những bản mình tự chọn sẽ cho kết quả lệch, vì người ta có xu hướng chọn bản đẹp hoặc bản đáng nhớ. Cách lấy mẫu đơn giản cho nhóm nhỏ:
- Mỗi tuần, đánh số mọi bản đã gửi đi trong tuần theo thứ tự thời gian.
- Dùng hàm tạo số ngẫu nhiên trong bảng tính để chọn khoảng năm đến mười bản, tuỳ khối lượng việc.
- Một người không trực tiếp chấm sẽ chép các bản đã chọn sang một tệp mới, bỏ tên người viết và bỏ mọi dấu hiệu cho biết bản đó có dùng AI hay không.
- Người chấm chấm theo bảng tiêu chí, ghi điểm từng tiêu chí và ghi ngắn lỗi nếu có.
- Sau khi chấm xong mới mở khoá để ghép điểm với thông tin bản đó có dùng AI hay không.
- Mỗi tháng, cho hai người chấm chung vài bản để xem họ có cho điểm giống nhau không; lệch nhiều thì ngồi lại thống nhất cách hiểu tiêu chí.
Chấm mù quan trọng vì người chấm thường có sẵn định kiến, hoặc nghi ngờ AI nên chấm khắt khe hơn, hoặc thích công cụ mới nên chấm dễ hơn. Không biết bản nào có AI thì định kiến không có chỗ bám. Ở đơn vị rất nhỏ, chấm mù hoàn toàn khó làm; ít nhất hãy bỏ tên người viết để không chấm theo cảm tình.
Đếm lỗi theo mức nặng nhẹ thay vì chỉ cộng điểm
Lỗi nặng: gây thiệt hại hoặc sai cam kết. Ví dụ thông tin giá, thời hạn, chính sách bị sai; hứa với khách điều công ty không làm; trích một quy định không tồn tại. Chỉ một lỗi loại này cũng đủ để cảnh báo, bất kể điểm tổng cao thế nào.
Lỗi vừa: làm người nhận hiểu sai hoặc phải hỏi lại. Ví dụ trả lời thiếu ý chính, hướng dẫn mơ hồ, nhầm tên sản phẩm tương tự. Loại lỗi này thường làm tăng số lần trao đổi qua lại.
Lỗi nhẹ: hình thức, giọng văn. Ví dụ câu hơi dài, xưng hô chưa tự nhiên, lặp từ. Nên ghi để cải thiện câu lệnh, nhưng không nên đánh đồng với hai loại trên.
Theo dõi riêng lỗi lọt tới khách. Ngoài mẫu chấm nội bộ, ghi lại mọi lỗi do khách hoặc đối tác phát hiện. Đây là chỉ số quan trọng nhất cho thấy bước kiểm lại có đang chạy hay không.
Ghi nguyên nhân lỗi ở mức ngắn. Một vài chữ như "câu lệnh thiếu chính sách đổi trả" hay "không đối chiếu với hệ thống" đủ để sau một tháng thấy lỗi hay lặp ở đâu và sửa đúng chỗ.
Các bẫy làm điểm chất lượng sai lệch
Bẫy thứ nhất là đổi tiêu chí giữa chừng. Sau vài tuần, người chấm thấy một tiêu chí chưa hợp lý và sửa luôn. Điểm trước và sau khi sửa không còn so được với nhau. Nếu cần sửa, ghi rõ ngày sửa, và nếu có thể thì chấm lại vài bản cũ theo tiêu chí mới để nối mạch.
Bẫy thứ hai là chỉ chấm bản cuối mà không biết bản đó đã qua mấy vòng sửa. Một thư đạt điểm cao có thể là nhờ trưởng nhóm đã sửa gần hết. Nên ghi kèm số vòng sửa hoặc thời gian sửa, nếu không bạn sẽ đo chất lượng của người sửa chứ không phải chất lượng của cách làm có AI.
Bẫy thứ ba là mẫu quá nhỏ mà kết luận quá chắc. Năm bản mỗi tuần trong hai tuần là mười bản; chênh lệch nửa điểm trung bình giữa hai nhóm trên mười bản chưa nói được nhiều. Nên báo cáo theo xu hướng qua nhiều tuần và nêu rõ số bản đã chấm.
Bẫy cuối cùng là dùng điểm chất lượng để xếp hạng nhân viên. Bảng tiêu chí này đo cách làm, không đo con người. Khi nó bị dùng để đánh giá cá nhân, nhân viên sẽ tìm cách né mẫu chấm, và bạn mất công cụ đo trung thực nhất mình có.
Đặt ngưỡng chất lượng trước khi quyết định mở rộng
Điểm chấm chỉ có ích khi bạn biết trước điểm bao nhiêu thì đủ. Nếu đợi có số rồi mới đặt ngưỡng, người ta dễ chọn ngưỡng vừa khít với kết quả mình muốn. Gợi ý cách đặt ngưỡng trước khi bắt đầu thí điểm:
- Không thấp hơn mốc cũ: điểm trung bình của bản có AI không thấp hơn điểm trung bình của bản làm theo cách cũ trong giai đoạn ghi mốc. Đây là điều kiện tối thiểu.
- Không có lỗi nặng lọt tới khách: trong suốt thời gian thí điểm, không có lỗi nặng nào do khách hoặc đối tác phát hiện. Một lỗi lọt ra là phải xem lại bước kiểm.
- Lỗi nặng trong mẫu nội bộ giảm dần: lỗi nặng phát hiện trong mẫu chấm có thể xuất hiện ở tuần đầu, nhưng phải giảm qua các tuần sau khi đã sửa câu lệnh.
- Tiêu chí đúng thông tin giữ ở mức tốt: tách riêng tiêu chí này, đặt yêu cầu cao hơn các tiêu chí hình thức.
- Ghi ngưỡng ra giấy và cho cả nhóm biết: khi ngưỡng đã công khai từ đầu, kết luận cuối kỳ ít bị tranh cãi hơn, và không ai có cảm giác bị đổi luật giữa chừng.
Ngưỡng là của đơn vị bạn, không có mức chuẩn chung nào để chép. Một cửa hàng nhỏ có thể chấp nhận thư giọng hơi cứng nhưng không chấp nhận sai giá; một văn phòng dịch vụ pháp lý thì ngược lại, yêu cầu gần như tuyệt đối ở tiêu chí đúng thông tin và cần người có chuyên môn đọc lại mọi bản.
Nhờ AI hỗ trợ chấm: được gì và giới hạn ở đâu
Một số đơn vị dùng chính AI để chấm sơ bộ đầu ra của AI. Cách này giúp tiết kiệm công nhưng có giới hạn rõ:
- AI giúp được việc soạn bảng tiêu chí ban đầu. Câu lệnh mẫu: "Soạn bảng tiêu chí chấm chất lượng thư trả lời khách hàng của một cửa hàng đồ gia dụng, gồm năm tiêu chí, mỗi tiêu chí ba mức có mô tả cụ thể. Mô tả phải đủ rõ để hai người chấm độc lập cho ra điểm giống nhau."
- AI có thể chấm sơ bộ các tiêu chí hình thức như độ dài, giọng văn, có nêu hành động tiếp theo hay không.
- AI không biết thông tin nội bộ là đúng hay sai nếu bạn không đưa vào, nên tiêu chí "đúng thông tin" phải do người đối chiếu.
- AI chấm AI có thể ưu ái kiểu văn của chính nó. Thỉnh thoảng so điểm AI chấm với điểm người chấm trên cùng bản để xem lệch bao nhiêu.
- Trước khi dán bản cần chấm vào chatbot, thay tên khách, số điện thoại, địa chỉ, mã đơn bằng ký hiệu; thư khách thường chứa nhiều thông tin cá nhân hơn bạn nghĩ.
Kết luận về chất lượng, nhất là khi dùng để quyết định mở rộng hay dừng, phải dựa trên điểm do người chấm. AI chấm chỉ nên là bộ lọc sơ bộ để người chấm tập trung vào các bản đáng ngờ.
Câu hỏi thường gặp
Mỗi tuần nên chấm bao nhiêu bản là đủ?
Với nhóm nhỏ, năm đến mười bản chọn ngẫu nhiên mỗi tuần thường đủ để thấy xu hướng sau vài tuần. Nếu khối lượng việc lớn hoặc chất lượng dao động mạnh, có thể tăng lên. Quan trọng hơn số lượng là chọn ngẫu nhiên và chấm đều đặn.
Ai nên là người chấm chất lượng?
Nên là người hiểu rõ công việc nhưng không trực tiếp viết các bản được chấm, thường là trưởng nhóm hoặc một đồng nghiệp ở nhóm bên cạnh. Mỗi tháng nên có hai người chấm chung vài bản để giữ cách hiểu tiêu chí thống nhất.
Đơn vị quá nhỏ, không thể chấm mù thì làm sao?
Ít nhất bỏ tên người viết trước khi chấm, và chấm theo đúng bảng tiêu chí đã thống nhất. Có thể nhờ người ở bộ phận khác hoặc người quen trong nghề chấm hộ một vài bản mỗi tháng để có góc nhìn ít định kiến hơn.
Điểm chất lượng có nên đưa vào đánh giá nhân viên không?
Không nên. Bảng tiêu chí này dùng để đo cách làm có AI tốt hay không. Khi đưa vào đánh giá cá nhân, nhân viên sẽ né mẫu chấm hoặc chỉnh bản cho đẹp, làm số đo mất trung thực. Đánh giá nhân viên nên theo quy trình riêng của đơn vị.
Lỗi nặng xuất hiện một lần thì có cần dừng dùng AI không?
Không nhất thiết dừng, nhưng cần xử lý ngay: tìm nguyên nhân, sửa câu lệnh hoặc thêm bước đối chiếu, và báo cho cả nhóm. Nếu lỗi nặng lặp lại dù đã sửa, nên cân nhắc không giao loại việc đó cho AI nữa.
Có nên dùng điểm do AI chấm để báo cáo chất lượng lên cấp trên không?
Không nên dùng làm số chính. Điểm AI chấm có thể lệch, nhất là với tiêu chí đúng thông tin. Báo cáo nên dựa trên điểm người chấm, có thể nhắc thêm AI được dùng để lọc sơ bộ.