Khi được đưa một bảng số và yêu cầu "viết nhận xét", chatbot thường tự thêm nguyên nhân cho các con số, như "doanh số giảm do sức mua yếu" hay "chỉ số cải thiện nhờ đội ngũ nỗ lực", dù trong dữ liệu không có gì cho phép kết luận như vậy. Đây là dạng bịa thông tin khó phát hiện nhất trong báo cáo hiệu suất, vì câu văn nghe hợp lý và thường trùng với điều người đọc sẵn nghĩ.
Cách chặn gồm ba lớp: đưa cho AI danh sách sự kiện có thật và cấm nó dùng nguồn khác, yêu cầu nó đánh dấu riêng mọi giả thuyết, và kiểm từng câu nhân quả trước khi gửi. Bài này đi qua cả ba lớp, kèm bốn dạng bịa hay gặp nhất. Phần viết lời nhận xét số liệu nói chung có ở trang AI Phân Tích; ở đây tập trung vào phần nguyên nhân trong báo cáo so với chỉ tiêu.
Vì sao AI hay tự thêm nguyên nhân
Mô hình ngôn ngữ được huấn luyện trên lượng văn bản khổng lồ, trong đó có vô số báo cáo, bài báo, bài phân tích. Trong những văn bản đó, câu mô tả con số thường đi kèm câu giải thích nguyên nhân. Khi bạn yêu cầu viết nhận xét, mô hình tạo ra thứ trông giống một nhận xét điển hình, và một nhận xét điển hình có nguyên nhân. Nó không cố ý lừa; nó đang điền vào khuôn mẫu.
Thêm nữa, mô hình không biết điều gì đã xảy ra trong cửa hàng, phòng ban hay dự án của bạn ngoài những gì bạn đưa vào. Thiếu thông tin, nó dựa vào những nguyên nhân phổ biến nhất cho loại số đó: doanh số giảm thì do sức mua, chi phí tăng thì do giá đầu vào, tỷ lệ khiếu nại tăng thì do quá tải. Những nguyên nhân này đúng ở đâu đó, với ai đó, nhưng chưa chắc đúng với bạn.
Nguy hiểm ở chỗ người viết báo cáo thường mệt và vội, đọc thấy câu hợp lý thì giữ lại. Người đọc báo cáo thấy câu hợp lý thì tin. Một nguyên nhân bịa có thể dẫn tới quyết định sai: cắt giảm khuyến mãi vì tưởng sức mua yếu, trong khi vấn đề thật là kho hết hàng.
Bốn dạng bịa nguyên nhân hay gặp
Bảng dưới giúp bạn nhận ra khi đọc bản nháp do AI soạn. Ví dụ đều là giả định.
| Dạng | Ví dụ câu AI viết | Vì sao nguy hiểm |
|---|---|---|
| Nguyên nhân vĩ mô chung chung | "Doanh thu giảm phản ánh sức mua chung còn yếu" | Không kiểm được với dữ liệu của bạn, đẩy trách nhiệm ra ngoài |
| Công lao hoặc lỗi của con người | "Kết quả tốt nhờ sự nỗ lực của đội ngũ bán hàng" | Nghe dễ chịu nên ít ai xoá, nhưng có thể sai và ảnh hưởng tới đánh giá người |
| Nhân quả từ trùng thời gian | "Sau chương trình khuyến mãi, lượng khách tăng 15%" | Hai việc cùng lúc chưa chắc việc này gây ra việc kia |
| Chi tiết cụ thể không có trong dữ liệu | "Chủ yếu do nhóm khách văn phòng giảm đơn" | Nghe như đã phân tích, trong khi bảng số không chia theo nhóm khách |
Dạng thứ tư nguy hiểm nhất vì nó trông giống kết quả phân tích thật. Bất cứ khi nào bản nháp nhắc tới một nhóm, một kênh, một sản phẩm cụ thể, hãy kiểm xem dữ liệu bạn đưa vào có chia theo chiều đó không. Nếu không, chi tiết đó là bịa.
Dạng thứ ba cũng đáng lưu ý: ngay cả khi bạn tự viết, việc gán nhân quả cho hai sự kiện xảy ra cùng lúc là lỗi suy luận rất phổ biến. AI chỉ làm nó trôi chảy hơn.
Lớp thứ nhất: chặn từ câu lệnh
Phần lớn nguyên nhân bịa có thể chặn ngay từ cách bạn yêu cầu. Một câu lệnh tốt cho phần nhận xét báo cáo gồm các yếu tố sau:
- Cung cấp danh sách sự kiện trong kỳ do chính nhóm ghi lại, kèm ngày tháng nếu có.
- Nói rõ: "Chỉ được giải thích nguyên nhân bằng các sự kiện trong danh sách trên. Không dùng kiến thức chung về thị trường, kinh tế hay ngành."
- Thêm lối thoát: "Nếu không có sự kiện nào giải thích được một chỉ số, viết: chưa xác định được nguyên nhân." Thiếu câu này, mô hình có xu hướng lấp chỗ trống.
- Tách mô tả khỏi giải thích: "Viết hai phần riêng. Phần một chỉ mô tả số: tăng, giảm, bao nhiêu, so với gì. Phần hai mới là giải thích."
- Cấm tính từ đánh giá con người: "Không nhận xét về nỗ lực, thái độ hay năng lực của nhân viên."
- Yêu cầu dẫn nguồn trong câu: "Mỗi câu giải thích nguyên nhân phải ghi trong ngoặc sự kiện số mấy trong danh sách được dùng."
Câu lệnh mẫu đầy đủ: "Dưới đây là bảng chỉ số tháng và danh sách 6 sự kiện có đánh số. Viết nhận xét gồm hai phần. Phần mô tả: mỗi chỉ số một câu, chỉ nêu số và so sánh. Phần giải thích: chỉ dùng sự kiện trong danh sách, mỗi câu ghi số sự kiện trong ngoặc; chỉ số nào không giải thích được thì ghi chưa xác định được nguyên nhân. Không dùng kiến thức chung, không nhận xét về con người." Nhớ che tên khách, tên nhân viên và số tiền thật trước khi dán.
Lớp thứ hai: bắt AI tự đánh dấu giả thuyết
Cho phép giả thuyết nhưng đặt vào ô riêng. Đôi khi bạn muốn nghe AI gợi ý các khả năng để tự kiểm. Hãy yêu cầu: "Ngoài phần nhận xét, liệt kê riêng tối đa ba giả thuyết khác có thể giải thích số liệu, mỗi giả thuyết ghi rõ dữ liệu nào cần để kiểm." Như vậy giả thuyết không lẫn vào văn bản báo cáo.
Yêu cầu mức độ chắc chắn. Bắt AI ghi kèm mỗi câu giải thích một trong ba mức: có bằng chứng trong dữ liệu đã cho, suy luận hợp lý cần kiểm, hoặc không đủ cơ sở. Câu nào ở mức hai và ba không được vào bản gửi đi nếu bạn chưa kiểm.
Hỏi ngược lại chính bản nháp. Sau khi có bản nháp, hỏi trong cùng cuộc trò chuyện: "Trong đoạn trên, câu nào chứa thông tin không có trong bảng số hay danh sách sự kiện đã cho?" Mô hình thường chỉ ra được phần lớn các câu bịa của chính nó khi được hỏi trực tiếp, dù không phải lúc nào cũng đủ.
Dùng một cuộc trò chuyện mới để rà. Mở cuộc trò chuyện mới, dán dữ liệu và bản nháp, yêu cầu tìm câu không có căn cứ. Cuộc trò chuyện mới không bị ảnh hưởng bởi lập luận trước đó, nên đôi khi bắt được những câu mà lần hỏi ngược không bắt được.
Lớp thứ ba: người kiểm từng câu nhân quả
Hai lớp trên giảm rủi ro, không loại bỏ được. Bước cuối luôn là người đọc lại. Cách làm nhanh nhất là chỉ soi những câu có từ chỉ quan hệ nhân quả, vì nguyên nhân bịa gần như luôn đi kèm chúng:
- Các từ như "do", "vì", "nhờ", "bởi", "dẫn đến", "khiến", "kéo theo", "phản ánh", "cho thấy", "xuất phát từ".
- Với mỗi câu, hỏi: sự kiện được nêu có trong danh sách sự kiện của nhóm không, có ngày tháng không.
- Hỏi tiếp: độ lớn có khớp không. Một sự kiện nhỏ được dùng để giải thích một khoản lệch lớn là dấu hiệu cần xem lại.
- Kiểm mọi chi tiết cụ thể: tên nhóm khách, tên kênh, tên sản phẩm. Dữ liệu đầu vào có chiều đó không.
- Câu không qua được kiểm thì xoá hoặc chuyển thành "chưa xác định được nguyên nhân, đang kiểm thêm".
- Đặc biệt soi các câu khen hoặc chê một người hay một nhóm người. Những câu này không thuộc báo cáo hiệu suất định kỳ.
Với báo cáo một trang, bước này mất khoảng mười phút. Đó là mười phút đáng nhất của cả quy trình, vì một nguyên nhân sai có thể dẫn cả phòng họp đi sai hướng suốt một quý.
Một bản nháp trước và sau khi chặn (ví dụ giả định)
Một quán cà phê nhỏ có bảng số tháng: doanh thu đạt 91% chỉ tiêu, số ly bán giảm, giá trị trung bình mỗi hoá đơn tăng nhẹ. Câu lệnh đơn giản "viết nhận xét cho bảng số này" cho ra bản nháp: "Doanh thu chưa đạt chỉ tiêu chủ yếu do lượng khách văn phòng giảm trong bối cảnh sức mua chung còn yếu. Tuy nhiên, giá trị hoá đơn tăng cho thấy chiến lược bán kèm bánh ngọt đã phát huy hiệu quả nhờ sự nỗ lực của nhân viên." Trong bảng số không có gì về khách văn phòng, sức mua hay bán kèm. Ba nguyên nhân, cả ba đều bịa.
Câu lệnh có chặn, kèm danh sách sự kiện của chủ quán (máy pha hỏng ba ngày giữa tháng; đổi giá hai món từ ngày 15; một nhân viên ca sáng nghỉ cả tuần cuối), cho ra: "Doanh thu đạt 91% chỉ tiêu, số ly bán thấp hơn tháng trước, giá trị trung bình hoá đơn cao hơn. Số ly giảm có thể liên quan tới ba ngày máy pha hỏng (sự kiện 1) và tuần thiếu người ca sáng (sự kiện 3). Giá trị hoá đơn tăng trùng thời điểm đổi giá hai món (sự kiện 2), chưa đủ dữ liệu để biết phần tăng có đến từ việc khách mua nhiều hơn hay không."
Bản thứ hai kém trôi chảy hơn, nhưng mọi câu đều kiểm được, và nó chỉ ra đúng chỗ chủ quán cần xem thêm dữ liệu. Đó là thứ một báo cáo hiệu suất cần.
Khi nào không nên dùng AI cho phần nguyên nhân
Có những trường hợp tốt hơn là tự viết phần nguyên nhân từ đầu, chỉ dùng AI để chỉnh câu chữ. Thứ nhất, khi báo cáo liên quan tới đánh giá cá nhân, khen thưởng hay kỷ luật. Bất kỳ câu nào gán kết quả cho một người đều có hệ quả thật với người đó, và không nên để một mô hình ngôn ngữ đề xuất. Việc đánh giá người luôn cần người xem xét, theo quy chế nội bộ.
Thứ hai, khi số liệu quá nhạy cảm để đưa ra ngoài mà việc che làm mất ý nghĩa, ví dụ báo cáo chỉ có một khách lớn duy nhất. Lúc đó, chi phí che và kiểm lại thường lớn hơn thời gian tiết kiệm.
Thứ ba, khi chính bạn chưa hiểu vì sao số lệch. Nếu bạn đưa bảng số cho AI để nó "tìm nguyên nhân giúp", bạn sẽ nhận về những nguyên nhân phổ biến nhất chứ không phải nguyên nhân của bạn. Việc tìm nguyên nhân thật cần nói chuyện với người làm, xem dữ liệu chi tiết, có khi cần một buổi rà soát riêng. AI có thể giúp chuẩn bị câu hỏi cho buổi đó, nhưng không thay được nó.
Câu hỏi thường gặp
Vì sao chatbot hay viết thêm nguyên nhân khi chỉ được nhờ nhận xét số liệu?
Vì trong lượng văn bản mô hình học được, câu mô tả số thường đi kèm câu giải thích. Khi thiếu thông tin về đơn vị của bạn, nó điền vào bằng những nguyên nhân phổ biến nhất. Cách chặn là đưa danh sách sự kiện có thật và cấm dùng nguồn khác ngay trong câu lệnh.
Có câu lệnh nào chặn hoàn toàn việc AI bịa không?
Không có câu lệnh nào chặn được hoàn toàn. Câu lệnh tốt giảm mạnh tần suất, nhưng vẫn cần người đọc lại từng câu có quan hệ nhân quả và kiểm mọi chi tiết cụ thể với dữ liệu gốc trước khi gửi báo cáo.
Làm sao phát hiện nhanh câu bịa trong một báo cáo dài?
Tìm các từ chỉ nhân quả như do, vì, nhờ, dẫn đến, phản ánh và kiểm từng câu chứa chúng. Kiểm thêm mọi tên nhóm khách, kênh, sản phẩm được nhắc tới xem dữ liệu đầu vào có chia theo chiều đó không. Phần lớn câu bịa nằm ở hai chỗ này.
AI gợi ý giả thuyết về nguyên nhân có dùng được không?
Dùng được nếu tách riêng khỏi văn bản báo cáo và coi là danh sách để kiểm. Mỗi giả thuyết cần ghi rõ dữ liệu nào xác nhận hoặc bác bỏ nó. Chỉ khi đã kiểm bằng dữ liệu hoặc hỏi người trong cuộc thì mới đưa vào báo cáo như một nguyên nhân.
Báo cáo đã gửi rồi mới phát hiện có nguyên nhân bịa thì xử lý sao?
Gửi đính chính càng sớm càng tốt, nói rõ câu nào sai, thay bằng nội dung đúng hoặc ghi chưa xác định được nguyên nhân. Nếu quyết định nào đã được đưa ra dựa trên câu đó, báo cho người ra quyết định để họ cân nhắc lại.
Có nên để AI nhận xét về nỗ lực của từng nhân viên trong báo cáo không?
Không nên. Báo cáo hiệu suất định kỳ nên nói về chỉ số và quy trình. Nhận xét về con người có hệ quả với đánh giá và thu nhập của họ, cần người quản lý xem xét trực tiếp theo quy chế nội bộ, không nên để một mô hình ngôn ngữ đề xuất.