Một đợt thí điểm AI có nhóm so sánh nghĩa là trong cùng một khoảng thời gian, một nhóm làm việc có dùng AI và một nhóm tương đương làm theo cách cũ, đo cùng chỉ số, rồi so hai nhóm với nhau. Cách này loại bớt những yếu tố làm kết quả trước và sau bị lệch: mùa vụ, khối lượng việc thay đổi, người giỏi tự nguyện tham gia, hay đơn giản là cả nhóm hào hứng vì có thứ mới.
Doanh nghiệp nhỏ không cần thiết kế như phòng thí nghiệm. Bài này đưa ra ba cách chia nhóm hợp với đơn vị vài chục người, cách chọn thời gian, những điều cần thống nhất trước, và cách đọc kết quả khi số lượng mẫu ít. Mọi ví dụ là giả định.
Vì sao so trước và sau thôi là chưa đủ
So trước và sau là cách phổ biến nhất: đo tháng trước khi dùng AI, đo tháng sau, rồi so. Vấn đề là giữa hai tháng đó, rất nhiều thứ khác cũng thay đổi. Tháng sau có thể là mùa thấp điểm nên việc ít và dễ hơn. Có thể đơn vị vừa tuyển thêm một người giỏi. Có thể sau buổi giới thiệu công cụ, cả nhóm làm việc chăm hơn vì cảm thấy được quan tâm. Bất kỳ yếu tố nào trong số đó cũng có thể tạo ra khác biệt mà bạn tưởng là do AI.
Nhóm so sánh giải quyết điều đó bằng cách để hai nhóm cùng trải qua những thay đổi chung. Nếu tháng này việc ít đi, cả hai nhóm đều ít việc. Nếu khách khó tính hơn, cả hai nhóm đều gặp. Phần chênh lệch còn lại giữa hai nhóm mới có nhiều khả năng là do AI.
Không có nghĩa là so trước và sau vô dụng. Với đơn vị quá nhỏ hoặc việc không chia được, đó vẫn là cách duy nhất. Nhưng khi có thể chia, dù chỉ thành hai nhóm ba người, bạn sẽ có kết quả đáng tin hơn nhiều mà chi phí gần như không tăng.
Ba cách chia nhóm cho đơn vị nhỏ
Không phải đơn vị nào cũng chia được theo cùng một cách. Chọn cách hợp với cách việc được phân công ở chỗ bạn:
| Cách chia | Làm thế nào | Hợp với | Điểm yếu |
|---|---|---|---|
| Chia theo người | Một nửa nhóm dùng AI, nửa kia chưa dùng, bốc thăm ai vào nhóm nào | Nhóm từ sáu người trở lên làm cùng loại việc | Nhóm chưa dùng có thể thấy thiệt; hai người khác trình độ có thể rơi cùng một bên |
| Chia theo việc | Mọi người cùng tham gia; mỗi việc mới đến được bốc thăm làm có AI hay không | Việc đến lẻ, đều, như thư khách hay yêu cầu báo giá | Cần kỷ luật để không chọn việc dễ cho AI |
| Chia theo thời gian xen kẽ | Tuần lẻ dùng AI, tuần chẵn không, đổi qua lại vài lần | Nhóm rất nhỏ, không chia người được | Kỹ năng dùng AI học được ở tuần có AI vẫn mang sang tuần không |
Với đa số đơn vị nhỏ, chia theo việc là cách cân bằng nhất: mọi người đều được dùng AI, kết quả không phụ thuộc vào ai giỏi hơn ai, và không ai cảm thấy bị bỏ lại. Bốc thăm có thể làm đơn giản bằng hàm số ngẫu nhiên trong bảng tính hoặc tung đồng xu cho mỗi việc mới.
Những điều phải thống nhất trước khi bắt đầu
Thí điểm hỏng thường không phải vì thiết kế sai, mà vì thay đổi luật giữa chừng. Thống nhất bằng văn bản ngắn trước ngày đầu tiên:
- Câu hỏi thí điểm: một câu duy nhất, ví dụ "dùng AI soạn nháp thư trả lời khách có làm giảm thời gian trọn vòng mà không làm giảm điểm chất lượng hay không".
- Chỉ số chính và chỉ số phụ: một chỉ số chính để kết luận, hai ba chỉ số phụ để canh tác dụng phụ.
- Cách chia nhóm: chọn một trong ba cách, ghi rõ cách bốc thăm.
- Thời gian: ngày bắt đầu, ngày kết thúc, có tuần làm quen không tính hay không.
- Ngưỡng quyết định: khác biệt bao nhiêu thì coi là đáng mở rộng, có lỗi nặng thì dừng ngay hay không.
- Người chấm chất lượng: ai chấm, có chấm mù không.
- Quy tắc dữ liệu: nhắc lại thông tin nào phải che trước khi đưa vào AI, áp dụng cho nhóm có dùng AI.
Văn bản này không cần dài hơn một trang. Nó giúp tránh tình huống thường gặp nhất: đến cuối kỳ, kết quả không như mong đợi, và mọi người bắt đầu đổi chỉ số hoặc bỏ bớt tuần đầu để kết quả đẹp hơn.
Chọn thời gian và cỡ mẫu hợp lý
Thời gian thí điểm cần đủ dài để vượt qua giai đoạn làm quen và để có đủ số việc. Với đầu việc văn phòng lặp lại hằng ngày, bốn đến tám tuần thường đủ, trong đó tuần đầu nên coi là tuần làm quen và không đưa vào kết quả chính. Với việc ít lặp lại, như báo cáo tháng hay hồ sơ dự thầu, cần thời gian dài hơn hoặc chấp nhận kết luận ở mức sơ bộ.
Về cỡ mẫu, không có con số cố định cho mọi trường hợp. Nguyên tắc dễ nhớ: khác biệt bạn kỳ vọng càng nhỏ, hoặc công việc càng dao động, thì càng cần nhiều mẫu. Ví dụ giả định: nếu thời gian làm một thư dao động từ mười tới bốn mươi phút, thì so hai nhóm mỗi nhóm mười thư khó nói được gì về chênh lệch vài phút. Nếu có người trong đơn vị quen với thống kê, nhờ họ xem giúp; nếu không, hãy báo cáo khoảng dao động của cả hai nhóm bên cạnh trung bình để người đọc tự thấy mức chồng lấn.
Tránh thí điểm vào những thời điểm bất thường như cuối năm, mùa cao điểm bán hàng, hoặc khi đơn vị đang có thay đổi lớn về nhân sự. Nếu không tránh được, ghi lại để giải thích khi đọc kết quả. Nhóm so sánh giúp giảm ảnh hưởng của thời điểm, nhưng một tháng quá bất thường vẫn có thể làm méo cả hai nhóm theo những cách khác nhau.
Ví dụ giả định từ đầu tới cuối: nhóm hỗ trợ khách của một cửa hàng bán hàng trực tuyến
Một cửa hàng đồ gia dụng bán trực tuyến ở Bình Dương cũ, nay thuộc Thành phố Hồ Chí Minh, có nhóm hỗ trợ khách tám người, mỗi ngày nhận khoảng vài chục tin nhắn hỏi về bảo hành và đổi trả. Trưởng nhóm muốn biết dùng AI soạn nháp câu trả lời có đáng mở rộng không. Nhóm chọn chia theo việc: mỗi tin nhắn mới được bảng tính tự gán ngẫu nhiên nhãn "có AI" hoặc "không AI" trước khi ai đọc nội dung.
Câu hỏi thí điểm được viết một dòng; chỉ số chính là thời gian trọn vòng, chỉ số phụ là điểm chấm mẫu và tỷ lệ khách phải nhắn lại. Thí điểm chạy sáu tuần, tuần đầu làm quen không tính. Câu lệnh mẫu cho nhóm có AI chứa sẵn chính sách bảo hành hiện hành, đã bỏ mọi thông tin khách.
Kết quả giả định: thời gian trọn vòng của nhãn "có AI" thấp hơn rõ ở các câu hỏi về đổi trả, nhưng gần như không khác ở câu hỏi bảo hành kỹ thuật, nơi người làm phải tra mã máy trong hệ thống. Điểm chất lượng hai bên tương đương, tỷ lệ khách nhắn lại không đổi. Nhóm quyết định mở rộng AI cho câu hỏi đổi trả, còn câu hỏi bảo hành kỹ thuật giữ cách cũ, và ghi lại để thí điểm lần sau khi có cách đưa thông tin mã máy vào câu lệnh an toàn hơn. Nếu chỉ so trước và sau, kết quả hai loại câu hỏi đã bị trộn chung thành một con số trung bình nhạt.
Những bẫy làm kết quả thí điểm sai lệch
Người tự nguyện vào nhóm dùng AI. Người tự xung phong thường là người thích công nghệ, làm nhanh sẵn. Kết quả tốt của nhóm họ một phần là do chính họ. Bốc thăm tránh được điều này.
Nhóm so sánh lén dùng AI. Nhân viên nhóm so sánh thấy đồng nghiệp làm nhanh nên tự dùng chatbot trên điện thoại riêng. Nói rõ từ đầu lý do cần nhóm so sánh, cam kết thời gian thí điểm ngắn và nhóm đó sẽ được dùng ngay sau.
Chọn việc dễ cho AI. Khi chia theo việc mà không bốc thăm thật, người phân việc vô tình giao việc đơn giản cho bên dùng AI. Bốc thăm trước khi đọc nội dung việc.
Chỉ đo thời gian. Nhóm dùng AI nhanh hơn nhưng nếu chất lượng giảm thì kết luận ngược lại. Luôn có ít nhất một chỉ số chất lượng.
Đổi chỉ số khi thấy kết quả. Đây là bẫy nguy hiểm nhất. Văn bản thống nhất trước là cách phòng duy nhất; mọi phân tích thêm sau đó phải ghi rõ là phân tích thêm, không thay cho chỉ số chính.
Đọc kết quả và nhờ AI hỗ trợ phân tích
Khi thí điểm kết thúc, đặt hai nhóm cạnh nhau theo từng chỉ số. Một số gợi ý để đọc đúng:
- Xem chỉ số chính trước, đúng như đã thống nhất. Nếu khác biệt nhỏ hơn ngưỡng đã đặt, kết luận là chưa thấy tác động rõ, dù chỉ số phụ có đẹp.
- Xem khoảng dao động của mỗi nhóm. Nếu hai khoảng chồng lên nhau gần hết, khác biệt trung bình có thể chỉ là ngẫu nhiên.
- Xem các chỉ số phụ để phát hiện tác dụng phụ: lỗi chất lượng, khách hỏi lại, sự cố dữ liệu.
- Câu lệnh mẫu nhờ AI hỗ trợ: "Đây là bảng kết quả thí điểm, mỗi dòng là một việc, gồm cột nhóm (có AI hoặc không), thời gian trọn vòng và điểm chất lượng. Hãy tính trung bình, trung vị và khoảng dao động cho mỗi nhóm, và nhận xét mức chồng lấn giữa hai nhóm. Không đưa ra kết luận về nguyên nhân."
- Bảng đưa vào chatbot chỉ gồm mã việc, nhóm và số đo; bỏ tên người làm, tên khách và nội dung việc.
- Kiểm lại vài con số bằng bảng tính trước khi đưa vào báo cáo.
Kết quả "chưa thấy khác biệt rõ" không phải là thất bại. Nó cho bạn biết AI không giúp nhiều cho đầu việc này với cách làm hiện tại, và tiết kiệm cho đơn vị một khoản đầu tư mở rộng không cần thiết. Thí điểm tốt là thí điểm cho ra câu trả lời đáng tin, dù câu trả lời đó là gì.
Câu hỏi thường gặp
Đơn vị chỉ có bốn người thì có làm thí điểm có nhóm so sánh được không?
Được, nhưng nên chia theo việc thay vì theo người. Mỗi việc mới được bốc thăm làm có AI hay không, và cả bốn người đều tham gia hai bên. Cách này giảm ảnh hưởng của khác biệt trình độ giữa các thành viên.
Nhóm so sánh có bị thiệt thòi không?
Chỉ trong thời gian ngắn của thí điểm. Nên nói rõ từ đầu lý do và cam kết nhóm so sánh sẽ được dùng AI ngay khi kết thúc. Chia theo việc thay vì theo người cũng giúp không ai cảm thấy bị bỏ lại.
Thí điểm nên kéo dài bao lâu?
Với việc lặp lại hằng ngày, thường bốn đến tám tuần, trong đó tuần đầu là tuần làm quen không tính. Việc ít lặp lại cần dài hơn hoặc chỉ cho kết luận sơ bộ.
Kết quả thí điểm cho thấy không có khác biệt thì có nên dừng dùng AI không?
Không nhất thiết. Xem lại cách dùng: câu lệnh, loại việc, bước kiểm. Nếu đã cải tiến mà vẫn không có khác biệt, nên giữ AI cho việc khác hợp hơn thay vì mở rộng cho đầu việc này.
Có cần biết thống kê để đọc kết quả thí điểm không?
Không bắt buộc với quyết định ở đơn vị nhỏ. So trung bình, xem khoảng dao động và mức chồng lấn của hai nhóm là đủ cho phần lớn trường hợp. Nếu quyết định lớn, nên nhờ người quen với thống kê xem lại.
Có nên làm thí điểm cho nhiều đầu việc cùng lúc không?
Nên bắt đầu với một hai đầu việc. Thí điểm nhiều việc cùng lúc làm phân tán sức theo dõi, và khó biết kết quả của việc này có bị ảnh hưởng bởi việc kia hay không.