Hiệu quả của chatbot trả lời khách không đo bằng số tin nhắn nó trả lời, mà bằng tỷ lệ khách được giải quyết xong mà không phải hỏi lại, tỷ lệ được chuyển sang người thật đúng lúc, và số câu trả lời sai lọt tới khách. Chatbot trả lời được mọi tin nhắn nhưng khách vẫn phải gọi điện hỏi lại là chatbot đang đẩy việc đi chỗ khác chứ không giảm việc.
Bài này dành cho chủ cửa hàng, trưởng nhóm chăm sóc khách hàng ở đơn vị nhỏ đã hoặc đang định dùng chatbot trên trang web, trang mạng xã hội hay ứng dụng nhắn tin. Phần cài đặt và giới hạn chủ đề cho chatbot thuộc về kiểm soát vận hành; ở đây chỉ bàn bộ chỉ số để biết nó có đang giúp hay không. Ví dụ đều là giả định.
Những con số dễ gây ảo tưởng
Phần lớn công cụ chatbot có bảng thống kê sẵn với những con số trông rất đẹp: số cuộc trò chuyện, số tin nhắn đã trả lời, thời gian phản hồi trung bình tính bằng giây. Những số này cho biết chatbot có hoạt động, nhưng không cho biết khách có được giúp hay không. Một chatbot trả lời ngay lập tức bằng một câu sai vẫn được tính là phản hồi nhanh.
Một con số khác hay bị hiểu nhầm là "tỷ lệ cuộc trò chuyện không cần người can thiệp". Nghe như là chatbot đã tự giải quyết, nhưng thực tế nhiều cuộc trò chuyện kết thúc vì khách bỏ đi, chán nản, chứ không phải vì đã được giải đáp. Nếu không phân biệt hai trường hợp này, bạn đang tính cả khách bực bội vào thành tích.
Ngược lại, có những con số xấu nhưng không đáng lo. Số cuộc trò chuyện tăng sau khi gắn chatbot có thể chỉ vì khách thấy có chỗ hỏi tiện hơn, không phải vì sản phẩm có vấn đề. Đọc số mà không đọc bối cảnh dễ dẫn tới quyết định sai theo cả hai chiều.
Vì vậy, bộ chỉ số cho chatbot cần đi xa hơn số liệu có sẵn: phải nhìn vào kết quả của khách sau cuộc trò chuyện, và phải có người đọc một mẫu hội thoại thật để biết chatbot đang trả lời đúng hay sai.
Bộ chỉ số gợi ý cho chatbot trả lời khách
Bảng dưới gồm sáu chỉ số, chia theo câu hỏi mà mỗi chỉ số trả lời. Không cần dùng hết; đơn vị nhỏ thường chọn ba bốn chỉ số là đủ.
| Chỉ số | Trả lời câu hỏi | Cách lấy số |
|---|---|---|
| Tỷ lệ tự giải quyết thật | Khách có được giúp xong không? | Trong mẫu hội thoại, đếm cuộc kết thúc với câu trả lời đúng và khách không liên hệ lại về cùng việc trong vài ngày |
| Tỷ lệ chuyển sang người thật | Chatbot có biết lúc nào cần người không? | Số cuộc được chuyển trên tổng số; đọc mẫu để xem chuyển đúng lúc hay quá muộn |
| Tỷ lệ khách hỏi lại qua kênh khác | Chatbot có đẩy việc đi chỗ khác không? | Nhân viên ghi khi khách gọi điện hay nhắn riêng về việc đã hỏi chatbot |
| Số câu trả lời sai trong mẫu | Chatbot có nói sai không? | Đọc mẫu ngẫu nhiên hằng tuần, đánh dấu câu sai về giá, chính sách, thời hạn |
| Số khiếu nại liên quan chatbot | Chatbot có gây bực bội không? | Ghi mọi khiếu nại nhắc tới việc trả lời tự động |
| Thời gian nhân viên dành cho tin nhắn | Đội ngũ có bớt việc không? | So số giờ xử lý tin nhắn trước và sau, cùng khối lượng khách |
Chỉ số cuối cùng là chỉ số kết quả cho đơn vị; năm chỉ số đầu là chỉ số cho khách. Cả hai đều cần: chatbot giúp đội ngũ bớt việc nhưng làm khách khó chịu thì cái giá trả sau sẽ lớn hơn số giờ tiết kiệm được. Mức hài lòng của khách sau cuộc trò chuyện cũng có thể đưa vào nếu đơn vị đã có cách khảo sát; cách thiết kế khảo sát là một chủ đề riêng.
Rà mẫu hội thoại hằng tuần
Đây là bước không thể bỏ, vì chỉ đọc hội thoại thật mới biết chatbot đang nói gì với khách. Quy trình gọn cho cửa hàng nhỏ:
- Mỗi tuần, chọn ngẫu nhiên khoảng mười đến hai mươi cuộc trò chuyện, tuỳ lượng khách.
- Một người hiểu chính sách cửa hàng đọc và đánh dấu mỗi cuộc theo bốn ô: giải quyết đúng, giải quyết sai, chuyển người đúng lúc, khách bỏ đi giữa chừng.
- Với cuộc giải quyết sai, ghi ngắn sai ở đâu: giá, chính sách đổi trả, thời gian giao hàng, thông tin sản phẩm.
- Với cuộc khách bỏ đi, ghi chatbot đã trả lời gì ngay trước đó; thường đây là chỗ chatbot hiểu sai câu hỏi.
- Cuối tuần, tổng hợp bốn ô thành tỷ lệ và so với tuần trước.
- Chọn một lỗi lặp lại nhiều nhất để sửa trong tuần tới, ví dụ bổ sung thông tin chính sách mới vào tài liệu chatbot dựa vào.
Khi đọc hội thoại, nhớ rằng nội dung đó có thông tin cá nhân của khách. Chỉ người được giao mới đọc, không chụp màn hình gửi lung tung, và nếu nhờ AI tổng hợp thì phải bỏ tên, số điện thoại, địa chỉ trước khi dán.
Chuyển sang người thật: đo đúng lúc chứ không chỉ đo ít hay nhiều
Tỷ lệ chuyển thấp chưa chắc là tốt. Nếu chatbot cố trả lời cả những câu nó không đủ thông tin, tỷ lệ chuyển thấp nhưng câu sai tăng. Nhiều đơn vị đặt mục tiêu giảm tỷ lệ chuyển và vô tình khuyến khích điều này.
Tỷ lệ chuyển cao chưa chắc là xấu. Với những câu hỏi về khiếu nại, hoàn tiền, sức khoẻ hay tranh chấp, chuyển người ngay là đúng. Chatbot làm tốt nhiệm vụ nhận diện và chuyển là đã giúp được.
Đo thời điểm chuyển. Đọc mẫu xem chatbot chuyển sau bao nhiêu lượt trao đổi. Chuyển sau năm sáu lượt hỏi đi hỏi lại nghĩa là khách đã bực trước khi gặp người.
Đo những gì xảy ra sau khi chuyển. Khách được chuyển có được người trả lời trong thời gian hợp lý không. Chatbot chuyển đúng nhưng không ai nhận thì vẫn là trải nghiệm tệ.
Kiểm người nhận có đủ bối cảnh không. Khi chuyển, nhân viên có thấy được khách đã hỏi gì với chatbot hay phải hỏi lại từ đầu. Khách phải kể lại câu chuyện lần hai là một trong những điều gây bực nhất; đọc vài cuộc đã chuyển để xem nhân viên mở đầu thế nào là đủ biết.
Câu trả lời sai: chỉ số quan trọng nhất
Chatbot dựa trên mô hình ngôn ngữ có thể đưa ra câu trả lời nghe rất tự tin mà không đúng, nhất là khi khách hỏi về điều không có trong tài liệu được cung cấp. Với cửa hàng, một câu trả lời sai về chính sách đổi trả hay thời hạn bảo hành có thể dẫn tới tranh chấp, vì khách có bằng chứng là đơn vị đã nói như vậy.
Vì thế, số câu trả lời sai trong mẫu nên được theo dõi riêng, không gộp vào tỷ lệ tổng. Ngưỡng hợp lý cho câu sai về giá, chính sách và cam kết là rất thấp, và bất kỳ câu sai nào thuộc loại này cũng cần được sửa nguồn ngay, không đợi tổng kết tháng.
Ví dụ giả định: một cửa hàng mỹ phẩm nhỏ phát hiện qua mẫu rà rằng chatbot trả lời "được đổi trả trong ba mươi ngày" trong khi chính sách hiện hành là bảy ngày với sản phẩm đã mở. Nguyên nhân là tài liệu chatbot dựa vào vẫn là bản chính sách cũ. Một lỗi như vậy không bao giờ hiện ra trên bảng thống kê số cuộc trò chuyện; chỉ người đọc mẫu mới thấy. Sau khi cập nhật tài liệu, cửa hàng thêm một việc vào danh sách: mỗi lần đổi chính sách thì cập nhật tài liệu chatbot cùng ngày.
Nhờ AI hỗ trợ đọc hội thoại mà không giao phần quyết định
Khi lượng hội thoại nhiều, có thể dùng AI để lọc sơ bộ trước khi người đọc. Một số cách làm và giới hạn:
- Xuất hội thoại mẫu, thay tên khách, số điện thoại, địa chỉ, mã đơn bằng ký hiệu trước khi đưa vào chatbot dùng để phân tích.
- Câu lệnh mẫu: "Dưới đây là hai mươi cuộc trò chuyện giữa chatbot và khách của một cửa hàng. Kèm theo là chính sách đổi trả và bảo hành hiện hành. Với mỗi cuộc, hãy đánh dấu: chatbot có nói điều gì mâu thuẫn với chính sách không, khách có dấu hiệu bực bội không, cuộc trò chuyện kết thúc thế nào. Trích nguyên câu làm căn cứ."
- Yêu cầu trích nguyên câu giúp người đọc kiểm lại nhanh, và hạn chế việc AI tự suy diễn.
- Người đọc vẫn phải kiểm các cuộc được đánh dấu có vấn đề và một số cuộc được đánh dấu là ổn, để biết AI có bỏ sót không.
- Không dùng AI để tự quyết định sửa câu trả lời của chatbot; mọi thay đổi về chính sách, giá, cam kết phải do người có thẩm quyền duyệt.
Với cửa hàng nhỏ, có khi đọc tay hai mươi cuộc mỗi tuần còn nhanh hơn chuẩn bị dữ liệu cho AI. Chỉ nên dùng AI lọc khi lượng hội thoại lớn tới mức không thể đọc đủ mẫu bằng tay.
Khi nào nên thu hẹp hoặc tạm dừng chatbot
Đo để quyết định, không chỉ để biết. Nên đặt trước vài điều kiện để thu hẹp phạm vi chatbot hoặc tạm dừng. Ví dụ: có câu trả lời sai về giá hay cam kết lọt tới khách mà nguyên nhân chưa được xử lý; số khiếu nại liên quan chatbot tăng liên tiếp hai tuần; tỷ lệ khách hỏi lại qua kênh khác cao hơn rõ so với trước khi có chatbot.
Thu hẹp thường tốt hơn dừng hẳn. Có thể giới hạn chatbot chỉ trả lời những nhóm câu hỏi đơn giản, đã kiểm kỹ như giờ mở cửa, địa chỉ, tình trạng đơn hàng, còn mọi câu khác chuyển người ngay. Sau đó mở rộng từng nhóm câu hỏi khi số đo cho thấy ổn định.
Điều quan trọng là quyết định dựa trên số đã đo và mẫu đã đọc, không dựa trên một lần khách phàn nàn gây ấn tượng mạnh hay một lời khen. Bộ chỉ số ở trên, nếu được theo dõi đều hằng tuần, sẽ cho bạn đủ căn cứ để mở rộng hay thu hẹp một cách bình tĩnh.
Câu hỏi thường gặp
Tỷ lệ tự giải quyết của chatbot bao nhiêu là tốt?
Không có con số chung. Tuỳ loại câu hỏi khách hay hỏi, có cửa hàng phần lớn câu hỏi đơn giản, có nơi chủ yếu là câu phức tạp. Hãy so với chính đơn vị mình qua các tuần và luôn đọc kèm số câu trả lời sai.
Có nên tin số liệu thống kê có sẵn trong công cụ chatbot không?
Có thể dùng để theo dõi khối lượng, nhưng không đủ để đánh giá hiệu quả. Những số như số tin nhắn hay thời gian phản hồi không cho biết khách có được giúp đúng hay không. Cần đọc mẫu hội thoại thật.
Mỗi tuần nên đọc bao nhiêu cuộc trò chuyện?
Với cửa hàng nhỏ, khoảng mười đến hai mươi cuộc chọn ngẫu nhiên thường đủ để thấy lỗi lặp lại. Nếu vừa thay đổi chính sách hay tài liệu cho chatbot, nên đọc nhiều hơn trong tuần đó.
Làm sao biết khách bỏ đi vì đã được giải đáp hay vì chán?
Đọc tin nhắn cuối cùng của cuộc trò chuyện. Khách cảm ơn hay xác nhận là dấu hiệu đã xong; khách hỏi lại cùng một câu, gõ dấu hỏi liên tục hoặc im lặng sau một câu trả lời lạc đề là dấu hiệu chán. Kết hợp với việc khách có liên hệ lại qua kênh khác không.
Chatbot trả lời sai chính sách thì đơn vị có phải chịu trách nhiệm không?
Câu hỏi này liên quan tới quy định bảo vệ người tiêu dùng và tuỳ từng tình huống. Nên sửa nguồn ngay, liên hệ khách để làm rõ, và khi có tranh chấp, hỏi luật sư, ví dụ qua AI Cố Vấn.
Có nên đặt mục tiêu giảm tỷ lệ chuyển sang người thật không?
Cẩn thận với mục tiêu này. Giảm tỷ lệ chuyển có thể khiến chatbot cố trả lời cả những câu nó không đủ thông tin. Nên đặt mục tiêu về tỷ lệ tự giải quyết đúng và số câu trả lời sai, còn tỷ lệ chuyển chỉ theo dõi.