Human-in-the-loop: đặt bước người duyệt ở đâu khi dùng AI?

Mỗi đề xuất của AI đều có nút duyệt, nên nhóm nghĩ đã kiểm soát được quy trình. Nhưng người duyệt nhận hàng chục mục một lúc, không thấy tài liệu gốc và chỉ có vài giây để bấm. Dần dần, nút duyệt trở thành thói quen. Có con người trong quy trình, nhưng người đó chưa có điều kiện để thực sự kiểm điều đang xảy ra.

Human in the loop nghĩa là đưa con người vào những bước phù hợp của hệ thống AI. Thiết kế tốt cần nói rõ người đó quyết định gì, dựa vào thông tin nào và có quyền dừng hay sửa ra sao. Bạn không thể chỉ thêm một nút xác nhận rồi coi trách nhiệm đã được giải quyết. Bước duyệt phải có công việc cụ thể và được thử trong điều kiện vận hành thật.

Quyết định việc nào cần người

Giả sử cửa hàng dùng AI đề xuất cách xử lý yêu cầu hoàn tiền. Trước tiên, nhóm tách các bước: đọc yêu cầu, tìm thông tin, đề xuất phương án và thực hiện quyết định. Không phải bước nào cũng cần cùng kiểu kiểm. Người phụ trách cần biết điểm nào liên quan chính sách, quyền quyết định hoặc hậu quả khó sửa để thiết kế sự tham gia phù hợp.

Hỏi điều gì có thể sai ở mỗi bước và ai chịu ảnh hưởng. Một bản tóm tắt thiếu chi tiết khác với một hành động đã chuyển tiền. Mức kiểm cần theo ảnh hưởng và khả năng xử lý lại, không chỉ theo việc mô hình tự nói chắc tới đâu. Điểm tự tin của công cụ cũng không nên được coi là quyền tự động bỏ qua người phụ trách khi chưa được kiểm định phù hợp.

AI RMF Playbook của NIST đề cập việc xác định vai trò và trách nhiệm của con người trong quản trị hệ thống AI. Với nhóm triển khai, hãy chuyển điều đó thành tên vai trò, quyền hạn và thời điểm can thiệp cụ thể. Một câu chung rằng nhân viên chịu trách nhiệm sẽ khó dùng khi có ca cần chuyển cấp hoặc khi người duyệt vắng mặt.

Ghi những trường hợp phải chuyển người và những trường hợp chưa đủ dữ liệu để tiếp tục. Có thể cần hỏi lại khách hoặc đối chiếu nguồn trước khi đưa đề xuất. Đừng ép hệ thống luôn tạo một phương án để người duyệt chọn. Có lúc kết quả đúng của bước AI là chỉ ra phần còn thiếu, giúp con người biết cần làm gì tiếp.

Cho người duyệt thấy đủ thông tin để xem lại

Màn hình duyệt cần cho thấy căn cứ phù hợp với quyết định. Trong ví dụ hoàn tiền, người duyệt cần biết yêu cầu khách, tình trạng đơn và điều kiện chính sách liên quan. Nếu phải mở nhiều nơi để tìm từng phần, công duyệt sẽ tăng và dễ bị bỏ qua. Thiết kế nên giúp đối chiếu, không chỉ trình bày đoạn kết luận của AI thật đẹp.

Tách dữ kiện, suy luận và đề xuất để người đọc nhận ra phần nào cần kiểm. Nếu nguồn chưa rõ hoặc thông tin mâu thuẫn, làm điều đó dễ thấy. Một câu trả lời tự tin có thể khiến người duyệt tưởng mọi bước đã được xác nhận. Giao diện cần hỗ trợ sự kiểm tra thực tế, thay vì tạo cảm giác công cụ đã biết nhiều hơn dữ liệu đang có.

Người duyệt phải có lựa chọn sửa, từ chối hoặc chuyển tiếp phù hợp. Chỉ có đồng ý và đóng cửa sổ sẽ không đủ cho nhiều tình huống. Ghi lý do ngắn khi cần để nhóm học từ lỗi. Nhưng đừng bắt nhập báo cáo dài cho mọi chỉnh sửa nhỏ, vì thủ tục quá nặng có thể khiến người dùng tìm cách làm ngoài hệ thống.

Nếu AI có quyền gọi công cụ, hiển thị rõ hành động sắp thực hiện trước khi người có trách nhiệm duyệt. Soạn đề xuất khác với thực hiện đề xuất. Bài prompt injection và giới hạn quyền giúp xem thêm rủi ro khi nội dung bên ngoài làm lệch việc công cụ định làm. Quyền cần được kiểm ở hệ thống, không chỉ trong lời nhắc.

Giao đúng việc cho đúng người

Người duyệt cần hiểu loại việc đang được giao. Nhân viên có thể kiểm giọng văn nhưng chưa có quyền quyết định ngoại lệ về hoàn tiền. Khi cần chuyên môn hoặc thẩm quyền khác, hệ thống phải có đường chuyển phù hợp. Đừng dùng một người sẵn sàng bấm làm người duyệt cho mọi loại quyết định chỉ vì họ đang trực màn hình.

Đào tạo nên dùng các ví dụ có lỗi thật sự liên quan tới công việc. Cho người duyệt thấy một bản nháp nghe mượt nhưng bỏ điều kiện, hoặc một nguồn không đúng phạm vi. Mục tiêu là tập cách đối chiếu và nhận ra giới hạn, không chỉ học vị trí các nút. Người dùng cần biết khi nào không nên tin đề xuất dù nó được trình bày rất tự nhiên.

Tính lượng việc mà người duyệt có thể xử lý trong điều kiện thực tế. Nếu AI tạo đề xuất nhanh hơn nhiều so với khả năng kiểm, hàng chờ sẽ tăng hoặc chất lượng duyệt giảm. Cần cách ưu tiên, phân công và dừng nhận thêm khi phù hợp. Không nên gọi quy trình hiệu quả chỉ vì bước máy chạy nhanh trong khi bước người đang bị dồn việc.

Chuẩn bị người thay thế và cách bàn giao khi ca trực đổi. Những mục đang chờ cần có trạng thái và lý do rõ. Bài bàn giao để người khác tiếp tục được giúp giữ mạch xử lý. Người nhận ca sau không nên phải đọc lại toàn bộ lịch sử để biết một đề xuất đang thiếu điều gì.

Đo chất lượng của cả hai phía

Đo chất lượng đầu ra cuối cùng và lỗi còn lọt qua, không chỉ tỷ lệ người bấm duyệt. Tỷ lệ đồng ý cao có thể do đề xuất tốt, cũng có thể do mọi người không đủ thời gian xem. Cần kiểm mẫu phù hợp với mức rủi ro và xem lý do sửa, từ chối, chuyển cấp. Những dữ kiện này mới giúp hiểu bước người đang hoạt động thế nào.

Theo dõi công kiểm và trải nghiệm của người duyệt. Họ mất thời gian ở việc tìm nguồn, đọc câu dài hay xử lý thông tin thiếu? Nếu một lỗi lặp lại, sửa đầu vào hoặc quy trình thay vì chỉ nhắc nhân viên chú ý hơn. Bước duyệt có thể giúp phát hiện vấn đề hệ thống, không nên trở thành nơi gánh mãi mọi thiếu sót phía trước.

Thử lại khi thay mô hình, nguồn hoặc quyền công cụ. Một cách duyệt phù hợp với bản nháp văn bản chưa chắc phù hợp khi ứng dụng được phép thực hiện thêm hành động. Ghi rõ phạm vi thử và điều kiện chấp nhận. Những kiểm tra này giúp nhóm quyết định giữ, giảm hoặc tăng phạm vi tự động dựa trên bằng chứng công việc.

Ví dụ: duyệt đề xuất hoàn tiền

Trong ca giả định, AI đọc yêu cầu và đề xuất hoàn tiền theo chính sách. Người duyệt thấy tình trạng đơn chưa được xác nhận, nên chuyển kiểm thêm thay vì đồng ý ngay. Khi có dữ kiện mới, đề xuất được cập nhật và người có thẩm quyền mới quyết định. Hệ thống giữ dấu vết cần thiết của các bước theo quy trình đã thiết kế.

Trước khi dùng rộng, thử một ca bình thường, một ca thiếu thông tin và một ca cần chuyển cấp. Kiểm người phụ trách có hiểu mình phải làm gì và hệ thống có giữ đúng giới hạn không. Một quy trình tốt giúp AI làm phần phù hợp, còn con người có điều kiện thực hiện phần trách nhiệm của mình. Nút duyệt lúc đó mới có ý nghĩa rõ ràng.