Tính hiệu quả dự án AI: đã tiết kiệm được bao nhiêu thật?

“AI viết bản nháp trong hai phút, trước đây mất hai mươi phút. Vậy tiết kiệm chín mươi phần trăm thời gian rồi.” Phúc ghi con số ấy lên báo cáo. Đồng nghiệp hỏi tiếp: “Còn lúc kiểm và sửa bản nháp thì sao?” Trong ví dụ giả định này, nhóm mới đo một công đoạn, nhưng đang gọi nó là hiệu quả của cả quy trình.

Đo ROI dự án AI cần so lợi ích và chi phí trong cùng phạm vi, cùng khoảng thời gian. Với thử nghiệm nhỏ, hãy bắt đầu bằng cách làm hiện tại, ghi cả công kiểm và phân biệt thời gian tiết kiệm với tiền thực sự giảm. Một phép tính có giả định rõ sẽ hữu ích hơn một tỷ lệ đẹp nhưng thiếu phần việc phía sau.

Ghi lại cách làm hiện tại trước khi thử AI

Phúc chọn một nhiệm vụ cụ thể: soạn phản hồi cho một nhóm câu hỏi khách hàng. Anh ghi các bước hiện tại từ đọc yêu cầu, tìm thông tin, viết đến kiểm trước khi gửi. Nếu chỉ đo lúc gõ câu trả lời, nhóm sẽ bỏ qua phần chiếm nhiều công nhất.

Chọn những trường hợp phản ánh công việc thường gặp. Có câu dễ, câu thiếu dữ liệu và câu cần chuyển người khác. Ghi số lượng và điều kiện quan sát. Một lần làm rất nhanh hoặc rất chậm không nên tự trở thành mức đại diện cho mọi yêu cầu.

Đo chất lượng cùng thời gian. Câu trả lời có đúng, đủ và dùng được ngay không? Có phải gửi lại hoặc giải thích thêm không? Nếu cách mới nhanh hơn nhưng làm tăng việc sửa sau đó, phần phát sinh phải được tính vào quá trình so sánh.

Giữ tiêu chí giống nhau trước và sau thử. Nếu nhóm cho AI xử lý toàn câu dễ còn lấy mức cũ của cả câu khó, kết quả sẽ lệch. Phúc có thể chia nhóm yêu cầu hoặc dùng cùng bộ mẫu để so, rồi ghi rõ giới hạn của thử nghiệm.

Đừng quên người dùng đang học cách dùng công cụ. Công đào tạo và thời gian làm quen nên được ghi riêng, để nhóm hiểu chi phí ban đầu. Đồng thời tránh lấy một ngày đầu bỡ ngỡ hoặc một buổi demo có người hướng dẫn sát làm đại diện cho vận hành lâu dài.

Một phép tính giả định để nhìn rõ từng bước

Giả sử cách cũ mất hai mươi phút cho một yêu cầu đã kiểm xong. Với AI, tạo bản nháp mất hai phút, đọc và sửa mất mười phút, xử lý phần còn lại mất ba phút. Tổng mới là mười lăm phút, nên phần chênh là năm phút mỗi yêu cầu trong bộ thử này.

Nếu cùng loại việc có một trăm yêu cầu trong kỳ, chênh lệch giả định là năm trăm phút. Con số này mô tả thời gian có thể được giải phóng trong điều kiện đang xét. Nó chưa tự chứng minh doanh nghiệp giảm được tương ứng một khoản tiền lương.

Muốn quy thời gian thành giá trị, nhóm cần nói rõ cách định giá và việc thời gian đó sẽ dùng vào đâu. Nhân viên có thể xử lý thêm yêu cầu, giảm tồn việc hoặc dành thời gian cho phần khó. Những lợi ích này cần được quan sát, không chỉ nhân phút với một mức tiền rồi coi đã thu về.

Một công thức thường dùng là lấy lợi ích tiền tệ trừ tổng chi phí, rồi chia cho tổng chi phí trong cùng kỳ. Chỉ sử dụng khi các thành phần đã được xác định phù hợp. Nếu lợi ích mới là ước tính, kết quả ROI cũng phải được ghi là ước tính, không phải hiệu quả đã thực hiện.

Phúc lập bảng riêng cho dữ liệu đo được, giả định và phần chưa biết. Thời gian trên bộ thử nằm ở nhóm đo được. Khối lượng tương lai có thể là giả định. Mức giảm chi phí thực tế còn cần xác nhận.

Phép tính trên chỉ để minh họa cách nhìn toàn quy trình. Các số không phải kết quả của một doanh nghiệp thật hoặc mức kỳ vọng chung cho AI. Khi áp dụng, thay bằng dữ liệu của nhiệm vụ và thời gian theo dõi của nhóm mình.

Hóa đơn không dừng ở phí thuê bao

Chi phí công cụ có thể chỉ là phần dễ thấy. Nhóm còn cần chuẩn bị dữ liệu, cấu hình, tích hợp, đào tạo và theo dõi. Kiểm các phần thực sự phát sinh trong dự án.

Công kiểm và sửa nên được tính theo cách vận hành dự kiến. Nếu mỗi bản nháp đều cần một người đọc kỹ, phần thời gian đó không biến mất vì đã gắn nhãn tự động hóa. Bài thiết kế bước kiểm của con người giúp nhìn rõ vai trò và công việc còn lại.

Thêm chi phí duy trì dữ liệu và hướng dẫn nếu chúng cần cập nhật. Một hệ thống trả lời từ tài liệu nội bộ có thể cần người rà nguồn mới. Nếu bỏ phần này khỏi dự toán, quy trình có vẻ rẻ trong tháng đầu nhưng khó giữ chất lượng về sau.

Các lần chạy lại, lỗi và công hỗ trợ cũng cần được quan sát. Không nhất thiết dự báo mọi sự cố, nhưng ghi những gì đã xảy ra trong thử nghiệm. Phần chi phí AI ngoài phí thuê bao giúp kiểm các khoản dễ bị bỏ sót.

Giữ cùng kỳ tính cho lợi ích và chi phí. Đừng đặt lợi ích một năm cạnh phí dịch vụ một tháng rồi gọi kết quả là ROI. Với chi phí đầu tư ban đầu, cần cách phân bổ hoặc trình bày phù hợp để người ra quyết định hiểu rõ.

Đếm lợi ích một lần và nói rõ nó thuộc loại nào

Nếu thời gian tiết kiệm được dùng để xử lý thêm việc, tránh vừa tính toàn bộ thời gian thành tiền tiết kiệm vừa tính toàn bộ phần việc thêm như lợi ích độc lập mà không giải thích. Hai cách ghi có thể đang mô tả cùng một nguồn giá trị.

Phân biệt giảm chi thực tế với tăng khả năng làm việc. Cả hai có thể có ý nghĩa, nhưng khác nhau khi báo cáo. Phúc nên dùng đúng nhãn: giảm công xử lý trên bộ mẫu, tăng số yêu cầu hoàn tất hoặc giảm khoản chi đã xác nhận.

Những lợi ích như câu trả lời nhất quán hơn hoặc người dùng bớt chờ nên có tiêu chí quan sát. Nếu chưa quy được thành tiền một cách có căn cứ, ghi riêng thay vì gán giá trị tùy ý. Không phải mọi kết quả hữu ích đều phải được ép vào một tỷ lệ.

Chất lượng giảm cũng là điều cần đưa vào quyết định. Nếu cách mới gây lỗi mà nhóm chưa chấp nhận được, ROI ước tính cao không tự làm nó phù hợp. Bài đánh giá AI theo nhiệm vụ giúp đặt tiêu chí chất lượng trước khi nhìn lợi ích.

Đưa ra khoảng dự kiến và hẹn ngày xem lại

Khi còn nhiều điều chưa chắc, tính vài trường hợp theo giả định rõ. Khối lượng thấp hơn hoặc công kiểm cao hơn sẽ làm kết quả đổi ra sao? Không cần gọi đó là dự đoán chính xác; dùng để biết yếu tố nào ảnh hưởng quyết định nhiều nhất.

Chốt thời điểm kiểm lại bằng dữ liệu vận hành. Ghi ai thu thập, đo phần nào và điều gì khiến nhóm tiếp tục, chỉnh hoặc dừng. Một báo cáo chỉ được làm để duyệt dự án rồi bỏ quên sẽ khó giúp quản lý hiệu quả thực tế.

Với Phúc, câu báo cáo mới có thể là: trong bộ thử, tổng thời gian giảm từ hai mươi xuống mười lăm phút, chất lượng được kiểm theo tiêu chí đã nêu. Phần giá trị tiền tệ còn phụ thuộc cách dùng thời gian và chi phí vận hành. Câu ấy ít gây ấn tượng hơn “tiết kiệm chín mươi phần trăm”, nhưng giúp nhóm quyết định trên dữ liệu mình thật sự có.