AI đa phương thức: kết hợp văn bản, hình ảnh và âm thanh

Mai mở yêu cầu hỗ trợ và thấy ba thứ: ảnh thùng hàng móp, tin nhắn “cốc vỡ rồi shop ơi” và một đoạn ghi âm nói “cái bên trong vẫn nguyên”. Cô nhờ AI tóm tắt. Công cụ trả về: “Khách nhận cốc vỡ do vận chuyển.” Nghe gọn đấy, nhưng có gì sai sai.

Trong tình huống giả định này, chưa nguồn nào xác nhận nguyên nhân. Ba file cũng chưa nói cùng một chuyện. AI đã ghép chúng thành một câu chuyện có vẻ hợp lý, trong khi việc Mai cần làm là tìm chỗ chưa khớp rồi hỏi lại khách.

AI đa phương thức, thường gọi là multimodal AI, làm việc với nhiều dạng nội dung như chữ, ảnh và âm thanh. Khi dùng, hãy yêu cầu công cụ ghi rõ thông tin đến từ nguồn nào. Giữ lại điểm mâu thuẫn sẽ giúp mình xử lý đúng hơn một bản tóm tắt trơn tru nhưng tự đoán.

Mỗi nguồn đang nói điều gì?

Mai bắt đầu lại bằng việc đặt tên từng file. Ảnh đầu là ngoài thùng, tin nhắn được gửi lúc khách nhận hàng, còn ghi âm đến sau. Chỉ một bước nhỏ này đã giúp cô biết đang mở nguồn nào, tránh nhầm ảnh cũ với ảnh vừa được bổ sung.

Câu yêu cầu mới có thể là: “Đọc riêng từng nguồn. Ghi điều nhìn thấy hoặc nghe được, kèm tên file. Tách phần chưa rõ thành câu hỏi. Không suy đoán nguyên nhân.” Công cụ có thể hỗ trợ sắp xếp, còn Mai vẫn cần mở lại nguồn để kiểm tra.

Với ảnh ngoài thùng, ghi chú chỉ nên nói có góc bị móp nếu nhìn rõ chi tiết đó. Với tin nhắn, viết “khách báo cốc vỡ”. Với ghi âm, ghi lại câu khách nói và mốc nghe được nếu công cụ hỗ trợ. Ba dòng chưa cần được ép thành một kết luận.

Khả năng nhận file tùy sản phẩm và phiên bản. Chẳng hạn, tài liệu Gemini về hiểu hình ảnh mô tả các tác vụ như chú thích ảnh, phân loại và trả lời câu hỏi dựa trên hình. Điều đó không có nghĩa mọi ứng dụng đều xử lý được mọi loại đầu vào hoặc luôn đọc đúng.

Trước khi tải lên, kiểm tra dữ liệu có được phép dùng với công cụ đó không. Nhãn giao hàng có thể chứa tên, số điện thoại và địa chỉ. Nếu phần ấy không cần cho câu hỏi, hãy chuẩn bị bản đã che thông tin theo quy trình của nhóm.

Ảnh cho bối cảnh, nhưng cũng có vùng mù

Một thùng móp chưa cho biết chiếc cốc bên trong ra sao. Ảnh chụp quá gần cũng có thể khiến người xem không nhận ra vị trí vết hỏng. Mai cần ảnh toàn món đồ và ảnh rõ chỗ nứt, thay vì tiếp tục hỏi AI đoán từ góc thùng.

Tin nhắn xin thêm ảnh nên cụ thể: “Bạn chụp giúp mình cả chiếc cốc và một ảnh gần chỗ bị hỏng nhé.” Người nhận biết ngay phải làm gì. Câu “gửi thêm bằng chứng” vừa khó làm theo, vừa dễ khiến cuộc trò chuyện căng hơn cần thiết.

Nếu công cụ đọc mã sản phẩm từ ảnh, hãy đối chiếu ký tự với bản gốc. Một chữ hoặc số bị nhầm có thể dẫn tới món khác. Khi ảnh mờ, xin bản rõ hơn thường có ích hơn hỏi cùng một hình nhiều lần rồi chọn đáp án nghe có lý.

Ảnh chụp màn hình cũng cần đủ bối cảnh. Tin nhắn bị cắt câu trước, bảng giá mất đơn vị hoặc thông báo lỗi thiếu tên ứng dụng đều dễ khiến người đọc hiểu sai. Bài chụp màn hình báo lỗi dễ hiểu có những gợi ý áp dụng được cho cách chuẩn bị ảnh này.

Khi nhận ảnh mới, ghi rõ nó bổ sung điều gì. Nếu thấy vết nứt trên cốc, có thể cập nhật tình trạng nhìn thấy. Chưa có căn cứ thì vẫn để nguyên mục nguyên nhân chưa rõ. Thêm một nguồn không tự động giải đáp mọi câu hỏi còn lại.

Âm thanh mang theo người nói và thời điểm

Đoạn ghi âm của khách có thể nhắc hai món khác nhau. Mai cần nghe trọn câu trước và sau lời “vẫn nguyên”, thay vì chỉ đọc đoạn được trích. Biết đại từ “cái” đang chỉ món nào mới giúp hiểu đúng tình trạng đơn hàng.

Với lời nói, những chỗ như “chưa”, “không” và tên riêng đáng kiểm lại kỹ. Bản chép bỏ một chữ phủ định có thể làm ý đổi hẳn. Nếu câu đó quyết định việc đổi hàng, đừng gửi phản hồi trước khi nghe nguồn.

Yêu cầu công cụ đánh dấu thời điểm sẽ giúp tìm nhanh hơn nếu tính năng hỗ trợ. Tuy nhiên, mốc thời gian cũng cần mở thử để xác nhận. Một đường dẫn nhảy nhầm đoạn chưa giúp người nhận ca sau hiểu được điều khách đã nói.

Nếu ghi âm có nhiều người, nhãn người nói chỉ nên được dùng theo mức chắc chắn. Không biết tên thì giữ nhãn mô tả hoặc hỏi lại. Đừng tự gắn tên nhân viên vào một quyết định chỉ vì giọng nói nghe hơi quen.

Mai có thể dùng cách kiểm tra bản chép lời AI để rà phần quan trọng trước. Không nhất thiết sửa đẹp cả đoạn trò chuyện. Ưu tiên lời nói ảnh hưởng trực tiếp đến thông tin cần xác nhận và bước xử lý tiếp theo.

Chữ viết cũng có thể chưa phải nguồn chính

Tin nhắn dễ sao chép nên thường được đưa thẳng vào ghi chú. Nhưng “cốc vỡ rồi” vẫn là lời khách báo ở thời điểm gửi. Khi chưa xem món đồ, nhân viên nên giữ cách diễn đạt đó để người sau biết điều gì đã được kiểm tra.

Thời điểm cũng đáng để ý. Một tin nhắn cũ có thể được khách sửa bằng lời nói sau đó. Tuy nhiên, nguồn mới hơn chưa chắc nói về cùng món hàng. Mai cần hỏi mối liên hệ giữa các nguồn, thay vì tự chọn cái mới nhất làm đáp án.

Câu hỏi gọn có thể là: “Trong ghi âm bạn nói món bên trong còn nguyên. Bạn đang nhắc chiếc cốc hay món khác trong đơn vậy?” Câu này chỉ ra chỗ cần làm rõ mà không buộc khách phải đọc lại cả chuỗi trao đổi.

Với nội dung dài, hãy giữ liên kết về tin nhắn hoặc tài liệu gốc trong ghi chú nội bộ. Phần đọc tài liệu không bỏ sót điều kiện cũng hữu ích: chú ý đối tượng, thời điểm và ngoại lệ trước khi rút một câu thành kết luận chung.

Khi chữ, ảnh và ghi âm không khớp nhau

Một bản bàn giao tốt có thể chia thành điều đã thấy, điều khách báo và việc đang chờ xác nhận. Mai ghi ảnh thùng móp ở phần đầu, tin nhắn báo cốc vỡ ở phần sau. Câu hỏi về món còn nguyên nằm riêng để người nhận ca không bỏ quên.

Giả sử khách giải thích phần còn nguyên là chiếc đĩa đi kèm, sự mâu thuẫn mới được giải quyết. Mai cập nhật ghi chú theo lời xác nhận ấy rồi xử lý chiếc cốc theo quy trình shop. Không cần sửa câu chuyện cho hay; cần ghi đúng điều vừa biết thêm.

Trước khi dùng cách này với hồ sơ thật, thử một bộ file giả có điểm không khớp mà bạn biết trước. Xem công cụ có chỉ ra được không, hay cứ tự nối thành một câu trả lời. Giá trị cần tìm là giúp người xử lý hỏi đúng câu tiếp theo, chứ không chỉ giúp hộp chat trông gọn hơn.