ChatGPT Bot Flunks Gastroenterology Exam

ChatGPT, một mô hình xử lý ngôn ngữ trí tuệ nhân tạo phổ biến, đã nhiều lần thất bại trong bài kiểm tra tự đánh giá về tiêu hóa trong một nghiên cứu gần đây.

Phiên bản 3 và phiên bản 4 của chatbot chỉ đạt điểm lần lượt là 65% và 62% trên Bài kiểm tra tự đánh giá của Học viện Tiêu hóa Mỹ (ACG). Điểm đỗ tối thiểu là 70%.

Arvind J. Trindade, MD

Tác giả chính Arvind J. Trindade, MD, giám đốc khu vực về nội soi tại Northwell Health (Khu vực Trung tâm) ở New Hyde Park, New York, nói với Medscape Medical News: "Bạn có thể mong đợi bác sĩ chấm điểm 99% hoặc ít nhất là 95%. trong một cuộc phỏng vấn.

Nghiên cứu được công bố trực tuyến vào ngày 22 tháng 5 trên Tạp chí Tiêu hóa Hoa Kỳ.

Trindade và các đồng nghiệp đã tiến hành nghiên cứu trong bối cảnh ngày càng có nhiều báo cáo về việc sinh viên sử dụng công cụ này trong nhiều lĩnh vực học thuật, bao gồm luật và y học, đồng thời ngày càng quan tâm đến tiềm năng của chatbot trong giáo dục y tế.

"Tôi thấy các sinh viên khoa tiêu hóa gõ câu hỏi vào đó. Tôi muốn biết độ chính xác của nó trong khoa tiêu hóa - liệu nó có được sử dụng trong giáo dục y tế và chăm sóc bệnh nhân hay không", Trindade, đồng thời là phó giáo sư tại Viện Y khoa Feinstein, cho biết. Nghiên cứu tại Manhasset, New York. "Dựa trên nghiên cứu của chúng tôi, ChatGPT không nên được sử dụng cho giáo dục y tế về tiêu hóa vào thời điểm này và nó cần phải thực hiện trước khi được triển khai trong lĩnh vực chăm sóc sức khỏe."

Kết quả không tốt 

Các nhà nghiên cứu đã thử nghiệm hai phiên bản ChatGPT trên cả Bài kiểm tra tự đánh giá ACG trực tuyến năm 2021 và 2022, một bài kiểm tra trắc nghiệm được thiết kế để đánh giá mức độ một học viên sẽ làm trong bài kiểm tra của Hội đồng Nội khoa Tiêu hóa Hoa Kỳ.

Các câu hỏi liên quan đến lựa chọn hình ảnh đã bị loại khỏi nghiên cứu. Đối với những câu hỏi còn lại, các câu hỏi và lựa chọn trả lời đã được sao chép và dán trực tiếp vào ChatGPT, ứng dụng này sẽ trả về câu trả lời và giải thích. Câu trả lời tương ứng được chọn trên trang web của ACG dựa trên phản hồi của chatbot.

Trong số 455 câu hỏi được đặt ra, ChatGPT-3 trả lời đúng 296 câu và ChatGPT-4 trả lời đúng 284 câu. Không có mẫu câu hỏi rõ ràng nào trong loại câu hỏi mà chatbot trả lời sai, nhưng các câu hỏi về thời gian giám sát đối với các tình trạng bệnh khác nhau, chẩn đoán và phác đồ dược phẩm đều được trả lời sai.

Nguyên nhân của hiệu suất kém của công cụ có thể nằm ở mô hình ngôn ngữ lớn hỗ trợ ChatGPT, các nhà nghiên cứu viết. Mô hình này đã được đào tạo trên thông tin miễn phí có sẵn, không đặc biệt trên văn bản y học và không trên tài liệu đòi hỏi đăng ký tạp chí trả phí, để trở thành một chương trình tương tác mục đích chung.

Ngoài ra, chatbot có thể sử dụng thông tin từ nhiều nguồn khác nhau, bao gồm các nguồn phi y tế hoặc bán y tế hoặc các nguồn lỗi thời, có thể dẫn đến sai sót, họ lưu ý. ChatGPT-3 được cập nhật lần cuối vào tháng 6 năm 2021 và ChatGPT-4 vào tháng 9 năm 2021.

"ChatGPT không có hiểu biết nội tại về một vấn đề," Trindade nói. "Chức năng cơ bản của nó là dự đoán từ tiếp theo trong một chuỗi văn bản để tạo ra phản hồi mong đợi, bất kể phản hồi đó có thực sự chính xác hay không."

Nghiên cứu trước đây

Trong một nghiên cứu trước đây, ChatGPT đã có thể vượt qua các phần của Kỳ thi cấp phép y tế Hoa Kỳ (USMLE).

Trindade cho biết chatbot có thể đã hoạt động tốt hơn trên USMLE vì thông tin được kiểm tra trong bài kiểm tra có thể đã được phổ biến rộng rãi hơn cho việc đào tạo ngôn ngữ của ChatGPT. "Ngoài ra, ngưỡng để vượt qua [USMLE] thấp hơn đối với tỷ lệ phần trăm câu hỏi được trả lời đúng," ông nói.

ChatGPT dường như giúp thông báo cho bệnh nhân tốt hơn so với trong các cuộc kiểm tra y tế. Chatbot đã cung cấp các câu trả lời nhìn chung thỏa đáng cho các câu hỏi phổ biến của bệnh nhân về nội soi trong một nghiên cứu và về ung thư biểu mô tế bào gan và xơ gan trong một nghiên cứu khác.

Để ChatGPT có giá trị trong giáo dục y tế, "các phiên bản trong tương lai sẽ cần được cập nhật với các tài nguyên y tế như bài báo, hướng dẫn xã hội và cơ sở dữ liệu y tế, chẳng hạn như UpToDate," Trindade nói. "Với việc đào tạo y tế trực tiếp về khoa tiêu hóa, nó có thể là một công cụ trong tương lai cho giáo dục hoặc bệnh nhân sử dụng trong lĩnh vực này, nhưng không phải như hiện tại. Trước khi nó có thể được sử dụng trong khoa tiêu hóa, nó cần được xác nhận."

Điều đó nói rằng, ông lưu ý, giáo dục y tế đã phát triển từ việc dựa trên sách giáo khoa và tạp chí in để bao gồm dữ liệu tạp chí dựa trên internet và hướng dẫn thực hành trên các trang web chuyên ngành. Nếu được chuẩn bị đúng cách, các tài nguyên như ChatGPT có thể là bước hợp lý tiếp theo.

Nghiên cứu này không nhận  tài trợ. Trindade là cố vấn cho Pentax Medical, Boston Scientific, Lucid Diagnostic và Exact Science và nhận hỗ trợ nghiên cứu từ Lucid Diagnostics.

Nội dung bài viết được lấy từ website https://www.medscape.com/

Link bài viết xin mời xem Tại đây

Dịch giả: Chat GPT