Các học giả rõ ràng đã đào tạo một thuật toán học máy để phát hiện các bài báo khoa học do ChatGPT tạo ra và khẳng định phần mềm này có độ chính xác hơn 99%.
Các mô hình AI sáng tạo đã cải thiện đáng kể khả năng bắt chước chữ viết của con người trong một khoảng thời gian ngắn, khiến mọi người khó phân biệt liệu văn bản được tạo ra bởi máy hay con người. Các giáo viên và giảng viên đã nêu lên mối lo ngại rằng sinh viên sử dụng các công cụ này đang phạm tội đạo văn, hoặc dường như gian lận sử dụng mã do máy tạo ra.
Tuy nhiên, phần mềm được thiết kế để phát hiện văn bản do AI tạo ra thường không đáng tin cậy. Các chuyên gia đã cảnh báo không nên sử dụng những công cụ này để đánh giá công việc.
Một nhóm các nhà nghiên cứu do Đại học Kansas dẫn đầu cho rằng sẽ rất hữu ích khi phát triển một phương pháp phát hiện các bài viết khoa học do AI tạo ra – đặc biệt được viết theo phong cách các bài nghiên cứu thường được các tạp chí học thuật chấp nhận và xuất bản.
“Hiện tại, có một số vấn đề khá rõ ràng với việc viết bằng AI,” nói Heather Desaire, tác giả đầu tiên của bài báo công bố trên tạp chí Báo cáo Tế bào Khoa học Vật lývà là giáo sư hóa học tại Đại học Kansas, trong một tuyên bố. “Một trong những vấn đề lớn nhất là nó tập hợp văn bản từ nhiều nguồn và không có bất kỳ hình thức kiểm tra độ chính xác nào – nó giống như trò chơi Hai sự thật và một lời nói dối.”
Desaire và các đồng nghiệp của cô đã biên soạn các bộ dữ liệu để đào tạo và thử nghiệm thuật toán phân loại các bài báo do các nhà khoa học và ChatGPT viết. Họ đã chọn 64 bài báo “quan điểm” – một phong cách bài báo cụ thể được đăng trên các tạp chí khoa học – đại diện cho nhiều chủ đề đa dạng từ sinh học đến vật lý, đồng thời thúc giục ChatGPT tạo các đoạn văn mô tả cùng một nghiên cứu để tạo ra 128 bài báo giả mạo. Tổng cộng có 1,276 đoạn văn được AI tạo ra và được sử dụng để huấn luyện bộ phân loại.
Tiếp theo, nhóm đã biên soạn thêm hai tập dữ liệu, mỗi tập dữ liệu chứa 30 bài viết về quan điểm thực tế và 60 bài viết do ChatGPT viết, tổng cộng là 1,210 đoạn văn để kiểm tra thuật toán.
Các thí nghiệm ban đầu cho thấy bộ phân loại có thể phân biệt giữa văn bản khoa học thực sự của con người và các bài báo do AI tạo ra trong 100% thời gian. Tuy nhiên, độ chính xác ở từng đoạn văn đã giảm nhẹ - xuống còn 92%, theo tuyên bố.
Họ tin rằng công cụ phân loại của họ có hiệu quả vì nó tập trung vào nhiều khác biệt về phong cách giữa cách viết của con người và AI. Các nhà khoa học có nhiều khả năng có vốn từ vựng phong phú hơn và viết những đoạn văn dài hơn chứa nhiều từ đa dạng hơn so với máy móc. Họ cũng sử dụng các dấu câu như dấu chấm hỏi, dấu ngoặc, dấu chấm phẩy thường xuyên hơn ChatGPT, ngoại trừ dấu câu dùng để trích dẫn.
ChatGPT cũng kém chính xác hơn và không cung cấp thông tin cụ thể về số liệu hoặc tên nhà khoa học khác so với con người. Các bài báo khoa học thực tế cũng sử dụng ngôn ngữ lập lờ hơn - như “tuy nhiên”, “nhưng”, “mặc dù” cũng như “điều này” và “vì”.
Tuy nhiên, kết quả sẽ không được tin tưởng lắm. Không rõ thuật toán này mạnh đến mức nào so với các nghiên cứu được con người chỉnh sửa nhẹ mặc dù hầu hết được viết bởi ChatGPT hoặc chống lại các bài báo thực sự từ các tạp chí khoa học khác.
Các nhà nghiên cứu viết trong bài báo của họ: “Vì mục tiêu chính của công việc này là nghiên cứu bằng chứng về khái niệm nên phạm vi công việc còn hạn chế và cần có các nghiên cứu tiếp theo để xác định mức độ áp dụng của phương pháp này”. “Ví dụ: kích thước của bộ kiểm tra (180 tài liệu, ∼ 1,200 đoạn văn) là nhỏ và bộ kiểm tra lớn hơn sẽ xác định rõ hơn độ chính xác của phương pháp đối với loại ví dụ viết này.”
Đăng ký đã yêu cầu Desaire bình luận. ®
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- EVM tài chính. Giao diện hợp nhất cho tài chính phi tập trung. Truy cập Tại đây.
- Tập đoàn truyền thông lượng tử. Khuếch đại IR/PR. Truy cập Tại đây.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- nguồn: https://go.theregister.com/feed/www.theregister.com/2023/06/08/scientists_ai_recognition/
