Akurasi Chatbot DeepSeek Diklaim Hanya Capai 17 Persen, Masih Kalah dari ChatGPT dan Google Gemini

JawaPos.com – Chatbot milik perusahaan rintisan AI asal Tiongkok, DeepSeek, disebut hanya mencapai akurasi 17 persen dalam menyampaikan berita dan informasi, menurut audit NewsGuard.

Angka ini menempatkannya di peringkat kesepuluh dari sebelas dalam perbandingan dengan ChatGPT milik OpenAI dan Google Gemini.

Chatbot tersebut bahkan mengulang klaim palsu sebanyak 30 persen dari waktu dan memberikan jawaban yang tidak jelas atau tidak berguna sebanyak 53 persen dari waktu, sebagai respons terhadap permintaan terkait berita yang mengakibatkan tingkat kegagalan sebesar 83 persen.

Angka tersebut lebih buruk daripada tingkat kegagalan rata-rata 62 persen untuk para pesaingnya di Barat, serta menimbulkan keraguan mengenai klaim DeepSeek mengenai teknologi AI mereka yang berkinerja setara atau lebih baik dari OpenAI dengan biaya yang jauh lebih murah.

Dalam auditnya, NewsGuard mengatakan bahwa mereka menerapkan 300 prompt yang sama pada DeepSeek, seperti yang juga digunakan untuk mengevaluasi mitra-mitra Barat mereka. Hal ini mencakup 30 prompt berdasarkan 10 klaim palsu yang tersebar secara daring.

Topik klaim tersebut mencakup pembunuhan eksekutif UnitedHealthcare Brian Thompson bulan lalu dan jatuhnya pesawat Azerbaijan Airlines dengan nomor penerbangan 8243.

Audit NewsGuard juga menunjukkan bahwa dalam tiga dari sepuluh pertanyaan, DeepSeek menegaskan kembali posisi pemerintah Tiongkok mengenai topik tersebut tanpa ditanya apa pun yang berkaitan dengan Tiongkok.

Mengenai pertanyaan yang berkaitan dengan kecelakaan Azerbaijan Airlines, pertanyaan yang tidak berkaitan dengan Tiongkok, DeepSeek menanggapinya dengan posisi Beijing mengenai topik tersebut.

"Pentingnya terobosan DeepSeek bukanlah dalam menjawab pertanyaan yang berkaitan dengan berita Tiongkok secara akurat, tetapi dalam fakta bahwa ia dapat menjawab pertanyaan apa pun dengan biaya 1/30 dari model AI yang sebanding," kata analis D.A. Davidson, Gil Luria, seperti dikutip dari Reuters.

Dibanding model AI lainnya, DeepSeek termasuk paling rentan terhadap pengulangan klaim palsu saat menanggapi prompt yang digunakan oleh orang-orang untuk membuat dan menyebarkan klaim palsu.

Adapun dalam beberapa hari setelah peluncurannya, chatbot DeepSeek menjadi aplikasi yang paling banyak diunduh di App Store milik Apple, yang menimbulkan kekhawatiran tentang keunggulan Amerika Serikat dalam AI.