Mantic, Startup AI Inggris Kalahkan Manusia dalam Kompetisi Forecasting Internasional

JawaPos.com - Sistem kecerdasan buatan atau artficial intelligence (AI) telah mengalahkan banyak penggemar forecasting atau peramalan.

Termasuk mengalahkan beberapa profesional, dalam kontes untuk memprediksi berbagai peristiwa. Mulai dari keretakan antara Donald Trump dan Elon Musk hingga pemecatan Kemi Badenoch dari kepemimpinan partai Konservatif.

Dilansir dari The Guardian, sebuah perusahaan rintisan AI asal Inggris, yang didirikan oleh mantan peneliti Google DeepMind itu berhasil masuk dalam peringkat 10 besar kompetisi forecasting internasional. Kompetisi itu mengharuskan peserta untuk meramalkan kemungkinan 60 kejadian selama musim panas.

Startup Inggris bernama ManticAI itu berada di posisi kedelapan dalam Metaculus Cup, yang diselenggarakan oleh perusahaan forecasting berbasis di San Francisco. Penyelenggara mencoba memprediksi masa depan dana investasi dan perusahaan.

Performa AI masih tertinggal dibandingkan forecaster manusia terbaik, tetapi hal ini membuat sebagian orang yakin AI dapat melampaui manusia lebih cepat dari yang diperkirakan kebanyakan orang.

"Rasanya aneh sekali bisa kalah dari beberapa bot di titik ini," kata Ben Shindel, salah satu forecaster profesional yang sempat tertinggal dari AI selama kontes sebelum akhirnya finis di atas Mantic.

"Kami sudah jauh berkembang dibandingkan tahun lalu, ketika bot terbaik hanya berada di peringkat 300," imbuhnya.

Pertanyaan dalam Metaculus Cup, meliputi partai mana yang akan memenangkan kursi terbanyak dalam pemilihan umum Samoa dan berapa hektar lahan di AS yang akan terbakar dari Januari hingga Agustus. Para kontestan dinilai berdasarkan seberapa baik mereka memprediksi hasil pemilu per 1 September.

“Apa yang dilakukan Mantic sungguh mengesankan,” kata Deger Turan, kepala eksekutif Metaculus. Turan memperkirakan, bahwa AI akan setara atau lebih baik daripada forecaster manusia terbaik pada tahun 2029. Tetapi, mengatakan, bahwa secara umum saat ini forecaster manusia lebih baik daripada forecaster AI.

Pada prakiraan rumit yang mengandalkan prediksi kejadian yang saling terkait, sistem AI masih dapat kesulitan untuk menjalankan pemeriksaan verifikasi logika saat menerjemahkan pengetahuan menjadi prediksi akhir.

Mantic memecah masalah forecasting menjadi beberapa pekerjaan berbeda dan menugaskannya ke sejumlah model pembelajaran mesin, termasuk OpenAI, Google, dan DeepSeek, tergantung pada kekuatan mereka.

Toby Shevlane, salah satu pendiri Mantic mengatakan, kinerjanya merupakan tonggak sejarah bagi komunitas AI yang menggunakan large language models (LLM) untuk forecasting.

"Ada yang bilang LLM hanya memuntahkan data pelatihan mereka, tapi Anda tidak bisa memprediksi masa depan seperti itu," ujarnya.

"Itu membutuhkan penalaran yang sungguh-sungguh. Bisa dibilang prediksi sistem kami lebih orisinal daripada kebanyakan peserta manusia, karena orang-orang sering kali mengelompok di sekitar prediksi rata-rata komunitas. Sistem AI sering kali sangat tidak setuju. Jadi, forecaster AI bisa menjadi penangkal pemikiran kelompok," tambahnya.

Sistem Mantic menggunakan beragam agen AI untuk menilai apa yang terjadi saat ini, melakukan riset historis, merancang skenario, dan kemudian memprediksi apa yang kemungkinan akan terjadi selanjutnya. Salah satu kekuatan forecasting AI adalah kemampuannya untuk bekerja keras secara konsisten, yang krusial bagi forecasting yang efektif.