Ilustrasi AI memahami gambar dan suara (Dok. Freepik)
JawaPos.com - Peneliti dari MIT bekerja sama dengan Goethe University dan IBM Research mengembangkan sistem AI yang bisa memahami hubungan antara suara dan gambar dari video.
Sistem ini tidak membutuhkan label atau penjelasan dari manusia untuk belajar. AI ini dirancang agar bisa mengenali dan menghubungkan suara serta visual seperti manusia.
Teknologi ini disebut bisa dimanfaatkan dalam banyak bidang, seperti jurnalisme, produksi film, dan robotika.
Baca Juga: Gratis dan Aman! Ini 2 Cara Mudah Menggunakan DeepSeek AI Tanpa Khawatir Privasi Data
Salah satu contohnya, AI bisa mengenali suara pintu yang dibanting dan mencocokkannya dengan gambar pintu yang tertutup.
"Jika teknologi ini dapat diintegrasikan dengan model bahasa besar yang sudah digunakan sehari-hari, seperti chatbot, banyak kemungkinan baru yang bisa dibuka," kata Andrew Rouditchenko, mahasiswa MIT sekaligus penulis studi ini, dikutip dari news.mit.edu.
CAV-MAE Sync: Model AI Versi Lebih Pintar
Model terbaru ini diberi nama CAV-MAE Sync, yang merupakan pengembangan dari model sebelumnya, CAV-MAE.
Model lama memproses seluruh klip video dan audio sebagai satu kesatuan, meskipun suara penting hanya muncul sebentar.
Di versi baru, audio dibagi menjadi bagian kecil agar bisa dipasangkan langsung dengan frame video pada waktu yang sama.
Ini membuat model belajar dengan lebih rinci dan memahami hubungan suara dan gambar secara tepat. Cara ini terbukti membuat performa AI jadi lebih baik.
"Dengan cara seperti ini, model kami belajar keterkaitan yang lebih halus, dan itu meningkatkan performa secara keseluruhan," ujar Edson Araujo dari Goethe University.
Gabungkan Dua Tujuan Pembelajaran Sekaligus
CAV-MAE Sync menggabungkan dua cara belajar, yakni mengenali kemiripan data (kontrasif) dan membangun ulang data (rekonstruktif).
Pembelajaran kontrasif membantu AI menemukan pasangan visual dan suara yang saling cocok.

Koperasi Desa Merah Putih di Pakuhaji Sepi dan Bangunan Sederhana, Dinkop UMKM Tangerang: Tidak Dibangun dari Dana Agrinas
Jadwal Moto3 Catalunya 2026: Veda Ega Pratama Siap Jaga Konsistensi di Barcelona
Sekjen Laskar Merah Putih Minta Presiden Perhatikan Para Jaksa: Mereka Belum Dapat Apresiasi yang Proporsional
Kemendiktisaintek Ubah Nama Prodi Teknik jadi Rekayasa, ini Daftarnya
Fans Persija Datangi Sesi Latihan di Sawangan, Jakmania Bentangkan Spanduk Kritik untuk Manajemen Klub
Hasil Moto3 Catalunya 2026: Veda Ega Pratama Bikin Kejutan! Tembus 13 Besar di FP2
11 Oleh-Oleh Khas Semarang yang Paling Diburu Wisatawan karena Rasanya Lezat dan Cocok Dijadikan Buah Tangan
10 Mie Ayam Paling Enak di Jogja yang Selalu Ramai Pembeli, Kuah Gurih dan Porsi Melimpah
12 Hotel Terbaik di Semarang dengan Fasilitas Lengkap, Nuansa Cozy dan Menenangkan untuk Quality Time Bersama Orang Tercinta
13 Buah Tangan Khas Malang Paling Populer dengan Cita Rasa Lezat dan Harga Ramah di Kantong
