AI Mengubah Industri Memori: HBM Jadi Prioritas, Harga RAM PC Jadi Korban

Ilustrasi memasang RAM pada PC. (Christopher Flannigan)

JawaPos.com - Di tengah hiruk-pikuk perkembangan kecerdasan buatan, sebagian besar perhatian publik masih diarahkan pada GPU yang dianggap sebagai pusat tenaga komputasi.

Namun ketika para analis dan insinyur menggali lebih dalam bagaimana AI bekerja, ada satu komponen yang kini memegang peranan lebih kritikal: memori.

White paper IDC berjudul “The Importance of Memory in High-Performance Computing and AI” karya Jeff Janukowicz memaparkan bahwa memori tidak lagi pelengkap sistem, melainkan fondasi kinerja AI modern.

Jeff menjelaskan bahwa AI mengubah kapasitas dan struktur data center. Dalam laporannya ia menulis bahwa “AI’s ability to analyze vast amounts of data means datacenters must now handle exponentially larger datasets” .

Pernyataan ini merangkum perubahan zaman. AI tidak hanya membutuhkan pemrosesan cepat, tetapi juga kemampuan memindahkan data dalam volume raksasa tanpa henti. Di sinilah memori menjadi batas kemampuan AI.

Komputasi AI dan Triliunan Parameter yang Bergantung pada Memori

Beban kerja AI modern dibangun dari model yang mengandung miliaran sampai triliunan parameter. Setiap parameter itu harus tersimpan dalam memori dan dapat diakses secara paralel.

Jeff menekankan bahwa AI memerlukan high bandwidth and low latency memory untuk memindah data secara efisien dari suatu sistem. Alasannya, GPU tidak akan bekerja pada performa optimal jika arus datanya tersendat.

Dengan ukuran model yang terus bertambah, kebutuhan memori bukan hanya soal kapasitas tetapi juga soal kecepatan perpindahan data.

Tanpa memori berbandwidth tinggi, model AI tidak dapat dilatih maupun dijalankan secara efisien. Inilah alasan mengapa memori menjadi komponen paling strategis dalam infrastruktur AI.

HBM dan Evolusi Memori Berkecepatan Tinggi

White paper IDC menyoroti HBM atau High Bandwidth Memory sebagai inovasi besar yang menjawab kebutuhan AI.

"HBM muncul sebagai inovasi kunci yang sangat menentukan perkembangan infrastruktur AI," tulis Jeff. Alasannya, karena menawarkan bandwidth yang jauh melebihi memori tradisional sambil mempertahankan konsumsi daya yang lebih rendah .

HBM bekerja dengan struktur 3D stacked dies dan melalui teknologi through-silicon vias. Cara kerja ini membuat jalur datanya sangat lebar sehingga proses pemindahan data berlangsung lebih cepat.

GPU seperti Nvidia H100 atau AMD MI300 menjadikan HBM komponen wajib untuk mencapai performa optimal. Artinya, industri memori kini harus mengalokasikan kapasitas produksi DRAM untuk memenuhi permintaan HBM yang semakin mendominasi pasar AI.

Memori Efisien dan Efisiensi Energi Data Center

Energi menjadi tantangan terbesar bagi data center modern. White paper IDC mengungkap, pada survei 2024, menemukan bahwa biaya listrik menyumbang 46,3 persen dari total pengeluaran operasional pusat data.