Masa Depan Keputusan AI: Mengukur Sikap Risiko LLM dan Mengoptimalkan SLM dengan RIMS

Perkembangan dunia kecerdasan buatan (AI) kini tidak hanya berfokus pada peningkatan ukuran model, tetapi juga pada bagaimana model-model ini mengambil keputusan di bawah ketidakpastian serta bagaimana kita dapat mengoptimalkan model dengan skala yang lebih kecil (Small Language Models atau SLM).

Dua makalah penelitian terbaru yang dipublikasikan di arXiv memberikan sudut pandang menarik mengenai kedua aspek ini. Penelitian pertama mengeksplorasi apakah Large Language Models (LLM) memiliki sikap konsisten terhadap risiko, sementara penelitian kedua memperkenalkan metode RIMS untuk mengoptimalkan performa SLM dalam menyaring informasi.

Apakah AI Memiliki Sikap Konsisten Terhadap Risiko?

Dalam makalah berjudul "Some Large Language Models Exhibit Consistent Risk Attitudes" (arXiv:2607.16197), para peneliti menguji dimensi yang selama ini jarang terukur: bagaimana LLM menerjemahkan persepsi risiko menjadi tindakan nyata saat dihadapkan pada ketidakpastian.

Studi ini menggunakan kerangka kerja lintas domain yang menguji enam LLM representatif dan membandingkannya dengan 100 partisipan manusia dalam tiga tugas utama:

• Navigasi Spasial (Spatial Navigation)
• Triase Klinis (Clinical Triage)
• Alokasi Keuangan (Financial Allocation)

Temuan Utama Riset Risiko LLM:

1. Konsistensi Intra-Tugas yang Kokoh: LLM menunjukkan pemetaan yang stabil dari keyakinan kontekstual ke keputusan risiko dalam domain tugas yang tetap.
2. Stabilitas Lintas Domain: Model-model ini mampu mempertahankan postur risiko relatif mereka di berbagai jenis tugas yang berbeda.
3. Konvergensi Distribusi Risiko: Dibandingkan dengan manusia yang memiliki variasi sikap risiko sangat luas, LLM cenderung memusatkan sikap risikonya pada distribusi yang lebih sempit.

Temuan ini membuktikan bahwa sikap risiko adalah dimensi perilaku LLM yang stabil dan dapat diukur. Hal ini menjadi fondasi penting untuk mengevaluasi dan menyelaraskan (aligning) sistem AI dalam pengambilan keputusan penting di dunia nyata.

RIMS: Solusi Cerdas Mengoptimalkan Model Bahasa Kecil (SLM)

Sementara LLM terus dipelajari perilakunya, di sisi efisiensi komputasi, model bahasa kecil (SLM) menjadi pilihan menarik untuk sistem Retrieval-Augmented Generation (RAG) karena hemat sumber daya. Namun, SLM sangat sensitif terhadap informasi bising atau palsu yang tidak sengaja terambil dari internet.

Untuk mengatasi kelemahan ini, makalah "RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation" (arXiv:2607.16431) memperkenalkan metode bernama RIMS.

RIMS menggunakan kerangka kerja tiga tahap:

• Pembuatan Data Preferensi Sintetis: Menghasilkan data penalaran (chain-of-thought) berkualitas menggunakan target SLM itu sendiri tanpa bergantung pada model komersial berbayar.
• Mekanisme Agregasi Lembut (Soft Aggregation): Menggantikan seleksi kaku (hard selection) dengan operator halus (smooth operator). Pendekatan ini mempertahankan sinyal pembelajaran dari seluruh pasangan data preferensi secara optimal.
• Optimasi Preferensi: Menerapkan tujuan yang dihaluskan pada berbagai algoritma penyelarasan model.

Dalam pengujian pada empat benchmark tanya-jawab multi-hop, RIMS terbukti berhasil meningkatkan akurasi jawaban (metrik Exact Match dan F1-score) secara konsisten, bahkan ketika informasi yang diterima model sangat bising dan tidak akurat.

Kesimpulan

Kedua penelitian ini menunjukkan arah masa depan pengembangan AI yang seimbang. Di satu sisi, kita mulai memahami aspek psikologi keputusan AI melalui konsistensi sikap risiko LLM. Di sisi lain, inovasi seperti RIMS memastikan bahwa teknologi AI yang lebih efisien dan hemat biaya tetap tangguh dan akurat saat diimplementasikan secara praktis.