Inti bacaan

Saat sebuah chatbot menampilkan jawaban, kata demi kata muncul seolah komputer sedang mengetik. Salah satu penyebabnya adalah cara banyak model bahasa menghasilkan teks. Model menghitung token berikutnya berdasarkan bagian yang telah ada, menambahkannya, lalu mengulang. Token bisa berupa kata atau potongan kata. Deretan langkah yang harus menunggu hasil sebelumnya ini dapat membuat jawaban panjang terasa lambat.

Riset speculative decoding menawarkan cara memanfaatkan bagian yang mudah ditebak. Sebuah model pendamping yang lebih ringan mengusulkan beberapa token lebih dahulu. Model utama kemudian memeriksa rangkaian usulan sekaligus dengan aturan penerimaan dan koreksi tertentu. Pracetak peneliti terbit pertama kali pada November 2022, disusul makalah ICML 2023. Dalam percobaan mereka pada T5-XXL, penulis melaporkan percepatan dua sampai tiga kali dibandingkan implementasi pembanding.

Dua waktu tunggu yang dapat diukur pengguna

Bagi pengembang aplikasi Indonesia, kegunaan ide ini bergantung pada keluhan pengguna yang sebenarnya. Orang yang mengetik pertanyaan singkat mungkin paling terganggu oleh jeda sebelum teks pertama muncul. Pembaca ringkasan panjang mungkin bersedia menunggu sebentar asalkan seluruh jawaban lekas selesai. Ukur waktu menuju token pertama dan waktu hingga jawaban lengkap secara terpisah. Peningkatan kecepatan menghasilkan token berikutnya tidak selalu mengatasi waktu antre atau pengiriman permintaan lewat jaringan.

Apa yang terjadi jika tebakannya salah?

Bayangkan kalimat yang berulang dalam banyak surat, seperti “Terima kasih atas perhatian”. Potongan berikutnya mungkin cukup mudah diusulkan oleh model kecil. Sekarang ganti surat itu dengan daftar istilah teknis yang jarang ditemuinya. Bila usulan sering tidak cocok, sistem akan menggunakan lebih sedikit bagian yang sudah disiapkan. Biaya menjalankan model pendamping tetap ada. Besar manfaatnya dapat berubah walaupun model utama dan perangkat yang dipakai sama.

Ada perbedaan penting antara mempercepat pengambilan sampel dan menyuruh model kecil menulis bagian akhir sesukanya. Algoritma penelitian mengatur penerimaan token agar sampel tetap memiliki distribusi yang sama dengan model utama. Pada pengambilan sampel acak, dua percobaan tetap bisa memberi susunan kata berbeda. Sifat matematis itu juga tidak membuat jawaban yang semula kurang akurat menjadi lebih tepat secara faktual.

Menilai hasil pada aplikasi sendiri

Untuk perbandingan yang adil, siapkan kelompok permintaan yang mencerminkan penggunaan nyata. Pisahkan jawaban sangat pendek, jawaban panjang, serta jenis teks dengan istilah lokal. Pertahankan batas panjang jawaban dan pengaturan model utama ketika membandingkan metode. Catat jumlah permintaan bersamaan. Server yang cepat untuk satu orang belum tentu memberi keuntungan yang sama ketika banyak pembaca mengaksesnya sekaligus.

Bila hasilnya hendak dipresentasikan, tunjukkan waktu tunggu kelompok permintaan yang lambat selain angka rata-rata. Kumpulan permintaan mudah yang sangat cepat dapat menyembunyikan pengalaman buruk pada bagian lalu lintas yang justru paling penting bagi pengguna.

Laptop dengan editor kode di meja kerja.
Foto ilustrasi pekerjaan dengan perangkat lunak. Foto: Dawit / Unsplash · Unsplash License

Sumber dan referensi

Analisis menggabungkan fakta bersumber dan penafsiran Nalarku.

Sumber diperiksa 19 Nov 2026, 20.48 WIB. Disusun dengan bantuan AI dan review editor.

Proses editorial dan penggunaan AI ·

NALAR PEKAN

Pahami kabar AI pilihan lewat email.

Kabar yang sudah ditinjau, konteks Indonesia, dan satu latihan untuk dicoba. Email dikirim ketika edisi sudah siap; konfirmasi alamatmu untuk berlangganan.

Memeriksa kesiapan pendaftaran email…

Pernah berlangganan? Kelola langganan atau daftar kembali.

Baca edisi web · Penggunaan data email