Kalau kamu ingin mengganti model AI, tulisan yang terasa lebih enak dibaca belum cukup menjadi pegangan. Bayangkan editor menyukai tiga contoh, lalu petunjuk untuk model itu dipakai pada semua pekerjaan. Dua hari kemudian, sistem malah menghilangkan syarat akses dalam pengumuman produk.
Kumpulan bahan uji yang tetap membantu tim melihat apakah perubahan memang lebih baik atau hanya cocok pada contoh pilihan. Panduan evaluasi OpenAI menekankan tugas yang jelas, data yang mewakili pemakaian, pemeriksaan manusia, dan pengujian berkelanjutan. Kita akan memakainya untuk ringkasan berita AI.
Semua angka dan kasus di sini dibuat untuk contoh. Hasilnya tidak membandingkan kinerja model tertentu.
Tentukan keputusan yang ingin kamu ambil
Pengujian perlu membantu tim memilih: rilis, tahan, atau batasi pada tugas tertentu. Laporan “Skor lebih tinggi” belum cukup kalau gaya bahasa membaik sementara fakta justru makin sering keliru. Pisahkan syarat yang wajib dipenuhi dari hal yang sekadar disukai.
Syarat wajib bisa berupa tidak menambah angka, menjaga label akses percobaan atau preview, dan membawa bukti untuk klaim utama. Pilihan gaya bisa berupa ringkas, runtut, dan cocok dengan suara redaksi. Nilai gaya yang tinggi jangan sampai menutupi pelanggaran syarat wajib dalam rata-rata berbobot.
Tentukan juga apa yang dihitung. Satu artikel bisa memuat banyak klaim, sehingga ketepatan per artikel dan per klaim memakai pembagi yang berbeda. Pilih ukuran yang sesuai dengan risiko pekerjaanmu.
Masukkan juga kasus yang sulit
Kumpulan contoh berjawaban rujukan yang dipakai sebagai patokan sering disebut golden set. Pisahkan bahan pengembangan dari kumpulan yang disimpan khusus untuk pengujian. Kalau semua contoh terus dilihat saat menyunting petunjuk model, atau prompt, bahan uji itu berubah menjadi latihan informal.
Tambahkan kasus baru dari kegagalan nyata yang sudah diperiksa. Untuk redaksi, kamu bisa mengelompokkannya seperti berikut:
| Kelompok kasus | Yang perlu dibuktikan | Jawaban rujukan |
|---|---|---|
| Pengumuman akses percobaan | Batas ketersediaan tetap disebut | Frasa akses beserta tanggal |
| Dokumentasi yang direvisi | Versi terbaru dibaca dengan tepat | Dokumen dan revisinya |
| Sumber saling bertentangan | Perbedaan tetap ditunjukkan | Dua klaim dengan keterangan waktunya |
| Angka dan satuan | Satuan tetap sama | Nilai, satuan, dan periode |
| Bukti belum cukup | Sistem tidak memaksakan kepastian | Alasan untuk diperiksa manusia |
| Bahasa campuran | Istilah teknis tetap tepat maknanya | Makna yang harus dipertahankan |
Kumpulan bahan uji, atau dataset, perlu mewakili komposisi pekerjaanmu. Kasus yang jarang tetapi berisiko tetap harus terlihat, jadi laporkan hasil keseluruhan dan setiap kelompok. Banyaknya kasus mudah bisa menyembunyikan kegagalan dalam kelompok kecil.
Buat panduan yang bisa dipakai dua penilai
Panduan penilaian disebut rubrik. Label “bagus atau buruk” terlalu longgar untuk membantu orang menilai dengan cara yang sama. Jelaskan patokannya: klaim utama punya bukti, syarat akses utuh, tanggal tepat, penyebutan sumber tidak bergeser, dan analisis diberi label.
Sertakan contoh pembeda antara perbaikan kecil dan kesalahan fakta. Minta dua penilai membaca sampel yang sama tanpa mengetahui model atau versi prompt. Kalau penilai berbeda pendapat tentang apa yang salah, perjelas rubrik sebelum menghitung rata-ratanya.
Jika model ikut menilai, cocokkan dulu penilaiannya dengan penilaian manusia. Pada perbandingan dua jawaban, tukar urutan A/B untuk sebagian sampel guna melihat pengaruh urutan. Model yang terus menyukai jawaban lebih panjang belum tentu sedang mengukur ketepatan.
Hitung dari jawaban rujukan
Untuk pendeteksi klaim bermasalah, buat hitungan tebakan yang benar, salah menuduh, dan gagal menemukan masalah. Susunan perbandingan jawaban rujukan dan tebakan ini disebut confusion matrix. Contoh Python berikut memakai label 1 untuk bermasalah dan 0 untuk tidak bermasalah:
def classification_report(expected, predicted):
if len(expected) != len(predicted) or not expected:
raise ValueError("Label harus berpasangan dan tidak kosong")
if any(value not in (0, 1) for value in expected + predicted):
raise ValueError("Gunakan label 0 atau 1")
tp = sum(a == 1 and b == 1 for a, b in zip(expected, predicted))
fp = sum(a == 0 and b == 1 for a, b in zip(expected, predicted))
fn = sum(a == 1 and b == 0 for a, b in zip(expected, predicted))
precision = tp / (tp + fp) if tp + fp else None
recall = tp / (tp + fn) if tp + fn else None
return {"tp": tp, "fp": fp, "fn": fn,
"precision": precision, "recall": recall}
print(classification_report([1, 1, 0, 0], [1, 0, 1, 0]))Hasilnya memuat satu masalah yang ditemukan dengan benar, atau true positive. Ada juga satu tuduhan masalah yang keliru, atau false positive, dan satu masalah yang terlewat, atau false negative. Ketepatan dari semua tuduhan, atau precision, serta bagian masalah yang berhasil ditemukan, atau recall, masing-masing bernilai 0,5.
Nilai None berarti pembaginya tidak tersedia. Jangan menggantinya dengan nilai sempurna tanpa penjelasan. Untuk tugas yang menghasilkan tulisan, ukuran tadi baru bisa dipakai setelah label benar dan salah ditetapkan.
Bandingkan versi pada bahan yang sama
Jalankan versi lama dan baru dengan masukan yang sama. Catat pengaturan model, prompt, alat bantu, daftar sumber yang bisa dicari, dan waktu pengujian. Perubahan cara mengambil sumber, atau retrieval, dapat mengubah jawaban meski modelnya tetap.
Hasil model bisa berbeda setiap kali dijalankan. Ulangi secukupnya pada kasus yang tidak stabil dan laporkan perbedaannya; selisih satu kasus dalam sampel kecil belum membuktikan perbaikan untuk semua penggunaan. Jika memakai rentang ketidakpastian statistik, jelaskan metode dan unit sampelnya.
Selain kualitas, ukur waktu sampai hasil diterima dan biaya per hasil yang lolos pemeriksaan. Target mutu layanan biasa disebut SLO; penjelasan Google SRE membantu membedakan target itu dari ukuran yang diamati. Tetapkan target menurut kebutuhan produkmu, tanpa menyalin contoh perusahaan lain begitu saja.
Pakai hasilnya untuk menentukan rilis
Buat laporan singkat tentang perubahan per kelompok, kegagalan baru, dan kasus yang sudah membaik. Tampilkan juga pertukaran antara kualitas, biaya, dan waktu tunggu. Tentukan batas kelulusan sebelum melihat hasil akhir agar patokannya tidak digeser untuk meloloskan versi yang disukai.
Kalau versi baru lebih baik untuk ringkasan sederhana tetapi lebih buruk saat sumber bertentangan, batasi pemakaiannya. Rilis bertahap sambil menyediakan cara kembali ke versi lama memberi pegangan yang lebih jelas daripada cap “model ini terbaik” untuk semua tugas. Pengujian ulang untuk menjaga perilaku lama tetap benar disebut tes regresi.
Simpan contoh kegagalan sebagai bahan uji dengan revisi dan hak akses yang tercatat. Kamu bisa memulai latihan dari dua puluh dokumen yang sudah dipahami editor, lalu menambahnya sesuai kebutuhan. Untuk membaca kualitas bersama anggaran, lanjutkan ke catatan biaya AI.
