Ringkasan dalam 3 poin
- Uji memakai data eksperimen mentah dan 100 tugas.
- Skor kriteria jawaban meningkat pada evaluasi penerbit.
- Kesalahan membaca gambar masih ditemukan meski skor membaik.
Apa yang diuji dan ditemukan
BioBasicsBench menguji cara AI membaca bukti eksperimen dalam 100 tugas laboratorium. OpenAI memperkenalkan uji pembanding yang dikembangkan bersama Ligo ini pada 6 November 2026.
Bahan penilaiannya berupa data mentah, termasuk gambar dan tabel. Model perlu mengenali kesalahan serta menyatakan ketika bukti belum cukup untuk mendukung kesimpulan.
Dalam evaluasi penerbit pada pengaturan penalaran xhigh, GPT-6 Astra memperoleh 66,7% dari kredit penilaian yang tersedia, dibandingkan 43,8% untuk GPT-5.6 Sol. Angka ini adalah skor terhadap kriteria jawaban, bukan persentase akurasi seluruh pekerjaan laboratorium.
Kemajuan itu belum menghilangkan kesalahan. Salah satu contoh dalam publikasi menunjukkan model melewatkan koloni pada gambar dan menandai area kosong ketika menghitungnya.
Skor perlu dibaca bersama tugas dan kesalahannya
Bagi pembaca yang mengikuti perkembangan AI untuk sains, pertanyaan utamanya adalah bukti apa yang dapat dibaca model dan bagaimana jawabannya dinilai. Kemampuan menjelaskan istilah laboratorium berbeda dari kemampuan menafsirkan hasil eksperimen yang ambigu. Benchmark ini menarik karena membawa perhatian pada bahan mentah, kriteria penilaian, serta keadaan ketika kesimpulan seharusnya ditunda.
Apa yang sebenarnya mendapat nilai
Publikasi menjelaskan penilaian dengan rubrik, yaitu kriteria yang memberi kredit untuk unsur jawaban. Dengan pendekatan tersebut, satu jawaban dapat benar pada sebagian aspek dan salah pada aspek lain. Angka 66,7 persen tidak dapat dibaca sebagai pernyataan bahwa dua dari tiga pekerjaan laboratorium akan selesai dengan benar.
Selisih skor 66,7 dan 43,8 adalah 22,9 poin persentase. Ini perbandingan hasil pada pengaturan evaluasi yang disebutkan, bukan ukuran penghematan waktu atau peningkatan hasil penelitian. Menghubungkan skor tersebut dengan manfaat operasional memerlukan pemeriksaan yang lebih dekat dengan tugas nyata.
Sebagai ilustrasi membaca rubrik, jawaban bisa memperoleh kredit karena mengenali objek pada gambar, tetapi kehilangan kredit karena melewatkan alasan mengapa datanya tidak cukup. Rincian seperti ini membantu pembaca memahami kemajuan model tanpa menganggap satu skor merangkum semua keterampilannya.
Mengapa bahan mentah menimbulkan tantangan berbeda
Data yang sudah dipilih untuk sebuah artikel ilmiah sering disertai penjelasan dan konteks. Data mentah dapat mengandung hasil yang tidak jelas atau pengamatan yang bertentangan. Karena itu, menilai AI dari bahan mentah membawa pertanyaan tentang apa yang terlihat, apa yang tidak tercatat, dan informasi pendukung apa yang diperlukan.
Contoh kesalahan penghitungan koloni dalam laporan menunjukkan bahwa penjelasan yang terdengar meyakinkan masih dapat bertumpu pada pembacaan gambar yang keliru. Untuk menilai suatu klaim kemampuan, contoh kegagalan perlu mendapat perhatian yang sama dengan contoh keberhasilan.
Bagi mahasiswa yang membaca berita sains, kebiasaan yang berguna adalah mencari hubungan antara pertanyaan, data, dan kesimpulan. Bila gambar tidak cukup jelas atau kondisi pembanding tidak diketahui, jawaban yang mengakui keterbatasan dapat lebih tepat daripada jawaban rinci yang memaksakan kesimpulan.
Apa yang belum dapat disimpulkan dari benchmark
Seratus tugas memberi lingkup pengukuran yang terdefinisi, tetapi tidak mewakili setiap alat, bahan, dan keputusan di laboratorium. Skor juga tidak menjawab apakah model akan menyatakan tingkat ketidakpastian dengan tepat pada semua situasi yang belum pernah dilihatnya.
Organisasi yang mempertimbangkan bantuan AI perlu memetakan bagian pekerjaan yang akan dibantu: merapikan data, menandai kemungkinan masalah, atau menyiapkan ringkasan untuk peneliti. Setiap bagian membutuhkan cara pemeriksaan yang sesuai. Hasil model yang masih berupa saran tidak dapat diperlakukan sama dengan keputusan eksperimen yang sudah disetujui.
Nalarku membaca laporan ini sebagai bukti perkembangan pada tugas tertentu. Perbaikan berikutnya perlu dinilai bersama contoh kesalahan, cara pemberian nilai, dan evaluasi pada lingkungan yang berbeda. Pembaca tetap dapat melihat kemajuan tanpa mengubahnya menjadi janji bahwa penilaian peneliti sudah dapat digantikan.
Sumber dan referensi
Informasi berasal dari penerbit. Nalarku independen dan tidak mewakili perusahaan tersebut.
Naskah diperbarui 8 November 2026 pukul 19.21 WIB. Tanggal terbit pertama dipertahankan.
Proses editorial dan penggunaan AI · Hubungi Nalarku untuk koreksi
