Angka ini keluar dari paper berjudul Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D. yang dirilis 6 Agustus 2026, barengan sama pembukaan Off-by-1 Labs sebagai tim riset khusus 1Password. Buat kamu yang selama ini mikir “ah, tinggal kasih CVE ke AI, nanti dia beresin sendiri”, hasil riset ini kayak tamparan halus: teknologi-nya belum siap dipasang autopilot penuh.

Apa yang Sebenarnya Diuji dalam Riset Patch Keamanan AI Ini?

Off-by-1 Labs ngambil enam CVE yang baru di-disclose di software open source, terus nyuruh dua model frontier — ChatGPT 5.5 dengan setting effort “medium” dan Claude Opus 4.8 dengan setting “high” — buat bikin patch-nya. Totalnya 6.080 patch digenerate, dengan 540 patch per model per kerentanan. Setiap patch dibuat dalam grup 20 dengan kombinasi tiga konfigurasi environment dan sembilan template prompt yang beda-beda.

Kenapa milih CVE yang baru diumumkan? Karena timnya sengaja mau mastiin kerentanan dan patch aslinya belum masuk data training model. Dengan begitu, hasilnya nggak “nyontek” dari ingatan model, tapi bener-bener ngukur kemampuan reasoning-nya. Hipotesis awal mereka malah optimis, target sukses di atas 67 persen. Realitanya jauh dari itu.

Hasilnya: Patch Keamanan AI Cuma 26 Persen yang Bersih

Dari semua patch yang dihasilkan, hasilnya dibagi ke lima skenario:

• S1 — Fix lengkap tanpa ngubah perilaku aplikasi: 26,0 persen. Ini satu-satunya hasil yang bener-bener memuaskan.
• S2 — Fix lengkap tapi ngubah perilaku aplikasi: 20,1 persen. Contohnya, model ngubah logika “allow list” jadi “deny list” atau nulis ulang parser file. Fungsionalitasnya bisa beda walau celahnya ketutup.
• S3 — Nggak nutup celah sama sekali: 49,3 persen. Hampir separuh patch gagal nyelesein minimal satu jalur exploit yang ada.
• S4 — Nutup celah lama tapi nambah celah baru: 2,3 persen.
• S5 — Nggak nutup celah lama dan nambah celah baru: 2,2 persen.

Kalau digabung, skenario S3 sampai S5 — yang artinya patch-nya gagal, nambah masalah, atau dua-duanya — totalnya 53,9 persen. Tim 1Password nyebut fenomena ini FLAWED, kependekan dari Fix-Like Artifacts With Embedded Defects. Jadi jangan heran kalau kamu denger istilah itu mampir di timeline kamu akhir-akhir ini.

Patch yang “Berhasil” Pun Sering Rapuh

Yang lebih bikin khawatir: bahkan patch yang masuk kategori berhasil (S1 dan S2) pun lebih dari sepertiganya dinilai fragile. Maksudnya, patch-nya cuma ngeblokir input spesifik yang dipakai di proof-of-concept, bukan ngilangin akar masalahnya. Contoh paling gampang dari riset ini: pas disuruh patch CVE SpringAI, dua-duanya model sering cuma nge-escape karakter tertentu dari input user. Celahnya sih ketutup buat serangan yang udah dikenal, tapi akar masalahnya tetep ada. Begitu ada input lain yang nyampe ke kode itu, vulnerability-nya bisa muncul lagi.

Ini penting banget buat dipahami. Patch yang kelihatan “sukses” di tes cepat belum tentu aman di dunia nyata. Bedanya sama patch buatan manusia: developer yang ngerjain langsung biasanya mikir lebih dalam soal kenapa celah itu ada, bukan cuma gimana caranya ngeblokir serangan yang udah kelihatan.

Panduan Itu Penting, Tapi Bisa Juga Nyasarin

Satu temuan menarik dari riset ini: kualitas patch AI sangat tergantung sama arahan awal yang dikasih. Kalau model dikasih panduan yang benar, tingkat keberhasilannya naik ke 65 persen. Tanpa panduan sama sekali, turun ke 50,4 persen. Tapi kalau panduannya salah? Jeblok ke 15,2 persen. Model AI cenderung “kecebur” ngikutin instruksi yang menyesatkan, sementara developer manusia biasanya bisa nangkep kalau ada informasi yang keliru pas lagi mikirin kode.

Artinya, prompt engineering bukan cuma soal bikin AI keliatan pintar. Dalam konteks keamanan, arahan yang salah bisa bikin AI ngehasilin patch yang bahaya tanpa sadar. Buat tim yang lagi eksperimen pake AI buat bantu security, ini sinyal buat ekstra hati-hati sama sumber panduannya.

Soal Biaya: Murah di Atas Kertas, Mahal di Praktik

Di atas kertas, patch buatan AI emang murah. Biaya inference buat satu percobaan patch plus validasi rata-rata cuma 2,11 dolar AS buat ChatGPT 5.5 dan 2,81 dolar AS buat Claude Opus 4.8. Kalau dihitung rata-rata, ongkos buat dapet satu patch keamanan AI yang bener-bener bersih cuma sekitar 6,74 dolar AS, udah termasuk semua percobaan yang gagal.

Tapi penelitinya ngasih catatan penting: biaya tersembunyinya ada di review. Nge-review tumpukan patch yang mayoritas salah, mirip-mirip tapi beda tipis, bisa makan waktu dan tenaga engineer lebih banyak daripada kalau mereka nulis patchnya sendiri dengan bantuan AI biasa. Keith Hoodlet, director of security research 1Password, nyebut kalau “cognitive surrender” ke proses dengan tingkat sukses cuma 1 banding 4 itu risiko jangka panjang yang serius buat organisasi mana pun.

Baca juga: Peretasan Wi-Fi Hotel CaptiveCrunch: Hacker Rusia Curi Akun Microsoft 365

Kenapa Ini Jadi Sorotan di Black Hat 2026?

Riset ini dirilis pas musim Black Hat USA 2026, event keamanan terbesar tahun ini, jadi langsung kebaca sama ribuan praktisi keamanan. Konteksnya juga lagi panas: Anthropic baru aja bikin heboh sama Project Glasswing yang nemuin banyak vulnerability pake AI, dan OpenAI meluncurkan Project Daybreak bareng partner-partnernya dengan tagline “Patch the Planet”. Semua orang lagi balapan pake AI buat nemuin dan nutup celah.

Nah, riset 1Password ini ngingetin kita: nemuin celah itu satu hal, nutup celah dengan bener itu hal lain. Balapan di sisi penemuan vulnerability nggak ada artinya kalau sisi perbaikannya masih sering meleset kayak gini. Anthropic sendiri, yang sempat ngasih masukan buat riset ini, ngaku kalau patch generation udah ninggalin patch verification jauh di belakang. Solusinya menurut mereka: verification harus execution-grounded, bukan cuma dilihat manual, dan domain expert tetap jadi reviewer terakhir.

Terus, Kita Ngapain Dong?

Jangan salah paham dulu. Bukan berarti AI nggak berguna buat keamanan. Justru sebaliknya: buat bantu-bantu, AI tuh hebat. Bedanya di level otonomi. Riset ini jelas-jelas nunjukin kalau patch AI paling oke dipake sebagai draft awal atau second opinion, bukan hasil akhir yang langsung di-deploy tanpa dilihat.

1Password juga ngeluarin tooling evaluasi patch gratis yang namanya FLAWED harness, plus dataset lengkap patch-patch hasil risetnya. Buat tim yang penasaran seberapa andal AI di codebase mereka sendiri, mereka nyaranin buat nyobain tool itu dulu di vulnerability yang patch aslinya udah ada. Hasilnya bisa jadi indikator awal di mana manusia masih paling dibutuhin, dan bagian mana dari codebase yang emang nggak cocok buat AI kerjain sendirian.

Kesimpulan

Pesan utama riset ini sebenernya simpel: patch keamanan AI masih butuh pengawasan manusia, dan klaim “biarin AI aja yang beresin” itu terlalu dini. Di dunia keamanan, attacker cuma perlu bener sekali, sementara defender harus bener 100 persen. Dengan tingkat keberhasilan 26 persen, kita belum bisa nyerahin sisi pertahanan itu sepenuhnya ke model. Buat sekarang, posisi terbaik AI adalah asisten yang rajin, bukan pengganti engineer keamanan.

Baca juga: Aplikasi Android Bocorkan Data Lokasi ke Pengiklan: Temuan EFF soal SDK Iklan

FAQ Seputar Patch Keamanan AI

Apakah patch buatan AI selalu berbahaya?
Nggak selalu. Riset 1Password nemuin 26 persen patch keamanan AI berhasil bersih. Masalahnya bukan di “selalu gagal”, tapi di ketidakpastiannya: kamu nggak bisa tahu patch mana yang aman tanpa review mendalam.

Kenapa tingkat keberhasilan patch AI rendah?
Karena model cenderung ngepatch gejala, bukan akar masalah. Mereka juga gampang kecebur kalau dikasih panduan yang salah, dan sering ngubah perilaku aplikasi tanpa sadar.

Apakah AI tetap berguna buat keamanan siber?
Tetap berguna banget, terutama buat discovery vulnerability dan draft patch awal. Yang penting jangan dibiarin jalan sendiri tanpa pengawasan engineer.

Di mana bisa lihat riset lengkapnya?
Paper, dataset, dan tooling FLAWED dirilis gratis oleh 1Password lewat blog resmi mereka. Link-nya ada di bagian Sumber di bawah.

Sumber

1Password Blog — Off-by-1 Labs: Why AI-generated vulnerability patches still require expert human review
The Register — AI struggles to patch vulns without adult supervision