Para peneliti dari Departemen Ilmu Komputer Federal Institute of Minas Gerais, Brasil, baru saja merampungkan studi terhadap 532.000 file untuk membangun dataset 100 proyek open-source populer yang berisi file AGENTS.md atau CLAUDE.md. Hasilnya mencengangkan: praktik penulisan instruksi yang buruk sangat meluas. Dalam makalah pracetak berjudul “Configuration Smells in AGENTS.md Files: Common Mistakes in Configuring Coding Agents,” mereka mengidentifikasi enam kategori utama “bau” konfigurasi.
Jenis paling umum adalah Lint Leakage, yang ditemukan di 62 persen file. Ini terjadi ketika instruksi dalam AGENTS.md mengulangi aturan yang sudah otomatis diperiksa oleh linter, format checker, dan alat analisis statis. “Aturan duplikatif menyia-nyiakan token karena membebani model dengan panduan untuk tugas yang sudah ditangani alat pemrograman secara andal,” tulis para penulis makalah.
Peringkat kedua adalah Context Bloat (42 persen), yaitu kecenderungan pengembang untuk menspesifikasikan perilaku agent secara berlebihan. Anthropic sendiri merekomendasikan maksimal 200 baris teks. “File konfigurasi yang buncit meningkatkan konsumsi token, menaikkan biaya, dan mengurangi visibilitas instruksi penting,” catat para peneliti.
Skill Leakage menimpa 35 persen file. Ini terjadi ketika alat atau praktik yang jarang digunakan ditambahkan ke AGENTS.md, yang otomatis dimuat di setiap sesi agent. Peneliti menyarankan instruksi semacam itu dipindahkan ke file SKILLS.md terpisah yang hanya dimuat saat dibutuhkan. Tiga bau lainnya meliputi Blind References (referensi ke dokumen eksternal tanpa penjelasan relevansi), Init Fossilization (konfigurasi awal proyek yang sudah usang), dan Conflicting Instructions (arahan yang saling bertentangan).
Temuan ini sejalan dengan riset ETH Zurich beberapa bulan lalu. Studi PDF mereka menunjukkan bahwa instruksi buatan pengembang hanya meningkatkan performa kode sekitar 4 persen, namun justru menaikkan biaya. Lebih buruk lagi, instruksi yang dihasilkan oleh LLM (large language model) berdampak negatif 3 persen terhadap kualitas kode. “Persyaratan yang tidak perlu dari file konteks membuat tugas lebih sulit, dan file konteks buatan manusia seharusnya hanya mendeskripsikan persyaratan minimal,” simpul peneliti ETH Zurich.
Pesan dari kedua riset ini jelas: dalam urusan instruksi coding agent, less is more. Bahkan, tidak memiliki file konfigurasi sama sekali mungkin lebih baik daripada memiliki file yang penuh dengan instruksi yang tidak relevan dan boros token.