Robots.txt Kini Bisa Blokir AI Google dan OpenAI Sekaligus

Pemilik website sekarang cukup menulis satu aturan di robots.txt untuk menolak kontennya dipakai melatih AI milik Google, OpenAI, Microsoft, dan Anthropic. Keempat perusahaan itu menyatakan dukungan pada 30 Oktober 2026 untuk sebuah policy token baru bernama __usage_ai-training. Selama ini, penolakan harus ditulis satu per satu untuk setiap bot, misalnya Google-Extended, GPTBot, dan ClaudeBot.

Aturan ini belum langsung aktif hari ini. Microsoft mulai membacanya pada 1 Februari 2027, Google menargetkan awal 2027, OpenAI menyebut "dalam beberapa bulan ke depan", sedangkan Anthropic mengaku sudah mulai membangun dukungannya tanpa menyebut tanggal. Yang penting, aturan ini tidak mengubah peringkat di Google Search maupun Bing.

Artikel ini akan menjelaskan isi aturan robots.txt baru tersebut, cara memasangnya di blog atau website, perbedaannya dengan cara lama, jadwal tiap perusahaan, serta apa artinya untuk blogger, media online, dan pemilik toko online di Indonesia.

Isi aturan robots.txt baru untuk AI

Robots.txt adalah file teks kecil di akar domain (contohnya mughu.id/robots.txt) yang memberi tahu bot mana yang boleh membuka halaman apa. Aturan barunya memakai format robots.txt biasa, hanya saja baris User-Agent tidak berisi nama bot, tetapi nama "kebijakan" khusus untuk pelatihan AI.

Contoh resmi dari draf spesifikasinya terlihat seperti ini:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Artinya cukup sederhana:

1. User-Agent: __usage_ai-training menandai bahwa grup aturan ini khusus membahas penggunaan konten untuk melatih AI generatif.
2. Disallow: / berarti seluruh situs tidak boleh dipakai untuk pelatihan AI.
3. Allow: /press-kit/ memberi pengecualian, sehingga folder tertentu tetap boleh dipakai. Ini berguna untuk siaran pers atau materi promosi yang memang ingin disebarkan.

Pencocokan path mengikuti aturan RFC 9309, standar Robots Exclusion Protocol yang diterbitkan IETF pada September 2022. Jadi aturan yang paling spesifik (path paling panjang) yang menang, sama seperti robots.txt yang sudah biasa dipakai.

Catatan: Token ini adalah pernyataan preferensi, bukan larangan merayapi halaman. Bot tetap boleh membuka halaman untuk keperluan lain, misalnya pencarian. Yang ditolak hanya penggunaan konten untuk melatih model AI.

Siapa saja yang ikut dan kapan berlaku

Usulan ini ditulis oleh Kevin Kelley, technical lead untuk standar di Anthropic, dan dibahas di kelompok kerja AIPREF milik IETF. Datatracker IETF mencatatnya sebagai individual submission, sehingga belum menjadi standar resmi. Meski begitu, empat pemain AI terbesar sudah berjanji menghormatinya.

Berikut ringkasan jadwal dan sikap masing-masing perusahaan:

OpenAI menegaskan bahwa sinyal baru ini tidak menggantikan kontrol robots.txt yang sudah ada. Perusahaan itu juga meminta penyedia AI lain ikut menghormatinya. Anthropic menyebut aturan ini melengkapi tiga bot miliknya: ClaudeBot untuk mengumpulkan konten yang bisa dipakai pelatihan, Claude-User untuk mengambil halaman saat pengguna bertanya ke Claude, dan Claude-SearchBot untuk hasil pencarian.

Peringatan: Aturan ini hanya berlaku untuk perayapan ke depan. Konten yang sudah telanjur diambil sebelumnya tidak bisa ditarik kembali lewat robots.txt.

Bedanya dengan cara lama memblokir bot AI

Sebelum ada token ini, pemilik situs harus tahu nama bot pelatihan dari setiap perusahaan, lalu menulis aturan terpisah. Daftarnya terus bertambah dan namanya sering berbeda-beda, sehingga mudah ada yang terlewat.

Perbandingannya kira-kira seperti ini:

• Cara lama: menulis grup terpisah untuk Google-Extended, GPTBot, ClaudeBot, dan bot lain satu per satu.
• Cara baru: satu grup __usage_ai-training dibaca oleh semua penyedia yang ikut.
• Microsoft: selama ini memakai tag NoArchive dan NoCache sejak 2023. Tag itu akan digantikan oleh preferensi baru, dan mulai 1 Maret 2027 tidak lagi dihitung sebagai preferensi pelatihan atau grounding.

Google punya aturan pengecualian yang perlu dipahami. Kalau situs memakai token baru tetapi tidak menulis baris Google-Extended sendiri, Google akan menganggapnya sebagai blokir Google-Extended, yaitu crawler untuk melatih Gemini. Sebaliknya, kalau situs menulis izin eksplisit untuk Google-Extended, Google mengikuti izin itu.

User-Agent: __usage_ai-training
Disallow: /

User-Agent: Google-Extended
Allow: /

Dengan contoh di atas, penyedia lain akan membaca penolakan pelatihan, sementara Google tetap memakai izin Google-Extended untuk Gemini. Kombinasi ini cocok buat yang ingin tetap muncul di jawaban Gemini, tetapi menolak AI lain.

Pengaruhnya ke SEO dan jawaban AI

Pertanyaan pertama yang biasanya muncul adalah apakah blokir AI akan membuat ranking turun. Jawaban dari Google dan Microsoft sama: peringkat di Google Search dan Bing tidak terpengaruh. Token ini tidak menghentikan Googlebot atau Bingbot merayapi halaman untuk indeks pencarian.

Namun ada efek samping di jawaban AI yang perlu dipertimbangkan:

1. Gemini: Search Advocate Google, John Mueller, menulis bahwa situs yang mengizinkan Google-Extended bisa muncul di jawaban aplikasi Gemini dan mendapat klik. Kalau Google-Extended ikut terblokir lewat token baru, peluang itu ikut hilang.
2. Copilot dan Bing: Microsoft menambahkan pengaturan per halaman untuk grounding, yaitu saat jawaban AI mengambil isi halaman web secara langsung. Microsoft mengingatkan bahwa memblokir grounding "akan sangat mengurangi visibilitas konten" di jawaban AI.
3. Lisensi: Microsoft menegaskan preferensi ini tidak membentuk perjanjian lisensi atau pembayaran. Jadi, menolak pelatihan tidak otomatis berarti dapat bayaran.

Untuk pengaturan grounding, Microsoft memberi tiga pilihan per halaman: izinkan, tolak, atau izinkan hanya untuk produk Microsoft sendiri seperti Copilot. Opsi terakhir menolak layanan grounding yang dijual Microsoft ke perusahaan lain. Kedua pengaturan, pelatihan dan grounding, secara default diizinkan.

Tips: Kalau trafik dari Bing Copilot atau jawaban AI sudah lumayan, pertimbangkan untuk hanya menolak pelatihan dan tetap mengizinkan grounding.

Buat blogger dan pemilik website di Indonesia

Banyak blogger AdSense, media online lokal, dan pemilik toko online di Indonesia mulai khawatir artikelnya diambil AI lalu dijawab langsung tanpa klik. Token baru ini memberi satu tombol sederhana untuk menyatakan sikap, tanpa perlu menghafal belasan nama bot.

Baca juga Copilot Hilang dari TV Samsung dan LG Mulai 1 Desember

Beberapa hal praktis yang relevan di sini:

• WordPress: robots.txt bisa diedit lewat plugin SEO yang sudah umum dipakai, seperti Rank Math atau Yoast, atau dengan mengunggah file robots.txt ke folder utama hosting.
• Blogger (Blogspot): tersedia opsi robots.txt kustom di pengaturan crawler dan pengindeksan, jadi grup baru bisa langsung ditambahkan di sana.
• Toko online dan UMKM: pertimbangkan membuka folder katalog atau halaman promo dengan Allow, karena produk yang muncul di jawaban AI justru bisa membawa pembeli.
• Media dan penulis: artikel berbayar atau eksklusif bisa ditolak, sementara siaran pers tetap dibuka, persis seperti contoh /press-kit/.

Tidak ada biaya apa pun untuk memasang aturan ini. Karena belum ada perusahaan yang benar-benar membacanya per 1 November 2026, memasangnya sekarang tidak merugikan dan akan otomatis berlaku saat dukungan aktif tahun depan.

Cara pasang aturan blokir AI di robots.txt

Langkah dasarnya sama untuk hampir semua jenis website. Yang berbeda hanya tempat mengedit file robots.txt.

1. Buka robots.txt yang sekarang dengan mengetik namadomain.com/robots.txt di browser. Simpan salinannya sebelum mengubah apa pun.
2. Tambahkan grup baru di bagian bawah file, jangan menimpa aturan untuk User-agent: * atau Googlebot yang sudah ada.
3. Tentukan folder yang boleh dipakai dengan baris Allow, misalnya /press-kit/ atau /promo/.
4. Putuskan sikap terhadap Gemini. Kalau ingin tetap muncul di jawaban Gemini, tambahkan grup User-Agent: Google-Extended dengan Allow: /.
5. Pertahankan aturan lama untuk GPTBot, ClaudeBot, atau Google-Extended jika sudah ada, karena OpenAI dan Anthropic menyatakan kontrol lama tetap berlaku.
6. Cek ulang file di browser dan pastikan tidak ada Disallow: / yang tidak sengaja masuk ke grup User-agent: *, karena itu bisa memblokir mesin pencari.

Contoh lengkap untuk blog yang menolak pelatihan AI tetapi tetap ingin diindeks normal:

User-agent: *
Allow: /

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Sitemap: https://namadomain.com/sitemap.xml

Hal yang masih belum jelas

Walaupun langkah ini disambut baik, ada beberapa catatan yang perlu diingat sebelum menganggapnya sebagai solusi tuntas.

• Belum standar resmi. Draf ini belum diadopsi IETF, sehingga isinya masih bisa berubah.
• Sukarela. Hanya penyedia yang berjanji yang akan menghormatinya. Bot dari perusahaan lain atau scraper liar tidak terikat.
• Perjanjian pribadi menang. Draf menyebut kesepakatan langsung antara situs dan perusahaan AI bisa mengesampingkan token ini.
• Tanpa grup, berarti tanpa preferensi. Situs yang tidak menulis grup __usage_ai-training dianggap belum menyatakan sikap, dan aturan User-agent: * tidak dihitung sebagai penolakan.

Bersamaan dengan kabar ini, Gary Illyes dari Google juga menyinggung makin banyaknya bot palsu yang mengaku Googlebot. Jadi, robots.txt tetap hanya satu lapis perlindungan. Untuk bot nakal, pengaturan di firewall atau layanan seperti Cloudflare tetap diperlukan.

Checklist

• Simpan salinan robots.txt lama sebelum mengedit
• Tambahkan grup User-Agent: __usage_ai-training dengan Disallow: /
• Buka folder yang boleh dipakai AI dengan Allow
• Putuskan apakah Google-Extended tetap diizinkan untuk Gemini
• Pertahankan aturan lama untuk GPTBot dan ClaudeBot
• Pastikan grup User-agent: * tidak memblokir mesin pencari

Poin penting

• Satu token __usage_ai-training kini didukung Google, OpenAI, Microsoft, dan Anthropic.
• Microsoft mulai 1 Februari 2027, Google awal 2027, OpenAI dalam beberapa bulan, Anthropic belum memberi tanggal.
• Ranking Google Search dan Bing tidak terpengaruh.
• Blokir bisa membuat situs hilang dari jawaban Gemini kalau Google-Extended tidak diizinkan.
• Konten yang sudah diambil sebelumnya tidak bisa ditarik kembali.

Referensi

1. Engadget (2026). Google Joins OpenAI and Anthropic in Promising New Scraping Controls
2. PPC Land (2026). Google, Microsoft, OpenAI and Anthropic back one AI training opt-out
3. The Next Web (2026). Google, Microsoft, OpenAI and Anthropic back one AI training opt-out
4. Search Engine Roundtable (2026). Google Also Adopts New AI Training Control
5. Infoseely (2026). AI training opt-out rules compared across four providers
6. Riksi (2026). One AI training opt-out for Google and OpenAI, plus Claude Ultra
7. Google Search Central (2026). Google's common crawlers documentation
8. OpenAI (2026). Overview of OpenAI crawlers
9. IETF Datatracker (2026). AIPREF vocabulary and robots.txt attachment drafts
10. IETF (2022). RFC 9309: Robots Exclusion Protocol