Cara Memblokir AI Crawler Penyebab Website Lemot dan Boros

Kamu mungkin sudah sering mendengar tentang AI crawler, terutama jika kamu seorang pemilik situs web yang peduli dengan kecepatan dan kinerja website. Namun, apakah kamu tahu bahwa AI crawler bisa menjadi salah satu penyebab website kamu lemot dan boros bandwidth? Yap, meskipun AI crawler memiliki banyak kegunaan, mereka juga dapat memberikan dampak negatif yang cukup besar jika tidak dikendalikan dengan benar.

Dalam artikel ini, kita akan membahas cara memblokir AI crawler agar website kamu tetap ringan dan cepat. Kami juga akan membagikan beberapa metode yang bisa kamu terapkan untuk memastikan bahwa website kamu hanya diakses oleh pengunjung yang benar-benar relevan, bukan bot yang menghabiskan sumber daya. 

Apa Itu AI Crawler?

AI Crawler adalah bot atau program otomatis yang mengunjungi situs web untuk mengumpulkan data. Biasanya, bot ini digunakan untuk melatih model-model AI seperti chatbots atau alat pencarian AI lainnya. Namun, masalah utama muncul ketika AI crawlers mengakses website terlalu sering atau dalam jumlah yang sangat besar. AI crawlers seperti GPTBot, Applebot, dan banyak lainnya dapat memakan banyak bandwidth dan memperlambat situs kamu. Mereka dapat mengakses konten secara masif dan menggunakannya untuk melatih AI, tetapi tanpa memberikan kontribusi yang berarti bagi situs itu sendiri. Bahkan lebih buruk, mereka bisa mempengaruhi pengalaman pengguna karena memperlambat waktu muat halaman. Untuk menghindari dampak buruk dari AI crawler, ada beberapa cara memblokir AI crawler yang bisa kamu terapkan.

Mengapa AI Crawler Bisa Membuat Website Lemot dan Boros?

AI crawler dapat menyebabkan website kamu lemot dan boros karena beberapa alasan utama. Berikut ini adalah beberapa faktor yang membuat AI crawler menjadi masalah bagi kinerja dan efisiensi situs kamu:

• Pemakaian Bandwidth yang Tidak Efisien – AI crawlers mengunjungi berbagai halaman di situs kamu tanpa henti untuk mengumpulkan data. Setiap kali bot ini mengakses halaman, mereka memerlukan bandwidth yang cukup besar. Jika website kamu mendapat banyak trafik dari AI crawlers, maka bisa mengurangi bandwidth yang tersedia untuk pengunjung. Akibatnya, pengguna  yang mencoba mengakses situs bisa merasakan loading yang sangat lambat, bahkan terkadang gagal untuk membuka halaman sama sekali. Cara memblokir AI crawler untuk mengatasi masalah ini adalah dengan menggunakan robots.txt, di mana kamu bisa menentukan bot mana yang diizinkan untuk mengakses situsmu.
• Peningkatan Beban Server – Setiap permintaan yang dibuat oleh crawler memerlukan pemrosesan dari server kamu. Ketika terlalu banyak crawler mengakses situs secara bersamaan, server kamu akan terbebani dan dapat menyebabkan waktu muat halaman yang lambat. Ini akan berdampak buruk pada pengalaman pengguna, yang pada gilirannya bisa menurunkan peringkat SEO website kamu. Jika server terus-menerus kesulitan menangani permintaan ini, bisa terjadi downtime atau kesalahan lain yang lebih serius yang mengganggu aksesibilitas situs. Untuk menghindari beban server yang berlebihan, cara memblokir AI crawler yang mengakses situs dengan terlalu sering adalah dengan memanfaatkan firewall atau menggunakan WAF (Web Application Firewall).
• Mengurangi Kinerja Situs – Ketika server sibuk mengelola permintaan dari bot, pengunjung yang mencoba mengakses situs akan merasakan penurunan kinerja. Hal ini bisa menyebabkan pengunjung meninggalkan situs lebih cepat (bounce rate tinggi), yang tentu saja memengaruhi posisi situs kamu di hasil pencarian Google. Waktu muat yang lambat bisa mempengaruhi kesan pertama pengunjung, dan pengalaman buruk ini akan memicu pengunjung untuk tidak kembali, yang berdampak pada retensi dan trafik jangka panjang situs. Cara memblokir AI crawler yang mengganggu kinerja situs adalah dengan menggunakan CDN (Content Delivery Network) yang dapat memfilter dan membatasi lalu lintas dari AI crawlers.

Apa Saja Jenis AI Crawler yang Sering Mengakses Website?

Ada berbagai macam AI crawler yang sering mengakses situs web. Crawler-crawler ini dirancang untuk mengumpulkan data dari situs dan menggunakannya untuk melatih model kecerdasan buatan (AI) atau untuk tujuan lain seperti meningkatkan kualitas pencarian atau fitur AI. Beberapa AI crawler digunakan oleh perusahaan besar untuk memperkaya sistem mereka, sedangkan yang lainnya mungkin hanya untuk tujuan penelitian atau pengembangan. Tidak semua AI crawler ini memberikan manfaat langsung bagi pemilik situs, karena mereka dapat memakan bandwidth dan memperlambat kinerja website. Berikut adalah beberapa jenis AI crawler yang paling umum, serta cara memblokir AI crawler untuk masing-masing jenis:

1. GPTBot (OpenAI)

GPTBot adalah crawler yang digunakan oleh OpenAI untuk mengumpulkan data dari situs web guna melatih model bahasa mereka, seperti GPT yang digunakan dalam ChatGPT. GPTBot dirancang untuk mengumpulkan sejumlah besar teks dan informasi dari berbagai sumber untuk meningkatkan kemampuan model AI dalam memahami dan merespons percakapan manusia. Meski digunakan untuk tujuan yang bermanfaat, banyak situs memilih untuk memblokir GPTBot karena volumenya yang besar dapat mengganggu kinerja situs. Cara memblokir AI crawler seperti GPTBot bisa dilakukan dengan menambahkan aturan di robots.txt, seperti berikut:

2. Applebot

Applebot adalah crawler milik Apple, yang digunakan untuk mengumpulkan data yang berguna bagi berbagai produk Apple, seperti Siri dan fitur pencarian di perangkat Apple lainnya. Crawler ini mengindeks dan memperbarui informasi yang digunakan untuk memberikan hasil pencarian dan rekomendasi kepada pengguna perangkat Apple. Meski Applebot penting bagi layanan Apple, beberapa pemilik situs memilih untuk membatasi aksesnya agar tidak membebani bandwidth dan sumber daya server mereka. Cara memblokir AI crawler seperti Applebot adalah dengan menambahkan entri berikut di robots.txt:

3. Google-Extended

Google-Extended adalah crawler yang digunakan oleh Google untuk mengakses data yang digunakan dalam produk-produk AI mereka, seperti Gemini dan Vertex AI. Google-Extended mengumpulkan konten untuk memperkaya pengalaman pencarian AI dan meningkatkan kualitas hasil pencarian yang diberikan oleh Google. Meskipun ini membantu dalam pengembangan AI, beberapa situs memilih untuk memblokir crawler ini agar mencegah pengumpulan data secara berlebihan yang bisa mengganggu kecepatan dan sumber daya server mereka.

Untuk memblokir AI crawler seperti Google-Extended, kamu bisa menambahkan aturan berikut di robots.txt:

4. Bytespider

Bytespider adalah crawler yang digunakan oleh ByteDance, perusahaan induk dari TikTok, untuk mengumpulkan data dari berbagai situs web. Data yang dikumpulkan digunakan untuk berbagai tujuan, termasuk analisis dan pengembangan fitur AI TikTok. Bytespider dapat mengakses konten dari situs dalam jumlah besar dan sering kali digunakan untuk melatih algoritma TikTok dalam rekomendasi konten. Namun, seperti crawler lainnya, akses yang terus-menerus oleh Bytespider bisa membebani bandwidth dan mengurangi kinerja situs.

Untuk memblokir AI crawler seperti Bytespider, kamu bisa menambahkan aturan di robots.txt:

Cara Memblokir AI Crawler: 4 Metode Efektif

Ada beberapa cara memblokir AI crawler yang bisa kamu terapkan untuk menghindari crawler yang tidak diinginkan mengakses situs kamu. Berikut adalah empat metode yang bisa kamu pilih sesuai dengan kebutuhan dan tingkat kontrol yang kamu inginkan:

Metode 1: Menggunakan Robots.txt (Metode Manual)

Salah satu cara memblokir AI crawler yang paling sederhana adalah dengan menggunakan robots.txt. Robots.txt adalah file yang memberi petunjuk kepada crawler tentang bagian mana dari situs yang boleh atau tidak boleh mereka akses. Dengan menggunakan robots.txt, kamu bisa menambahkan aturan untuk memblokir crawler tertentu yang mengakses situs kamu secara tidak diinginkan.

Kamu bisa menambahkan aturan di file ini untuk mengarahkan bot agar tidak mengakses bagian tertentu dari website kamu, atau bahkan memblokir seluruh akses dari crawler tertentu. Misalnya, jika kamu ingin memblokir AI crawler seperti GPTBot atau Applebot, kamu cukup menambahkan aturan berikut di robots.txt:

Dengan menambahkan aturan di atas, GPTBot (crawler milik OpenAI) tidak akan bisa mengakses halaman situs kamu. Kamu bisa menambahkan lebih banyak aturan untuk memblokir crawler lain, seperti ClaudeBot, Applebot, atau Google-Extended, dengan mengganti nama bot pada bagian User-agent.

Cara Menambahkan Robots.txt dengan FileZilla

Setelah kamu membuat atau mengedit robots.txt, langkah berikutnya adalah mengunggah file tersebut ke server menggunakan FileZilla. Ini adalah bagian dari cara memblokir AI crawler yang efektif dan mudah dilakukan. Berikut adalah langkah-langkah untuk menambahkan file robots.txt dengan FileZilla:

1. Hubungkan FileZilla ke Situs Kamu

Buka aplikasi FileZilla dan masukkan informasi login FTP (seperti host, username, password, dan port) yang bisa kamu dapatkan di dashboard hosting kamu. Jika kamu menggunakan VPS Murah dari DomaiNesia. Setelah memasukkan informasi dengan benar, klik Quickconnect dan FileZilla akan terhubung ke file sistem situsmu.

2. Masuk ke Folder Utama Website (Root Directory)

Setelah berhasil terhubung, cari folder bernama public_html atau bisa juga dengan nama domain kamu. Ini adalah tempat di mana robots.txt harus ditempatkan. Folder ini adalah root directory yang diakses oleh crawler dan pengunjung situs. Pastikan robots.txt diletakkan di lokasi yang tepat agar AI crawlers dapat membacanya.

3. Buat atau Edit File robots.txt

Jika kamu belum memiliki robots.txt, klik kanan di area kosong dan pilih Create new file. Beri nama file tersebut robots.txt. Jika file sudah ada, cukup klik kanan dan pilih View/Edit untuk membuka dan mengeditnya.

4. Tambahkan Aturan Blokir Bot

Buka file robots.txt dengan editor teks sederhana seperti Notepad. Setelah itu, tambahkan aturan untuk memblokir crawler tertentu, seperti ini:

Selain GPTBot, kamu bisa menambahkan aturan untuk memblokir bot lainnya seperti ClaudeBot, Applebot, atau Google-Extended dengan mengganti nama bot di bagian User-agent.

5. Simpan dan Unggah Kembali ke Server

Setelah menambahkan aturan, simpan perubahan file dan kembali ke FileZilla. Klik Yes saat muncul prompt untuk mengunggah file yang telah diperbarui ke server.

6. Cek Apakah File Sudah Aktif

Untuk memastikan file robots.txt sudah aktif, buka browser dan ketikkan URL berikut (ganti dengan domain situs kamu):

Jika file muncul sesuai dengan aturan yang sudah kamu tambahkan, maka kamu berhasil menerapkan cara memblokir AI crawler menggunakan robots.txt dengan bantuan FileZilla.

Metode 2: Menggunakan Firewall untuk Memblokir IP Crawler

Jika kamu ingin kontrol lebih lanjut, cara memblokir AI crawler bisa dilakukan dengan menggunakan firewall. Firewall memungkinkan kamu untuk memblokir akses dari IP tertentu yang dikenal digunakan oleh AI crawlers. Ini memberikan kontrol lebih besar atas siapa yang dapat mengakses situs kamu, dan membatasi akses dari bot yang tidak diinginkan.

Ini adalah metode yang lebih efektif jika AI crawler mengakses situs dengan menggunakan IP tetap. Meskipun bot dapat mengganti IP mereka, banyak AI crawler yang tidak merotasi IP mereka secara dinamis. Jadi, dengan firewall, kamu bisa mengidentifikasi dan memblokir IP address tertentu yang sering digunakan oleh bot, yang dapat membantu mengurangi beban server dan meningkatkan kecepatan situs.

Selain itu, kamu juga bisa mengatur firewall untuk memicu CAPTCHA atau meminta verifikasi tambahan bagi pengunjung yang mencurigakan. Ini akan memastikan bahwa hanya pengguna manusia yang dapat mengakses situs kamu, sementara bot dan crawler lainnya akan terhalang. Dengan firewall, cara memblokir AI crawler menjadi lebih terkontrol dan efektif, melindungi situs dari ancaman bot yang dapat merusak kinerja dan keamanan website kamu.

Metode 3: Menggunakan CDN (Opsi Otomatis)

Cara memblokir AI crawler yang cukup otomatis adalah dengan menggunakan Content Delivery Network (CDN) seperti Cloudflare. CDN tidak hanya membantu mempercepat situs kamu dengan mendistribusikan konten ke server yang lebih dekat dengan pengunjung, tetapi juga menawarkan perlindungan terhadap bot-bot berbahaya melalui fitur seperti Bot Fight Mode dan AI Scrapers and Crawlers Blocker.

Dengan menggunakan Cloudflare, kamu dapat secara otomatis mengidentifikasi dan memblokir AI crawler yang mengakses situs kamu tanpa perlu konfigurasi manual yang rumit. Cloudflare akan secara cerdas memfilter lalu lintas yang masuk, memastikan bahwa hanya pengunjung yang sah yang bisa mengakses situs kamu. Cukup aktifkan pengaturan bot protection di dashboard Cloudflare, dan mereka akan menangani sisanya, termasuk memblokir bot berbahaya yang mencoba mengakses konten situs kamu.

Metode 4: Menggunakan WAF (Web Application Firewall)

WAF bekerja di belakang layar untuk menyaring lalu lintas yang masuk dan mencegah bot-bot berbahaya, termasuk AI crawler, sebelum mereka mencapai server kamu.

WAF menggunakan berbagai teknik untuk mengidentifikasi bot, termasuk analisis perilaku dan verifikasi tambahan untuk memastikan bahwa pengunjung yang mengakses situs adalah manusia, bukan bot. Dengan menggunakan WAF, kamu tidak perlu khawatir tentang AI crawler yang mengganggu kinerja website kamu, karena semuanya akan ditangani secara otomatis tanpa intervensi manual dari kamu. Jadi, cara memblokir AI crawler menggunakan WAF memberikan perlindungan yang efektif dan menghemat waktu kamu.

Jaga Kecepatan dan Efisiensi Website

Cara memblokir AI crawler yang mengakses situs kamu adalah langkah penting untuk menjaga kecepatan dan efisiensi website. Dengan menggunakan metode seperti robots.txt, firewall, CDN, dan WAF, kamu dapat memblokir AI crawler yang memboroskan bandwidth dan memperlambat kinerja aplikasi kamu. Langkah-langkah ini sangat efektif untuk memastikan bahwa hanya pengunjung yang relevan yang dapat mengakses situs, sementara bot yang tidak diinginkan dibatasi aksesnya.

Dengan mengimplementasikan langkah-langkah tersebut, kamu bisa memastikan situs kamu tetap cepat, aman, dan terlindungi, tanpa terganggu oleh AI crawlers yang tidak diinginkan. Jadi, cara memblokir AI crawler secara tepat dapat memberikan kontrol lebih besar atas kinerja situs dan pengalaman.