2 Cara Tambahkan Robots.txt di WordPress (Manual & Plugin)

Judul – 2 Cara Tambahkan Robots.txt di WordPress (Manual & Plugin)
Hai DomaiNesians! Panduan ini akan membahas cara menambahkan robots.txt di WordPress untuk mengontrol crawler mesin pencari. Kita akan menjelajahi dua metode utama: manual dan menggunakan plugin, sehingga website lebih optimal dan terlindungi dari akses yang tidak diinginkan.

Mengapa Butuh Robots.txt?

Robots.txt adalah file teks sederhana yang memberikan instruksi kepada crawler mesin pencari tentang bagian website yang boleh atau tidak boleh diakses. File ini membantu mengarahkan bot untuk fokus pada konten penting.

Robots.txt di WordPress sangat penting karena WordPress menghasilkan banyak halaman administratif dan duplikat yang sebaiknya tidak diindeks. Dengan konfigurasi yang tepat, robots.txt di WordPress mencegah pemborosan crawl budget dan meningkatkan kualitas indeksasi konten utama.

Robots.txt juga terkait erat dengan sitemap. Kita sering menambahkan lokasi sitemap di dalamnya agar crawler mudah menemukan peta situs, sehingga proses pengindeksan menjadi lebih efisien.

Panduan ini membahas penambahan robots.txt di WordPress melalui metode manual dengan mengunggah file langsung dan metode menggunakan plugin populer.

Berikut adalah beberapa skenario di mana robots.txt di WordPress sangat berguna: 

1. Saat ingin melindungi area admin seperti /wp-admin/ dari crawler yang tidak perlu. 
2. Ketika ada halaman pencarian internal atau parameter query yang menciptakan duplikat konten. 
3. Untuk mengizinkan akses ke folder uploads agar gambar tetap terindeks. 
4. Saat perlu memblokir bot AI tertentu yang mengonsumsi resource tanpa manfaat SEO. 
5. Untuk mengarahkan crawler ke sitemap agar pengindeksan lebih cepat.

Tanpa robots.txt di WordPress yang optimal, ada beberapa risiko yang mungkin timbul: 

1. Crawler menghabiskan waktu pada halaman tidak penting, sehingga konten utama kurang terindeks. 
2. Muncul duplikat konten di hasil pencarian karena halaman tag atau author tidak diblokir. 
3. Resource server terbuang sia-sia akibat crawling berlebih pada area administratif. 
4. Bot tidak diinginkan seperti scraper AI mengakses seluruh situs tanpa kendali. 
5. Kesulitan dalam mengelola crawl budget pada website dengan traffic tinggi.

Nah, DomaiNesians, panduan ini menyediakan solusi praktis untuk mengatasi skenario-skenario tersebut melalui penambahan robots.txt di WordPress yang tepat.

Persiapan Awal

Setelah memahami kebutuhan robots.txt di WordPress dari bagian sebelumnya, kita bisa mulai mempersiapkan langkah-langkahnya. Panduan ini menggunakan WordPress hosting dari DomaiNesia yang menawarkan kecepatan tinggi dan spesifikasi memadai. Kita bisa mendapatkannya dengan biaya di bawah 25.000 Rupiah melalui produk hosting WordPress mereka di https://www.domainesia.com/hosting-wordpress/.

Jika ada pertanyaan terkait penggunaan hosting, tim support DomaiNesia siap membantu kapan saja. Pertama, kita perlu mengakses dashboard WordPress yang telah dipasang terlebih dahulu. Untuk mengakses dashboard WordPress secara umum, tambahkan “/wp-admin/” pada URL situs, sehingga menjadi seperti domain.com/wp-admin/.

Jika menggunakan WordPress Hosting khusus, akses login bisa melalui halaman https://wordpress.com/log-in/. Setelah masuk dashboard, untuk menambah plugin baru, akses menu Plugins di sidebar kemudian klik tombol Add Plugin.

Menambahkan terlalu banyak plugin di WordPress tidak direkomendasikan karena alasan keamanan dan performa. Jika plugin sudah tidak digunakan lagi, simpan file-nya jika diperlukan lalu matikan plugin tersebut.

Metode Manual

Metode pertama untuk menambahkan robots.txt di WordPress adalah membuat file secara manual kemudian mengunggahnya ke root directory menggunakan file manager.

1. File Robots.txt

Kita perlu menyusun konfigurasi sintaks robots.txt terlebih dahulu agar sesuai dengan kebutuhan situs. Untuk memahami dasar penggunaan robots.txt, kita bisa membaca panduan lengkap dari DomaiNesia di https://www.domainesia.com/panduan/panduan-dasar-robots-txt/. Salah satu cara mudah membuat dan menguji robots.txt di WordPress adalah menggunakan tools validator di technicalseo.com/tools/robots-txt/.

Di halaman tersebut, kita bisa mengetikkan konfigurasi robots.txt sekaligus mengujinya terhadap URL tertentu. Berikut contoh konfigurasi umum yang sering digunakan untuk robots.txt di WordPress:

Jika pengujian dijalankan, kita akan melihat bagaimana bot membaca aturan tersebut terhadap URL yang diuji.

Untuk mengetahui daftar user-agent bot mesin pencari terkini, kunjungi radar.cloudflare.com dan akses bagian directory bots.

Kemudian, tambahkan user-agent yang ingin diblokir ke konfigurasi. Pada contoh di atas, robots.txt di WordPress memblokir GPTBot dan MJ12bot sepenuhnya.

2. Install File Manager di WordPress

Setelah konfigurasi selesai, langkah berikutnya adalah mengunggah file ke root WordPress. Jika menggunakan cPanel atau file manager hosting, langkah instalasi plugin ini bisa dilewati dan langsung unggah file melalui panel tersebut. Untuk yang menggunakan plugin, akses halaman Add Plugins, ketik “file manager” di kolom pencarian, tekan Enter, pilih plugin WP File Manager, kemudian klik Install Now.

Setelah proses instalasi selesai, klik tombol Activate untuk mengaktifkan plugin.

3. Akses dan Unggah File Robots.txt

Setelah aktif, akses plugin melalui menu sidebar dengan nama WP File Manager.

Pada penggunaan pertama, mungkin muncul halaman sambutan, cukup klik No Thanks untuk melanjutkan. Di halaman utama WP File Manager, klik kanan pada folder root WordPress yang biasanya bernama public_html atau wp, kemudian pilih Upload files.

Selanjutnya, jendela upload akan terbuka, pilih file robots.txt yang telah dibuat melalui tombol Select Files atau dengan drag and drop langsung ke area tersebut.

Metode Plugin di WordPress

Metode alternatif yang lebih sederhana untuk menambahkan robots.txt di WordPress adalah menggunakan plugin SEO seperti Yoast SEO yang menyediakan editor built-in.

1. Install Plugin Yoast SEO di WordPress

Akses halaman Add Plugins, ketik “Yoast SEO” di kolom pencarian, tekan Enter, pilih plugin Yoast SEO resmi, kemudian klik Install Now.

Setelah instalasi selesai, klik tombol Activate.

2. Akses Ke Plugin dan Membuat Robots.txt

Untuk mengakses fitur editor, klik menu Yoast SEO di sidebar kemudian pilih sub menu Tools.

Di halaman Tools, klik opsi File editor untuk membuka editor robots.txt. Jika belum ada file fisik, akan muncul tombol Create robots.txt file, klik tombol tersebut untuk membuat file baru.

File akan tercipta secara otomatis, kita bisa langsung mengedit isi konfigurasi robots.txt di WordPress pada area yang disediakan, kemudian klik Save changes to robots.txt untuk menyimpan perubahan.

Melihat File Robots.txt

Untuk memverifikasi robots.txt di WordPress yang telah dibuat baik secara manual maupun plugin, akses URL situs diikuti dengan /robots.txt, misalnya domain.com/robots.txt.

Konfigurasi akan tampil langsung di browser, kita bisa menguji kembali menggunakan tools validator yang telah dibahas sebelumnya untuk memastikan semuanya berjalan sesuai harapan.

Membuat Robots.txt di WordPress Berhasil!

Selamat DomaiNesians!, kita telah menyelesaikan panduan lengkap dua cara menambahkan robots.txt di WordPress, mulai dari pemahaman dasar, persiapan, metode manual dengan file manager, hingga metode cepat menggunakan plugin Yoast SEO. Dengan robots.txt yang optimal, website akan lebih terkontrol dalam hal crawling, menghemat resource, dan meningkatkan performa SEO secara keseluruhan. Sampai jumpa di artikel dan panduan DomaiNesia berikutnya!