Panduan Lengkap tentang Cara Setting robot txt di WordPress

Agar peringkat situs naik di Search Engine Result Pages (SERP), Anda harus memudahkan ‘bot’ mesin pencari untuk mengeksplor halaman-halaman situs yang penting. Dengan memasang file robots.txt yang terstruktur, bot akan lebih mudah mengindeks halaman penting yang dimaksud.

Di artikel ini, kami akan membahas:

1. Apa itu file robots.txt dan mengapa penting dipasang di situs Anda?
2. Di mana file robot txt WordPress tersimpan?
3. Bagaimana cara membuat robot.txt WordPress?
4. Rule apa saja yang harus dimasukkan ke file robots.txt WordPress?
5. Bagaimana cara mengetes file robots.txt dan men-submit-nya ke Google Search Console?

Semoga setelah membaca tutorial ini, Anda bisa mengonfigurasikan file robots.txt di website WordPress Anda.

Apa Itu File robots.txt WordPress dan Fungsinya?

Ketika Anda membuat website baru, mesin pencari akan mengirimkan minion (atau bot) untuk ‘crawl’ website Anda dan membuat map atau peta dari semua halaman yang dimiliki oleh website Anda.

Dengan demikian, mesin pencari akan tahu halaman mana saja yang harus ditampilkan pada saat seorang user mengetikkan keyword terkait.

Hanya saja, website saat ini memuat lebih banyak elemen dan tidak hanya sekadar halaman saja. Misalnya, WordPress memungkinkan Anda untuk menginstall plugin yang terkadang juga memiliki direktori bawaan.

Tentu saja Anda tidak ingin plugin atau direktorinya muncul di hasil pencarian padahal sama sekali tidak ada kaitannya.

File robots.txt menyediakan sekumpulan instruksi untuk bot mesin pencari. Instruksi tersebut seolah memberi notifikasi: “Yang Anda cari ada di sini. Anda tidak perlu masuk ke ruang lainnya!”. Informasi dan instruksi pada file ini cukup jelas dan mudah untuk dibuat, bahkan jika Anda bukan seorang yang paham masalah teknis.

Singkatnya, mesin pencari akan ‘crawl’ situs Anda meskipun tidak ada file robots.txt yang disetup. Hanya saja, sangatlah tidak efisien jika Anda tidak mengaktifkan file ini.

Tanpa file ini, Anda membiarkan bot mengindex semua konten dan alhasil, bagian-bagian yang ingin disembunyikan malah ditampilkan di mesin pencari.

Tambahan lagi, tanpa adanya file robots.txt, Anda membiarkan website di-crowl banyak bot. Tentu saja hal ini akan memberikan dampak negatif terhadap performa situs.

Meskipun kedengarannya sepele, Anda tetap tidak bisa menutup mata terhadap faktor page speed. Kecepatan loading situs atau halaman haruslah menjadi faktor utama.

Di Mana File robot txt WordPress Tersimpan?

Pada saat Anda membuat website WordPress, secara otomatis file robots.txt virtual akan aktif dan tersimpan di folder utama server. Sebagai contoh, situs Anda diakses melalui yourfakewebsite.com. Anda pasti bisa mengakses yourfakewebsite.com/robots.txt dan melihat file ini:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Kode di atas merupakan contoh dari file robots.txt yang paling dasar. Karakter setelah User-agent: menunjukkan bot mana yang menerapkan rule di bawahnya. Tanda bintang berarti rulenya bersifat universal dan dapat diaplikasikan ke semua bot.

Dalam hal ini, file menginformasikan bot bahwa bot tidak dapat masuk dan menjelajahi direktori wp-admin dan wp-includes. Hal ini tentu saja masuk akal karena kedua direktori tersebut memuat file-file yang sensitif.

Tak menutup kemungkinan, akan ada suatu saat di mana Anda ingin menambahkan lebih banyak rule ke file sendiri. Namun, sebelum melakukannya, pahami dulu kalau robots.txt berupa file virtual.

Biasanya, robot txt WordPress berada di dalam direktori root, yang kadang-kadang disebut public_html atau www (atau dinamai menurut nama website Anda):

Hanya saja, file robots txt WordPress yang disetup secara default tidak dapat diakses dari direktori manapun. Sebenarnya, file tersebut bisa berfungsi dan digunakan, tapi jika ingin membuat perubahan tertentu, Anda harus membuat file sendiri dan menguploadnya ke folder root sebagai replacement.

Kami akan membahas beberapa cara membuat robot.txt WordPress baru. Namun untuk saat ini, kami akan membahas rule yang sebaiknya digunakan terlebih dulu.

Rule Apa Saja yang Bisa Disertakan dalam File robots.txt WordPress?

Sebelumnya, Anda sudah melihat contoh file robots.txt yang dibuat untuk WordPress. File tersebut hanya memuat dua rule singkat, tapi sebagian besar website mengaktifkan lebih dari itu. Sekarang kita akan membahas dua file robots.txt secara berbeda dan fungsinya masing-masing.

Berikut contoh robots.txt WordPress pertama kami:

User-agent: *
Allow: /
# Disallowed Sub-Directories
Disallow: /checkout/
Disallow: /images/
Disallow: /forum/

File ini merupakan robots.txt umum untuk sebuah website yang dilengkapi dengan forum. Terkadang mesin pencari akan mengindeks setiap thread dalam forum. Akan tetapi, ada saat-saat di mana Anda ingin mengaktifkan file tersebut (tentunya ini tergantung pada tipe forum yang Anda buat).

Jika dimatikan, Google tidak akan mengindex ratusan thread yang hanya dipenuhi oleh user dengan komentar sedikit. Selain itu, Anda juga bisa mengaktifkan rule untuk menghindari sub-forum tertentu, dan biarkan mesin pencari ‘crawl’ sisanya.

Lihat baris atau line Allow:/ yang ada di atas file. Line tersebut menginformasikan bot bahwa bot bisa crawl semua halaman website, kecuali bagian-bagian tertentu yang telah Anda tetapkan sebelumnya.

Di samping itu, rule-rule ini telah kami tetapkan agar bersifat universal (dengan tanda bintang) sama seperti yang dilakukan oleh file virtual robot txtWordPress.

Berikut contoh lain dari robots.txt WordPress:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: Bingbot
Disallow: /

Di file ini, kami setup rule yang sama seperti rule WordPress lakukan secara default. Kami pun telah menambahkan seperangkat rule baru yang memblokir Bing’s search bot sehingga tidak dapat crawl website kami. Dari namanya saja kita sudah tahu kalau Bingbot adalah nama dari bot.

Anda bisa mengetahui mana bot mesin pencari yang dapat mengakses website Anda dan mana yang tidak. Dalam praktiknya, Bingbot tidak berbahaya (bahkan tidak sebagus Googlebot). Hanya saja, Anda harus mawas diri karena masih banyak bot berbahaya dan merugikan di luar sana.

Sayangnya, bot tidak selalu menuruti instruksi yang diberikan oleh file robots.txt. Anda harus tahu bahwa meskipun sebagian besar bot akan mengikuti instruksi yang telah disediakan di dalam file robots.txt,

Anda tidak serta-merta force bot tersebut untuk patuh pada instruksi. Anda hanya ‘memintanya’ untuk mengikuti instruksi yang ada.

Meskipun ada banyak informasi tentang apa yang diizinkan dan apa yang diblokir untuk tidak mengakses website Anda, ingatlah bahwa semakin sedikit rule, maka hasil yang diinginkan semakin baik. Berikut contoh rekomendasi kami bagaimana file robots.txt pertama Anda seharusnya ditampilkan:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

Umumnya, WordPress akan memblokir akses ke direktori wp-admin dan wp-includes. Namun, belakangan ini, opsi tersebut tidak lagi dilakukan.

Di samping itu, apabila Anda menambahkan metadata ke gambar dengan tujuan Search Engine Optimization (SEO), maka Anda tidak bisa menonaktifkannya begitu saja sehingga bot tidak bisa crawl informasi yang ada di halaman situs.

Sebagai gantinya, dua rule di atas mencakup yang dibutuhkan oleh sebagian besar website sederhana.

Hanya saja, apa pun yang ingin disertakan dalam file robots.txt tergantung pada situs dan kebutuhan Anda.

Cara Setting robot txt di WordPress (3 Metode)

Setelah memutuskan apa saja yang ingin disertakan dalam file robots.txt, maka langkah selanjutnya adalah membuat file tersebut. robots.txt WordPress dapat diedit baik dengan menggunakan plugin ataupun cara manual.

Di sini, kami akan membahas cara membuat robot.txt WordPress dengan dua plugin yang paling banyak digunakan serta langkah menguploadnya.

1. Menggunakan Plugin Yoast SEO

Tak perlu perkenalan panjang lebar, hampir sebagian besar user pasti sudah tahu apa itu Yoast SEO. Plugin ini merupakan plugin SEO WordPress yang paling banyak digunakan untuk mengoptimasi postingan dan halaman dengan memanfaatkan beberapa keyword tertentu.

Selain itu, plugin Yoast SEO juga menyediakan bantuan jika ingin memperbaiki readability konten. Readability menunjukkan nyaman atau tidaknya user membaca konten Anda.

Yoast SEO adalah plugin yang sering kami gunakan karena kemudahannya. Karena itulah, kami memanfaatkan plugin ini untuk membuat file robots.txt. Setelah menyelesaikan cara setting Yoast SEO, buka SEO > tab Tools di dashboard dan cari opsi File editor:

Klik link File Editor dan Anda akan diarahkan ke halaman baru di mana Anda bisa mengedit file .htaccess tanpa harus keluar dari dashboard. Tersedia juga opsi bantuan Create robots.txt file:

Klik opsi tersebut dan Anda akan diarahkan ke editor baru di mana Anda bisa mengubah file robots.txt secara langsung. Perlu diingat, Yoast SEO memiliki rule defaultnya sendiri yang akan override atau menimpa file virtua robots.txt yang sudah ada sebelumnya.

Kapanpun Anda menambahkan atau menghapus rule, ingatlah untuk selalu mengklik Save changes to robots.txt:

2. Menggunakan Plugin All in One SEO Pack

Cara setting robot txt di WordPress juga bisa dengan menggunakan plugin All in One SEO Pack. Plugin ini menawarkan sebagian besar fitur yang juga ada di plugin Yoast SEO. Namun, ada beberapa orang yang memilih plugin Yoast karena lebih ringan. Selama Anda masih ingin mengaktifkan robots.txt, membuat file dengan plugin ini sangatlah mudah.

Setelah mengaktifkan plugin, buka All in One SEO > Feature Manager melalui dashboard. Di dalam halaman tersebut, Anda akan menemukan Robots.txt dengan opsi Activate yang berada tepat di bawahnya. Klik opsi tersebut:

Tab Robots.txt baru akan muncul di menu All in One SEO. Jika tab tersebut diklik, maka Anda akan melihat beberapa opsi untuk menambahkan rule baru ke file, menyimpan perubahan yang dibuat, atau menghapusnya sekaligus.

Perlu diingat bahwa Anda tidak bisa langsung mengubah file robots.txt dengan menggunakan plugin ini. Berbeda dari Yoast SEO, file pada plugin ini di-gray out sehingga memungkinan Anda untuk mengetikkan apa pun yang diinginkan:

Menambahkan rule baru tidaklah sulit, jadi Anda tidak perlu khawatir kalau akan membuat kesalahan fatal. Apalagi plugin All in One SEO Pack juga menawarkan fitur untuk memblokir bot ‘merugikan’. Fitur ini bisa Anda akses melalui tab All in One SEO:

Jika tidak ingin menginstall dan mengaktifkan plugin, maka Anda bisa membuat file robots.txt secara manual.

3. Membuat dan Mengupload File robots.txt WordPress Melalui FTP

Cara membuat file txt sangatlah mudah. Buka text editor yang sering digunakan (misalnya, Notepad atau TextEdit) dan ketikkan beberapa baris. Simpan file dengan nama apa pun dan dalam format file txt.

Lihat, kan, betapa mudahnya membuat file txt? Jadi, bisa ada kemungkinan kalau Anda tidak ingin menginstall plugin untuk mengedit file robots.txt di WordPress.

Berikut contoh salah satu file:

Sebagai contoh untuk tutorial ini, kami menyimpan file tersebut langsung ke komputer. Setelah membuat dan menyimpan file, buatlah koneksi ke website via FTP. Jika tidak tahu atau belum paham caranya, kami punya artikel mengenai cara penggunaan FileZilla bagi pemula.

Setelah terhubung ke situs, buka folder public_html, kemudian upload file robots.txt dari komputer ke server. Untuk mengupload file tersebut, klik kanan pada file menggunakan navigator lokal aplikasi FTP atau cukup dengan drag and drop:

Proses upload file tidak memakan waktu yang lama. Bahkan cara setting robot txt di WordPress manual ini sama mudahnya dengan ketika Anda menggunakan plugin.

Cara Mengecek File robots.txt WordPress dan Submit ke Google Search Console

Setelah file robots.txt WordPress dibuat dan diupload, Anda bisa menggunakan Google Search Console untuk mengecek apakah ada error yang muncul.

Search Console adalah sekumpulan tool Google yang akan memonitor tampilan konten di hasil pencarian. Salah satu dari tool ini adalah robots.txt checker yang dapat diakses setelah Anda login ke console dan membuka tab robots.txt Tester:

Di dalam tab tersebut, Anda akan melihat adanya kolom editor yang bisa digunakan untuk menambahkan kode file robots.txt WordPress. Setelah itu, klik opsi Submit yang berada tepat di bawah kolom tersebut. Untuk submit kode file secara manual, klik opsi Ask Google to Update:

Platform akan mengecek file Anda apakah memang ada error atau tidak. Jika memang ada error, platform tersebut akan memberikan notifikasi atau pemberitahuan.

Namun kami yakin, kemungkinan error muncul setelah membuat file robots.txt WordPress sangatlah kecil karena Anda sudah membaca tips serta langkah-langkahnya di atas.

Kesimpulan

Agar eksposur situs naik, atur bot mesin pencari untuk crawling informasi yang benar-benar relevan. Seperti yang telah kami jelaskan sebelumnya, file robots.txt WordPress yang telah terkonfigurasi dengan baik akan mengatur cara bot berinteraksi dengan situs Anda.

Dengan demikian, bot akan mengarahkan user untuk mencari konten yang lebih informatif dan relevan.

Apakah ada pertanyaan terkait cara setting robot txt di WordPress? Beri tahu kami melalui kolom komentar di bawah ini.