Bagaimana Cara Agar Mesin Pencari Google Tidak Mengindeks Situs WordPress

Setiap orang yang membuat situs pada WordPress pasti ingin agar blognya dikenal dan dikunjungi banyak orang. Kalau begitu, kenapa ada yang memilih untuk memblokir mesin pencari? Lagipula, memangnya ada cara agar mesin pencari Google tidak mengindeks situs WordPress?

Untuk mendatangkan trafik pada sebuah blog kamu harus bisa membuat orang lain ‘melihat’ konten yang kamu buat. Syarat utamanya adalah dengan memberitahu mesin pencari seperti Google untuk mengindeksnya terlebih dahulu.

Semakin cepat terindeks tentu akan semakin bagus bukan?

Namun ternyata, tidak semua orang menginginkan mesin pencari untuk menelusuri konten yang ada pada blog mereka.

Kenapa ada blogger yang ingin mencegah mesin pencari untuk mengindeks situs WordPress?

Ada beberapa alasan kenapa ada blogger yang ingin agar blognya tidak terindeks oleh mesin pencari seperti Google.

Alasan tersebut bisa bersifat sementara atau malah untuk selamanya.

Misalnya saja ada beberapa blogger yang membuat situs WordPress untuk membuat jurnal pribadi atau personal diary.

Dengan segala kelebihannya, WordPress bisa saja menjadi platform yang sangat mumpuni untuk dijadikan jurnal online. Namun kamu tentunya tidak ingin agar jurnal ini bebas diketahui dan dibaca semua orang bukan?

Alasan lainnya yang paling sering digunakan adalah untuk mencegah Google mengindeks situs WordPress yang sedang berada pada tahap pengembangan.

Bila kamu baru saja membuat situs WordPress, tentu kamu tahu bahwa tidak semudah dan secepat itu untuk membuat situs berjalan sesuai dengan yang kita inginkan.

Pada tahap pengembangan ini, mungkin kamu masih melakukan trial-and-error sehingga tampilan dan kontennya masih berubah-ubah.

Di sinilah biasanya kamu butuh agar mesin pencari tidak mengindeks blog kamu terlebih dahulu dan mencegahnya sampai situs kamu siap sepenuhnya.

Lalu bagaimana cara agar mesin pencari Google tidak mengindeks situs WordPress yang kamu buat?

Mencegah mesin pencari untuk tidak menelusuri dan mengindeks situs Wordpess

Ada banyak cara yang bisa kamu lakukan untuk mencegah agar mesin pencari Google tidak menelusuri dan mengindeks konten yang ada pada situs WordPress.

Kali ini, bisablog akan memaparkan tiga cara umum yang bisa kamu lakukan beserta kelebihan dan kekurangannya.

1. Mencegah mesin pencari menggunakan fitur bawaan WordPress

Kelebihan:

• Mudah.

Kekurangan:

• Tidak 100% ampuh.

WordPress memiliki fitur bawaan yang dapat kamu gunakan untuk memerintahkan mesin pencari untuk tidak mengindeks situs WordPress yang kamu buat.

Yang harus kamu lakukan adalah masuk ke menu Settings » Reading dan centang pilihan pada Search Engine Visibility.

Dengan mencentang opsi Discourage search engines from indexing this site artinya kamu melarang mesin pencari untuk masuk dan mendata semua isi konten situs WordPress tersebut dengan cara menambahkan baris kode berikut pada header,

<meta name='robots' content='noindex, follow' />

dan memodifikasi file robots.txt menjadi,

User-agent: *
Disallow: /

Namun cara ini mungkin tidak 100% ampuh, seperti pada tulisan di atas, “It is up to search engine to honor this request,” alias suka-suka Google, mau diindeks atau tidak.

Jadi meskipun kamu sudah memerintahkan Google untuk tidak mengindeks situs kamu, bisa jadi masih ada beberapa konten yang muncul pada hasil pencarian.

2. Mencegah mesin pencari untuk tidak menelusuri dan mengindeks situs Wordpess menggunakan .htaccess

Kelebihan:

• Lebih efektif untuk mencegah konten blog muncul pada hasil pencarian.

Kekurangan:

• Situs masih dapat diakses orang lain yang mengetahui nama URL situs tersebut.

Mungkin kamu bertanya-tanya,

“kalau ada cara yang lebih mudah, kenapa harus repot pake file .htaccess?”

Cara ini sebenarnya memiliki prinsip kerja yang sama dengan cara pertama. Namun seperti saya bilang, cara ini tidak sepenuhnya ampuh karena beberapa konten mungkin akan tetap terindeks dan muncul pada hasil pencarian Google.

Untuk lebih jelasnya, mari kita lihat dulu dua istilah berikut:

• Indexing – Proses yang dilakukan oleh mesin pencari untuk mengindeks konten dari sebuah situs ke server mereka.
• Listing / Ranking – Menunjukan atau memunculkan situs pada hasil pencarian (SERP – Search Engine Result Page).

Secara normal, sebuah situs harus diindeks terlebih dahulu agar dapat muncul pada hasil pencarian Google, namun tidak semuanya berjalan seperti itu.

Google masih dapat menemukan konten atau sebuah situs melalui link lain yang mengarah ke situs tersebut.

Hal ini tentu dapat dicegah dengan menambahkan tag berikut pada laman yang ingin kamu sembunyikan.

<meta name="robots" content="noindex,nofollow>

Namun cara ini akan kurang efektif untuk menyembunyikan situs secara keseluruhan karena kamu perlu menambahkan tag tersebut pada setiap laman yang kamu buat.

Di sinilah kita akan menggunakan file .htaccess untuk mempermudahnya.

Untuk melakukannya, cukup tambahkan kode berikut pada file .htaccess.

Header set X-Robots-Tag "noindex, nofollow"

Dengan kode ini, situs kamu tidak akan muncul pada hasil pencarian meskipun masih ada kemungkinan terindeks oleh Google.

3. Melindungi direktori WordPress dengan password melalui cPanel

Kelebihan:

• Sangat efektif menangkal mesin pencari (dan user lainnya).

Kekurangan:

• Harus melakukan langkah tambahan untuk dapat mengakses WordPress.

Cara yang cukup efektif untuk mencegah mesin pencari adalah dengan menggunakan password pada folder instalasi WordPress. Dengan begitu, semua orang membutuhkan username dan password untuk dapat mengakses WordPress, termasuk mesin pencari. Bila usaha login gagal, akan muncul peringatan error 404 dan spider bot Google akan pergi dengan sendirinya.

Bila kamu menggunakan jasa layanan hosting yang menggunakan cPanel, ada fitur bawaan cPanel yang bisa digunakan untuk melindungi folder instalasi WordPress.

Untuk melakukannya, cukup masuk ke cPanel dan pilih menu Files » Directory Privacy.

Setelah itu kamu akan diminta untuk memilih folder mana yang ingin dilindungi dengan password. Untuk melindungi direktori WordPress, pilih folder public_html yang biasanya menjadi lokasi default instalasi WordPress.

Bila sudah, kamu akan masuk ke laman baru. Centang pilihan Password protect this directory dan isi kotak isian yang tersedia. Setelah selesai, klik tombol Save.

Untuk melindungi direktori WordPress menggunakan password, kamu juga bisa menggunakan plugin seperti plugin keamanan Wordfence yang sudah dilengkapi dengan fitur tersebut.

Menghapus halaman yang telah di index oleh Google

Untuk kamu yang telat menghalangi mesin pencari dan mendapati beberapa konten blog kamu sudah terindeks oleh Google, mungkin akan timbul pertanyaan.

“Bagaimana cara menghapus halaman yang telah diindeks oleh Google?”

Jika website kamu sudah terlanjur terindex oleh Google, kamu bisa menghapusnya dengan cara berikut.

Langkah #1: Login ke Google Search Console terlebih dahulu.

Langkah #2: Pilih website kamu dan masuk ke menu Google Index » Remove URLs.

Langkah #3: Klik tombol Temporarily Hide dan masukan URL yang ingin kamu hapus.

Langkah #4: Pada laman selanjutnya, pilih Temporarily hide page from search results and remove from cache dan klik tombol Submit Request.

Setelah melakukan hal ini, link yang sudah terindeks akan dihapus oleh Google meskipun mungkin membutuhkan sedikit waktu.

Bila sudah, jangan lupa untuk memproteksi direktori WordPress agar Google tidak mengindeksnya lagi.

Kesimpulan

Itulah dia tiga cara yang bisa kamu gunakan untuk menghalangi mesin pencari untuk menelusuri dan mengindeks konten yang ada pada situs kamu.

Tergantung alasan kamu untuk menghalangi mesin pencari, penggunaan password pada direktori WordPress adalah cara yang paling ampuh untuk melindungi konten yang ada pada blog kamu.

Namun bila kamu hanya ingin menghalangi mesin pencari untuk beberapa waktu, kamu bisa menggunakan fitur bawaan WordPress atau menggunakan file .htaccess.

Mudah-mudahan cara di atas bisa mambantu. Bila ada saran dan pertanyaan, jangan segan untuk mengirimkan komentar kamu di sini.