Mengapa Halaman Tidak Diindeks Google? Memperbaiki Kesalahan Search Console

Mengapa Halaman Tidak Diindeks Google? Memperbaiki Kesalahan Search Console

Mengapa Halaman Tidak Diindeks Google? Pakar SEO mana pun akan memberi tahu Anda bahwa terindeksnya halaman Anda oleh Google sangat penting. Tetapi pernyataan ini agak terlalu disederhanakan. Yang perlu Anda ketahui sebenarnya adalah ada berbagai alasan mengapa halaman tidak terindeks, dan itu tidak secara otomatis menjadi penyebab kekhawatiran. 

Meskipun hal-hal seperti kualitas konten yang buruk, konten duplikat, dan halaman yang diblokir karena masalah teknis memerlukan perhatian segera, mungkin juga halaman tersebut diblokir dari pengindeksan karena alasan yang tepat, dan Anda tidak perlu melakukan apa pun.

Langkah pertama Anda untuk memahami mengapa halaman Anda tidak diindeks adalah dengan menelusuri laporan Google Search Console Anda. Peringatan di Search Console dapat membantu Anda memahami mengapa halaman tertentu tidak muncul di hasil pencarian dan langkah-langkah apa, jika ada, yang harus Anda ambil untuk memperbaiki masalah tersebut.

Jadi, mari kita telusuri lebih dalam mengapa halaman tidak diindeks dan apa arti peringatan umum di Search Console. Kemudian kita akan membahas langkah-langkah yang perlu Anda ambil untuk memastikan halaman Anda diindeks dengan benar dan peringatan mana yang mungkin tidak memerlukan tindakan sama sekali.

Bagaimana Mesin Pencari Mengindeks Halaman Web

Mari kita mulai dengan tinjauan singkat tentang dasar-dasarnya. Sebelum Google dapat mengindeks halaman Anda, Google menggunakan perangkat lunak otomatis, yang umumnya dikenal sebagai Googlebot, untuk merayapi halaman web Anda dan mengumpulkan informasi tentangnya.

Crawler membaca isi halaman dan mengikuti tautan apa pun yang ditemukannya. Proses ini diulangi untuk setiap tautan yang diikutinya, serta untuk setiap halaman yang dikirimkan untuk diindeks, memungkinkan Google untuk membangun indeks halaman web di seluruh internet.

Saat memutuskan cara mengindeks suatu halaman, algoritma Google menganalisis relevansi dan kualitas setiap halaman, dengan mempertimbangkan hal-hal seperti kualitas konten, popularitas halaman, markup skema , dan nilai dari tautan internal, keluar, atau masuk.

Saat pengguna melakukan pencarian, algoritma Google merujuk pada indeks ini untuk menampilkan hasil berdasarkan seberapa baik halaman tersebut cocok dengan kueri pencarian pengguna. Halaman yang dianggap paling relevan akan ditampilkan pertama di SERP, diikuti oleh halaman yang kurang relevan dalam urutan menurun.

Mengapa Beberapa Halaman Seharusnya Tidak Diindeks

Saat dihadapkan dengan daftar panjang peringatan Search Console, mudah untuk merasa kewalahan. Namun, penting untuk diingat bahwa beberapa halaman tidak seharusnya diindeks, dan mungkin tidak masalah jika beberapa peringatan tersebut ada di sana.

Sebagai contoh, halaman duplikat atau alternatif tidak boleh diindeks. Halaman yang tidak diindeks tetapi ditandai sebagai duplikat kemungkinan menunjukkan bahwa Google telah menemukan dan mengindeks halaman kanonik yang benar dan menambahkannya ke indeks. 

Jika Anda khawatir, Anda dapat menggunakan alat Inspeksi URL untuk memverifikasi bahwa Kanonis yang dinyatakan pengguna yang benar telah diindeks . Jika semuanya terlihat baik, tidak apa-apa jika peringatan ini muncul, dan tidak diperlukan tindakan apa pun.

Contoh lain adalah ketika sebuah halaman memerlukan login karena tidak ditujukan untuk dilihat publik, seperti halaman keranjang belanja atau halaman akun yang berisi informasi sensitif. Dalam beberapa kasus, halaman tersebut sengaja diblokir dari pengindeksan dengan tag “noindex” karena alasan tertentu, seperti memaksimalkan anggaran perayapan (crawl budget) pada situs web yang sangat besar.

Jika halaman diblokir dari pengindeksan karena alasan yang valid, tidak masalah jika peringatan tersebut tetap ada di Laporan Cakupan Indeks Anda, dan tidak diperlukan tindakan lebih lanjut.

Penyebab Umum Masalah Pengindeksan

Beberapa penyebab paling umum dari masalah pengindeksan adalah konten duplikat tanpa tag kanonik yang tepat, akses halaman yang diblokir, file robots.txt yang salah, pengalihan yang diimplementasikan dengan buruk, dan masalah rendering yang terkait dengan Javascript.

Dalam beberapa kasus, Google sama sekali tidak mengetahui keberadaan halaman tersebut. Hal ini bisa terjadi karena halaman tersebut baru, belum ditambahkan ke sitemap, atau Googlebot belum menemukan tautan ke halaman tersebut. Perlu diingat bahwa dibutuhkan waktu berminggu-minggu agar halaman baru di-crawl, bahkan setelah Anda mengirimkan permintaan crawl.  

Google juga dapat memilih untuk tidak mengindeks konten yang kurang dioptimalkan atau konten yang minim informasi bermanfaat. Memastikan halaman Anda membahas topik secara menyeluruh, dioptimalkan dengan benar, dimuat dengan baik, dan mudah diakses adalah kunci untuk menghindari masalah pengindeksan. 

Kita akan membahas semua ini secara lebih detail di bawah, tetapi pertama-tama, mari kita pelajari dasar-dasar cara menavigasi Dasbor Search Console Anda dan memahami Laporan Cakupan Indeks Anda.

Menavigasi Dasbor Google Search Console Anda

Dasbor Google Search Console Anda mungkin tampak sedikit membingungkan pada awalnya, jadi berikut adalah penjelasan singkat tentang arti berbagai bagian dan cara menggunakannya.

• Laporan Ikhtisar: Ikhtisar memberikan gambaran umum tentang kinerja situs web Anda. Di sini Anda akan menemukan data tentang total klik, tayangan, rasio klik-tayang, dan posisi rata-rata. Gunakan laporan ini ketika Anda ingin memahami seberapa sering situs Anda muncul dalam pencarian, halaman mana yang menerima lalu lintas terbanyak, dan kueri mana yang menghasilkan klik terbanyak.
• Laporan Kueri : Laporan ini menampilkan kueri persis yang digunakan pencari untuk menemukan situs web Anda dan peringkat situs Anda untuk setiap kueri. Laporan ini akan memberi tahu Anda kueri mana yang menghasilkan tayangan dan klik terbanyak, serta kueri mana yang memiliki rasio klik-tayang tertinggi. Anda dapat menggunakan laporan ini untuk membantu Anda mengidentifikasi kata kunci mana yang perlu ditargetkan dalam upaya SEO Anda.
• Laporan Halaman: Laporan ini memberikan informasi detail tentang masing-masing halaman web dan bagaimana kinerjanya dalam hal klik, tayangan, dan rasio klik-tayang, serta peringkat berdasarkan kata kunci dan kueri. Gunakan laporan ini untuk membantu Anda mengidentifikasi halaman mana yang berkinerja baik dan di mana Anda harus memfokuskan upaya optimasi Anda.
• Laporan Tautan: Laporan Tautan menunjukkan berapa banyak tautan eksternal dan internal yang mengarah ke berbagai halaman situs Anda dan dari mana asalnya. Gunakan laporan ini untuk membantu Anda menemukan tautan rusak, yang dapat merugikan SEO dan pengalaman pengguna yang baik.

Memahami Laporan Pengindeksan Halaman di Google Search Console

Menggunakan Laporan Pengindeksan Halaman adalah cara tercepat untuk mendapatkan gambaran umum tentang halaman mana di situs web Anda yang telah dan belum diindeks oleh Google. Untuk menemukannya, cari menu tarik-turun “Pengindeksan” di bilah sisi dan klik tab “Halaman”.

Setelah dibuka, Anda akan melihat halaman ringkasan tingkat atas yang mencakup grafik dan jumlah terkini yang menunjukkan berapa banyak halaman yang telah dan belum diindeks.

Yang Anda cari adalah peningkatan bertahap dalam jumlah halaman yang terindeks, yang relevan dengan seberapa sering Anda menerbitkan konten baru. Penurunan atau lonjakan drastis dapat mengindikasikan masalah yang memerlukan penyelidikan lebih lanjut. 

Pada akhirnya, Anda berharap dapat melihat versi kanonik dari setiap grup halaman penting di situs Anda terindeks. Halaman yang telah diajukan untuk pengindeksan akan memiliki salah satu status berikut:

• Crawl: Status Crawl berarti Googlebot sedang dalam proses merayapi halaman untuk mengumpulkan informasi dan menentukan apakah halaman tersebut layak untuk diindeks.
• Pengindeksan: Status pengindeksan memberi tahu Anda bahwa halaman tersebut telah dianalisis oleh Googlebot dan disimpan di server indeks. Ini menunjukkan bahwa halaman tersebut memenuhi syarat untuk mendapatkan peringkat di SERP, tetapi tidak selalu berarti bahwa halaman tersebut saat ini sedang mendapatkan peringkat. 
• Status “Serving”: Status “Serving” menunjukkan bahwa sebuah halaman telah diindeks dan sedang ditampilkan dalam hasil pencarian Google.

Perhatikan bahwa ada empat tab dalam Laporan Cakupan Indeks Anda: Kesalahan, Valid dengan Peringatan, Valid, dan Dikecualikan. Karena tujuan kita adalah untuk menemukan dan mengatasi kesalahan pengindeksan, kita akan fokus pada tab Kesalahan. 

Sorot tab Kesalahan dan gulir ke bawah ke bagian Detail. Anda akan melihat bahwa kesalahan telah dikelompokkan ke dalam tampilan detail berikut:

• Tabel Alasan Halaman Tidak Diindeks: Tabel ini menunjukkan berbagai kode status yang menjelaskan mengapa URL tidak diindeks. Klik pada setiap baris untuk membuka tampilan detail URL yang terpengaruh oleh masalah ini, serta riwayat masalah ini di situs Anda.
• Tabel peningkatan pengalaman halaman: Tabel ini menunjukkan halaman yang telah diindeks, tetapi Google merekomendasikan beberapa perubahan yang akan meningkatkan kemampuan mesin pencari untuk memahami konten.
• Lihat data tentang halaman yang diindeks: Klik tautan ini untuk melihat daftar halaman yang telah diindeks, serta data historis tentang berapa banyak halaman di situs Anda yang telah diindeks dari waktu ke waktu.

Kita akan berfokus pada tabel “Mengapa halaman tidak diindeks” untuk tujuan mengidentifikasi dan memperbaiki kesalahan pengindeksan Search Console.

Menggunakan Alat Inspeksi URL untuk Mengidentifikasi Kesalahan Pengindeksan

Anda dapat menggunakan Alat Inspeksi URL untuk mendapatkan pemahaman yang lebih mendalam tentang bagaimana Google melihat halaman-halaman tertentu di situs web Anda. Gunakan alat ini kapan pun Anda menginginkan informasi detail tentang status pengindeksan halaman tertentu dan kesalahan apa pun yang mencegah halaman tersebut diindeks.

Berikut cara menggunakan Alat Inspeksi URL langkah demi langkah:

1. Temukan dan pilih Alat Inspeksi URL di header utama GSC.
2. Masukkan URL halaman web yang ingin Anda periksa dan tekan Enter.
3. Alat ini akan memberi tahu Anda apakah halaman tersebut telah diindeks, apakah statusnya tertunda, atau apakah belum diindeks.
4. Jika halaman tidak diindeks, Anda akan diberikan alasannya. Gunakan daftar di bawah ini untuk menentukan arti kesalahan pengindeksan pencarian umum dan tindakan apa yang harus diambil selanjutnya.

Kesalahan Umum di Search Console + Cara Memperbaikinya

Sekarang, mari kita bahas apa arti kesalahan umum di Search Console, bagaimana cara memperbaikinya, dan peringatan mana yang mungkin tidak memerlukan tindakan apa pun.

Kesalahan server (5xx)

Peringatan ini menunjukkan bahwa Googlebot mengalami kesalahan server saat mencoba merayapi halaman Anda untuk pengindeksan. Jika Anda dapat memuat halaman di browser Anda sekarang, kemungkinan besar masalah server telah teratasi dengan sendirinya. Jika tidak, Anda harus menghubungi pengembang atau penyedia hosting Anda untuk menentukan tindakan lebih lanjut yang diperlukan.

Kesalahan pengalihan

Peringatan ini menunjukkan bahwa Googlebot mengalami kesalahan pengalihan (redirect error) saat mencoba merayapi dan mengindeks halaman Anda. Kesalahan ini terjadi ketika rantai pengalihan terlalu panjang, pengalihan berulang kembali ke halaman yang sama, URL pengalihan akhirnya melebihi panjang maksimum, atau terdapat URL yang salah atau kosong dalam rantai pengalihan. 

Untuk mengatasi masalah ini, Anda perlu menyelidiki pengalihan (redirect) untuk mengidentifikasi dan memperbaiki kesalahan. Cobalah untuk menghindari rantai pengalihan dengan banyak langkah dan pastikan semua halaman yang mengarah ke tujuan akhir dimuat dengan benar. 

URL ditandai dengan “noindex”

URL ini telah ditandai dengan tag “noindex”, yang berarti Google tidak akan menyertakan halaman ini dalam hasil pencarian. Jika Anda khawatir, Anda perlu bertanya pada diri sendiri apakah Anda ingin pengunjung menemukan halaman ini melalui pencarian. Jika tidak, tidak ada tindakan lebih lanjut yang diperlukan.

URL yang dikirimkan memiliki masalah perayapan.

Peringatan ini menunjukkan bahwa halaman telah dikirim untuk diindeks, tetapi Googlebot mengalami masalah perayapan saat mencoba merayapi halaman tersebut. Gunakan Alat Inspeksi URL untuk mengetahui secara pasti apa masalahnya.

Seringkali, Google tidak dapat memuat halaman karena masalah dengan elemen halaman tertentu, seperti JavaScript, CSS, atau gambar tertentu. Coba kunjungi halaman tersebut untuk melihat apakah sekarang sudah dimuat dengan baik. Jika sudah, kirim ulang halaman tersebut untuk diindeks. Jika belum, Anda perlu memperbaiki masalah tersebut sebelum mengirim ulang.

Telah di-crawl – saat ini belum diindeks.

Halaman tersebut telah di-crawl tetapi tidak diindeks, namun tidak diberikan alasan spesifik. Anda sebaiknya mempertimbangkan untuk menambahkan konten yang bermanfaat dan meningkatkan optimasi untuk meningkatkan peluang diindeks pada saat halaman tersebut di-crawl lagi. Tidak perlu mengirimkan permintaan crawl ulang.

Diblokir oleh alat penghapus halaman

Halaman ini diblokir dari pengindeksan oleh seseorang di tim Anda menggunakan alat penghapus halaman. Anda harus memverifikasi bahwa halaman tersebut diblokir dengan sengaja. Perhatikan bahwa permintaan penghapusan hanya berlaku selama 90 hari. Setelah itu, halaman tersebut kemungkinan akan diindeks ulang kecuali Anda menerapkan tag “noindex” yang tepat, mengalihkan, atau menghapus halaman tersebut.

Telah menemukan

Halaman tersebut telah ditemukan tetapi belum diindeks. Ini biasanya berarti bahwa Google bermaksud untuk merayapi halaman tersebut tetapi menjadwal ulang perayapan karena alasan yang tidak ditentukan. Google akan mencoba merayapi halaman tersebut lagi di lain waktu.

Jika Anda sering mengalami kesalahan ini dan memiliki situs web yang besar (10.000+ halaman), ini bisa berarti server kelebihan beban saat Google mencoba merayapi halaman tersebut. Bicaralah dengan penyedia hosting Anda untuk mengetahui apakah ini penyebabnya dan langkah-langkah apa yang harus diambil.

Ini juga bisa berarti situs Anda telah melampaui anggaran perayapan (crawl budget) . Hal ini dapat terjadi ketika CMS Anda secara otomatis menghasilkan konten, atau Anda memiliki terlalu banyak konten buatan pengguna atau halaman kategori produk yang difilter. Pertimbangkan untuk menghapus konten yang berulang atau memblokir halaman yang tidak perlu agar tidak diindeks.

Diblokir oleh robots.txt

Halaman tersebut telah diblokir dari pengindeksan oleh file robots.txt situs Anda. Google mungkin masih mengindeks halaman tersebut jika dapat menemukan informasi tentangnya tanpa memuatnya. Anda harus memastikan bahwa halaman tersebut sengaja diblokir dari pengindeksan dan menerapkan arahan “noindex” yang tepat untuk memastikan bahwa halaman tersebut tidak akan diindeks di masa mendatang.

Diblokir karena permintaan tidak sah (401)

Ini adalah masalah umum ketika halaman memerlukan otorisasi, seperti kata sandi untuk akses. Anda harus memverifikasi bahwa persyaratan otorisasi telah diterapkan dengan benar dan tidak diperlukan tindakan lebih lanjut.

Perlu juga dicatat bahwa kesalahan ini dapat terjadi ketika pengembang menautkan ke halaman di situs uji coba saat situs masih dalam pembangunan, tetapi lupa memperbarui tautan setelah situs ditayangkan. Untuk memperbaiki masalah ini, Anda perlu memperbarui tautan tersebut.

Diblokir karena akses dilarang (403)

Kesalahan ini mirip dengan kesalahan 401. Halaman tidak akan diindeks karena Googlebot tidak dapat memberikan kredensial yang tepat. Jika Anda ingin halaman ini diindeks, Anda perlu mengizinkan akses untuk pengguna yang belum masuk atau secara eksplisit mengizinkan Googlebot untuk memuat halaman tanpa otentikasi.

Anomali merayap

Terdapat anomali yang tidak spesifik yang mencegah halaman tersebut di-crawl dan diindeks. Salah satu penyebab paling umum adalah halaman tersebut sudah tidak ada lagi atau halaman tersebut mengarahkan ke halaman yang menampilkan kesalahan 404. Pastikan hanya ada satu langkah dalam rantai pengalihan yang berasal dari halaman ini dan halaman yang Anda tuju dimuat dengan benar.

Halaman alternatif dengan tag kanonik yang tepat

Ini menunjukkan bahwa halaman tersebut berisi konten duplikat dan saat ini mengarah ke halaman kanonik yang benar . Tidak ada yang perlu dilakukan di sini kecuali Anda ingin mencari cara untuk menggabungkan kedua halaman tersebut menjadi satu URL .

Duplikat tanpa kanonikal yang dipilih pengguna

Peringatan ini menunjukkan bahwa terdapat halaman duplikat, tetapi tidak ada yang ditandai sebagai kanonikal. Google telah memilih halaman lain dan mengindeksnya sebagai kanonikal. Jika Anda merasa Google telah menandai URL yang salah, Anda harus memilih dan menandai halaman kanonikal yang benar dengan tag kanonikal yang tepat.

Halaman non-HTML duplikat

Google telah menemukan file PDF atau sumber daya non-HTML lainnya di situs web Anda yang merupakan duplikat dari halaman lain yang telah ditandai sebagai kanonik. Halaman-halaman ini seharusnya tidak diindeks, jadi tidak diperlukan tindakan lebih lanjut.

Duplikat, Google memilih kanonik yang berbeda dari pengguna.

URL untuk halaman ini ditandai sebagai kanonikal, tetapi Google menganggap halaman lain akan menjadi kanonikal yang lebih baik untuk kumpulan halaman ini. Hal ini dapat terjadi ketika Anda menentukan satu versi halaman sebagai kanonikal tetapi kemudian mengarahkan ke versi yang berbeda. Anda harus meninjau tag kanonikal untuk kumpulan halaman ini dan memastikan bahwa tag yang benar telah ditunjukkan.

Halaman tidak ditemukan (404)

Google menemukan URL tanpa permintaan untuk di-crawl, tetapi halaman tersebut sudah tidak ada lagi, dan tidak ada pengalihan yang diterapkan. Jika memungkinkan, Anda harus menerapkan pengalihan 301 ke halaman yang sesuai. Jika tidak ada halaman yang sesuai, Anda dapat membiarkan halaman 404 apa adanya, tetapi sebaiknya hindari halaman 404 sebisa mungkin.

Halaman dengan pengalihan

Halaman ini tidak diindeks karena telah dialihkan. Selama pengalihan halaman dilakukan dengan sengaja, tidak diperlukan tindakan lebih lanjut.

Mengantre untuk merangkak

Halaman ini telah ditambahkan ke antrian pengindeksan. Anda perlu memeriksanya kembali nanti untuk mendapatkan pembaruan.

Soft 404

Halaman ini tidak diindeks karena tidak lagi berisi informasi yang bermanfaat. Hal ini sering terjadi ketika pesan “tidak ditemukan” yang ramah pengguna ditambahkan tanpa kode respons HTTP 404 yang tepat. Anda harus menerapkan pengalihan 301 ke halaman yang sesuai, mengisi kembali halaman dengan konten yang bermanfaat, atau mengubahnya menjadi respons 404 yang tepat.

URL yang dikirimkan gagal

Ini menunjukkan URL yang telah diajukan untuk pengindeksan tetapi dihapus dari indeks tanpa alasan yang ditentukan. Anda harus mempertimbangkan untuk menambahkan konten informatif baru dan meningkatkan optimasi untuk meningkatkan peluang agar diindeks kembali atau menerapkan pengalihan 301 ke halaman yang sesuai.

Cara Memberitahu Google Bahwa Anda Telah Memperbaiki Masalah Pengindeksan

Berikut cara memberi tahu Google bahwa Anda telah memperbaiki masalah dan halaman siap untuk diindeks ulang oleh mesin pencari:

1. Buka Laporan Pengindeksan Halaman dan klik URL yang siap Anda kirim ulang.
2. Periksa kembali detail halaman untuk memastikan Anda telah mengatasi semua masalah yang tercantum. Setelah yakin, klik “Validasi Perbaikan”.
3. Google akan mengirimkan email yang menunjukkan bahwa proses validasi telah dimulai. Proses ini dapat memakan waktu beberapa minggu. Setelah Google menyelesaikan masalah, ada kemungkinan besar halaman Anda akhirnya akan diindeks dan mulai mendapatkan peringkat di SERP untuk kueri pencarian yang relevan.

Kesimpulan

Ketika Google tidak mengindeks halaman, hal itu bisa tampak seperti masalah yang membuat frustrasi dan membingungkan. Untungnya, mengatasi peringatan umum di Search Console sebenarnya merupakan proses yang cukup mudah. ​​Ada juga beberapa alasan yang sangat logis mengapa beberapa halaman seharusnya tidak diindeks sama sekali. 

Memahami arti peringatan umum di Search Console dan cara mengatasinya adalah langkah pertama yang penting untuk menyelesaikan masalah pengindeksan halaman Anda. Tidak sulit untuk memastikan halaman yang tepat diindeks dan Anda mendapatkan hasil yang diinginkan hanya dengan sedikit pengetahuan dasar.

Baca Juga

• Lonjakan Tayangan Google Search Console Tanpa Klik: Penyebab & Solusinya
• Penurunan Tayangan di Google Search Console, Bagaimana Menanganinya
• Soal Sandi Kotak 1 Lengkap dengan Pembahasan dan Jawaban