STATISTIK CRAWL adalah laporan yang baik dalam Google Search Console, meskipun tidak dapat dilihat dari interface utama. Inilah mengapa kita perlu menemukannya.
1. Bagaimana Situs Web di crawl?
2. Memahami Statistik Perayapan Website
3. Informasi Berguna Lainnya
4. Menggunakan Statistik Perayapan di Tools Inspeksi URL
5. Kesimpulan
Ada satu laporan di Google Search Console yang sangat berguna dan cukup sulit ditemukan, terutama jika kita baru memulai perjalanan SEO web.
Ini adalah salah satu tools paling ampuh untuk setiap profesional SEO maupun digital marketing, meskipun kita bahkan tidak dapat melihatnya dari interface utama Google Search Console.
Saya berbicara tentang laporan statistik Perayapan.
Dalam artikel ini, kita akan mempelajari mengapa laporan ini sangat penting, cara mengaksesnya, dan cara menggunakannya untuk keuntungan SEO.
1. Bagaimana Situs Web kita Di crawl?
Anggaran crawl (jumlah halaman yang dapat dan ingin dirayapi Googlebot) sangat penting untuk SEO, terutama untuk situs web besar.
Jika kita memiliki masalah dengan anggaran crawl situs, Google mungkin tidak mengindeks beberapa halaman web yang berharga.
Dan seperti kata pepatah, jika Google tidak mengindeks sesuatu, maka itu tidak ada.
Google Search Console dapat menunjukkan berapa banyak halaman di situs website yang dikunjungi oleh Googlebot setiap hari.
Berbekal pengetahuan ini, kita dapat menemukan anomali yang mungkin menyebabkan masalah SEO pada situs.
2. Memahami Statistik Perayapan Website
Untuk mengakses laporan statistik Perayapan web, masuk ke akun Google Search Console dan buka Pengaturan (Settings) > Statistik perayapan (Crawl stats).
Berikut adalah semua dimensi data yang dapat kita periksa di dalam laporan statistik Perayapan:
a. Status Host
Bayangkan kita memiliki website di shop.website.com dan blog di blog.website.com.
Dengan menggunakan laporan statistik crawl, kita dapat dengan mudah melihat statistik perayapan yang terkait dengan setiap subdomain situs web kita.
Sayangnya, metode ini saat ini tidak berfungsi dengan subfolder.
b. Status HTTP
Satu kasus penggunaan lain untuk laporan statistik Perayapan adalah melihat kode status URL yang di crawl.
Itu karena kita tidak ingin Googlebot menghabiskan sumber daya untuk merayapi laman yang bukan HTTP 200 OK. Ini membuang-buang anggaran penjelajahan web site kita.
HTTP 200 OK respon status sukses merupakan kode respon yang menandakan bahwa request sukses. respon 200 dapat dichace secara default. Arti dari sukses tergantung pada fungsi request HTTP: GET : Resource telah di ambil dan ditransmisikan ke pesan body.
Untuk melihat pengelompokan URL yang di crawl per kode status, buka Pengaturan (Settings ) > Statistik Perayapan (Crawl Stats) > Pengelompokan permintaan perayapan (Crawl requests breakdown).
Dalam kasus khusus ini, 16% dari semua permintaan dibuat untuk redirected pages.
Jika kita melihat statistik seperti ini, saya sarankan untuk menyelidiki lebih lanjut dan mencari info pengalihan dan potensi masalah lainnya.
Menurut pendapat saya, salah satu kasus terburuk yang dapat kita lihat di sini adalah kesalahan 5xx dalam jumlah besar.
Mengutip dokumentasi Google: "Jika situs melambat atau merespons dengan kesalahan server, batasnya turun dan Googlebot lebih sedikit merayapi."
Jika tertarik tertarik dengan topik ini, berikut kesalahan 5xx di Google Search Console.
Inilah Yang Menyebabkan Kesalahan dengan kode 500
Terkadang hal ini menunjukkan kesalahan pengkodean di CMS yang menyebabkan laman atau seluruh situs tidak dirender. Kode PHP bisa menjadi rewel dan terkadang sesuatu yang kecil seperti meninggalkan koma sudah cukup untuk merusak situs.
Itulah mengapa selalu merupakan ide yang baik saat mengedit kode untuk meninggalkan salinan file asli (renamed) di server dan menyimpan salinan cadangan dari file asli yang belum diedit di komputer sebelum mengedit versi lain dari file itu.
Dengan begitu, jika keadaan memburuk, Kita selalu dapat mengunggah yang asli dan memulai lagi.
Sumber 500 Kode kesalahan lainnya adalah:
• File .htaccess salah dikonfigurasi
• File konfigurasi CMS inti memiliki informasi yang salah seperti informasi database
• Versi PHP tidak kompatibel dengan CMS
• Kode dalam template CMS telah diubah dengan cara yang menambah kesalahan
Di atas adalah semua kesalahan yang saya buat pada satu waktu atau lainnya yang menyebabkan kesalahan 500. Ini terjadi pada semua orang yang mengedit kode situs web. Tidak ada seorangpun yang sempurna.
Jika Google Search Console melaporkan kode respons server 5xx tetapi situs tersebut berfungsi dengan baik, mungkin itu adalah masalah perayapan yang disebabkan oleh server yang tidak merespons, terutama di malam hari.
Untuk menguji server, kita mungkin ingin merayapi situs dengan tools seperti Screaming Frog.
Sebagai alternatif, kita juga dapat menggunakan tools gratis seperti Xenu Link Sleuth untuk menjalankan banyak perayap di situs secara bersamaan.
3. Tujuan
Laporan statistik Perayapan memecah tujuan perayapan menjadi dua kategori:
a. URL dirayapi untuk tujuan direfresh (penjelajahan ulang halaman yang sudah dikenal, misalnya, Googlebot mengunjungi beranda web untuk menemukan link dan konten baru).
b. URL dirayapi untuk tujuan Penemuan (Discovery) (URL yang dirayapi untuk pertama kali).
Pengelompokan ini sangat berguna, dan inilah contohnya:
Saya baru-baru ini menemukan situs web dengan #1 juta halaman yang diklasifikasikan sebagai "Ditemukan - saat ini tidak diindeks".
Masalah ini dilaporkan untuk 90% dari semua halaman di situs itu.
(Jika kita tidak mengetahuinya, "Ditemukan tetapi tidak diindeks" berarti Google menemukan halaman tertentu tetapi tidak mengunjunginya. sebagia contoh Jika kalian menemukan restoran baru di kota, tetapi tidak mencobanya, sama artinya seperti itu.)
Salah satu opsinya adalah menunggu, berharap Google mengindeks halaman ini secara bertahap.
Pilihan lainnya adalah melihat data dan mendiagnosis masalah.
Jadi saya masuk ke Google Search Console dan menavigasi ke Pengaturan> Statistik Perayapan> Permintaan Perayapan: HTML (Crawl Requests: HTML) .
Ternyata, rata-rata, Google hanya mengunjungi halaman di situs itu per hari.
Tapi ini sesuatu yang lebih penting.
Berkat laporan statistik Perayapan, saya menemukan bahwa hanya 35% dari URL ini yang dirayapi karena alasan penemuan.
Google membutuhkan waktu 382 hari untuk mengindeks seluruh situs web dengan kecepatan seperti itu.
Menemukan ini adalah pengubah permainan. Semua pengoptimalan pencarian lainnya ditunda karena kami sepenuhnya berfokus pada crawl budget optimization.
4. Jenis File
Statistik Perayapan GSC Google Webmaster/Search Console dapat berguna untuk situs web JavaScript. kita dapat dengan mudah memeriksa seberapa sering Googlebot merayapi file JS yang diperlukan untuk perenderan yang benar.
Jika situs kita penuh dengan gambar dan penelusuran gambar sangat penting untuk strategi SEO web, laporan ini juga akan sangat membantu - kita dapat melihat seberapa baik Googlebot dapat merayapi gambar di website.
5. Jenis Googlebot
Terakhir, laporan statistik Perayapan memberi kita pengelompokan mendetail dari jenis Googlebot yang digunakan untuk merayapi situs web.
Kita dapat mengetahui persentase permintaan yang dibuat oleh Googlebot Mobile atau Desktop dan bot Gambar, Video, dan Iklan.
Informasi Berguna Lainnya
Perlu diperhatikan bahwa laporan statistik Perayapan memiliki informasi tak ternilai yang tidak akan kita temukan di log server web:
a. Kesalahan DNS.
b. Batas waktu halaman.
c. Masalah host seperti masalah saat mengambil file robots.txt.
Menggunakan Statistik Perayapan di Inspeksi URL Webmaster
Kita juga dapat mengakses beberapa data crawl terperinci di luar laporan statistik crawl, di Alat Inspeksi URL.
Saya baru-baru ini bekerja dengan situs web online dan, setelah beberapa analisis awal, melihat dua masalah mendesak:
a. Banyak halaman produk tidak diindeks di Google.
b. Tidak ada hubungan internal antar produk. Satu-satunya cara bagi Google untuk menemukan konten baru adalah melalui sitemap dan halaman kategori web.
Langkah berikutnya adalah mengakses log server dan memeriksa apakah Google telah merayapi halaman kategori yang diberi pagination halaman.
Tetapi mendapatkan akses ke log server seringkali sangat sulit, terutama saat kita bekerja dengan organisasi situs web besar.
Laporan statistik Perayapan Google Search Console datang untuk menyelamatkan.
Izinkan saya memandu melalui proses yang saya gunakan dan yang dapat kita gunakan jika kalian mengalami masalah serupa:
a. Pertama, cari URL di Inspeksi URL. Saya memilih salah satu pagination halaman dari salah satu kategori utama situs.
b. Lalu, buka Cakupan (Coverage ) > laporan Perayapan (Crawl report).
Dalam kasus ini, URL terakhir di-crawl tiga bulan lalu.
Ingatlah bahwa ini adalah salah satu halaman kategori utama dari situs web yang belum dirayapi selama lebih dari tiga bulan!
Saya pergi lebih dalam dan memeriksa sampel halaman kategori lainnya.
Ternyata Googlebot tidak pernah mengunjungi banyak halaman kategori utama. Banyak dari halaman web masih belum dikenal oleh Google.
Saya rasa saya tidak perlu menjelaskan betapa pentingnya memiliki informasi itu ketika kita sedang berupaya meningkatkan visibilitas situs web apa pun.
Laporan statistik Perayapan memungkinkan kita untuk melihat hal-hal seperti ini dalam beberapa menit.
Kesimpulan
Seperti yang kita lihat, laporan statistik Perayapan adalah tools SEO yang bagus.
Ini akan membantu kita mendiagnosis masalah pengindekan dan mengoptimalkan crawl budget sehingga Google dapat menemukan dan mengindeks konten berharga web dengan cepat, yang terutama penting untuk situs besar.
Saya memberi beberapa kasus penggunaan untuk jadi studi kasus, tetapi sekarang kalian dapat mengambil manfaatnya dari artikel ini.
