Apa Itu Googlebot? Dan Bagaimana Cara Kerjanya

Googlebot merupakan perangkat lunak perayap yang ditugaskan khusus menemukan dan merayapi setiap konten halaman website.

Apa itu Googlebot?

  • Googlebot merupakan program perayap halaman web—webcrawler—yang di gunakan oleh Google.
  • Googlebot digunakan oleh Google untuk menemukan dan memanen halaman-halaman web.
  • Semua informasi tentang web yang dikumpulkan oleh Googlebot selanjutnya digunakan untuk memperbaharui (Update) Google Indeks.

Setiap harinya Googlebot melakukan perayapan terhadap milyaran halaman website dan secara terus menerus “melihat” dan mengakses seluruh halaman yang ada di seluruh website ia kunjungi.

Apakah web crawler?

  • Web crawlers (Juga populer dikenal dengan nama bot, robot dan spider) merupakan tipe perangkat lunak yang didesain untuk mengikuti tautan, mengumpulkan informasi (Dokumen) kemudian mengirimkan informasi tersebut ke tempat tujuan.

Apakah tugas Googlebot?

Apakah tugas Googlebot

  • Googlebot memanen konten dari halaman web (Yakni teks, kode dan sumber daya website yang dikunjunginya).
  • Jika konten yang tengah ia panen memiliki tautan-tautan ke tempat lain, maka akan dicatat.
  • Kemudian semua informasi yang terkumpul dikirim ke Google.

Googlebot dan website kita

Seluruh informasi yang dikirimkan Googlebot ke komputer Google akan memperbaharui / update indeks Google (Google Index).

Google index merupakan tempat dimana semua halaman web di bandingkan dan diberi rangking.

  • Agar halaman web anda dapat ditemukan Google, maka ia harus terlihat oleh Googlebot.
  • Agar halaman web anda mendapat rangking, maka harus dapat di akses oleh Googlebot.

Perbedaan antara Googlebot dan Google index

Perbedaan Googlebot dan Google indeks//1.bp.blogspot.com/-BSQJR6gJGF0/W7jnGT0SVCI/AAAAAAAAAQ8/ObACTt-ZYlstGFPMmoG1ocfGaeeeYX6BwCLcBGAs/s1600/Googlebot.png

Googlebot

  • Googlebot memanen konten dari website yang dirayapinya
  • Googlebot tidak melakukan penilaian terhadap konten, ia hanya memanen / mengumpulkan saja.
  • Hal yang dipedulikan oleh Googlebot adalah “Apakah saya bisa mengakses konten ini?” dan “Apakah ada konten lainnya yang dapat saya akses?”

Google index

  • Google index “menganalisa” konten yang diserahkan oleh Googlebot dan kemudian digunakan untuk memberi ranking pada website tersebut.

Jadi langkah pertama untuk mendapat ranking dari Google adalah: “konten website anda harus dapat di akses oleh Googlebot dan dipanen isinya”.

Pastikan Googlebot dapat melihat dan mengakses halaman web anda

Karena Googlebot merupakan tahapan yang digunakan oleh Google untuk mengupdate indeks mereka, maka membuat Googlebot dapat “melihat” dan mengakses halaman web anda merupakan hal yang esensi.

Oleh karena itulah hal mendasar yang perlu dijadikan pedoman oleh seorang blogger dan webmaster ialah:

  1. Apakah Googlebot dapat “melihat” seluruh halaman web saya?
  2. Dapatkah Googlebot mengakses seluruh konten beserta tautannya?
  3. Dapatkah Googlebot mengakses seluruh sumber daya (HTML, CSS, Javascript, dll) dari halaman-halaman saya?

Mari kita simak secara langsung.

1. Dapatkah Googlebot “melihat” halaman website saya?

Dapatkah Googlebot

Untuk mengetahui apa saja yang sudah Google “lihat” dari website anda, dengan mengetik ini di Google search.

site:namadomain.com

Dengan menempatkan kata “site:” di depan nama domain milik anda akan meminta Google untuk menampilkan semua halaman website anda yang telah masuk indeksnya.

Petunjuk: Untuk memastikan anda mengetiknya dengan benar adalah ikuti contoh berikut.

site:seotimur.com

Ganti seotimur.com dengan nama domain anda.

Jikalau anda melihat total jumlah halaman yang ditampilkan Google lebih sedikit daripada yang anda harapkan, maka bisa jadi anda telah memblokir Googlebot melalui file robot.txt.

2. Dapatkah Googlebot mengakses semua konten dan tautan di website saya?

Dapatkah Googlebot mengakses semua konten dan tautan di website saya?

Dan selanjutnya ialah memastikan bahwa Googlebot dapat melihat seluruh konten beserta tautannya dengan benar.

Meskipun Googlebot dapat melihat website anda bukan berarti ia mengetahui dengan benar mengenai dan tentang apa website anda.

Googlebot Mencari halaman

Perlu diingat bahwa Googlebot tidak melihat sebuah website seperti manusia melihatnya. Seperti pada gambar diatas, kita—manusia—dapat melihat gambar yang terletak disana.

Namun yang dilihat Googlebot hanyalah kode untuk “memanggil” gambar.

Googlebot bisa mengakses halaman web (file HTML), namun tidak dapat mengakses gambar yang ia temukan di dalam halaman web dikarenakan sejumlah alasan.

Jika begitu keadaannya, maka Google indeks tidak akan memasukan gambar, dampaknya Google tidak cukup memahami halaman website anda.

Bagaimana Googlebot “melihat” website?

Googlebot tidak melihat halaman web secara utuh / keseluruhan, ia hanya melihat komponen-komponen secara individu di halaman web.

Bagaimana Googlebot melihat website

Maka apabila salah satu komponen tersebut tidak dapat di akses oleh Googlebot, maka ia tidak akan mengirimkannya ke Google Index.

Dengan menggunakan contoh awal kami, maka inilah ilustrasi bagaimana Googlebot melihat sebuah halaman web (HTML dan CSS) namun tidak melihat gambar.

Tidak Ada Gambar Googlebot

Ini bukan hanya sekedar gambar. Intinya hal ini bukanlah perkara remeh jika anda ingin mendapat rangking yang anda diharapkan.

Karena untuk memberi ranking, pihak Google menggunakan semua komponen di website dan gambar adalah salah satunya guna menentukan relevansi website terhadap keyword tertentu.

Oleh karena itu pastikan Googlebot dapat melihat gambar di website anda.

Ada banyak penyebab yang mungkin menjadi biang keladi kenapa Googlebot tidak dapat mengakses konten anda, berikut ini adalah sebagian penyebab itu:

  • Sumber daya yang diblokir oleh robots.txt.
  • Tautan-tautan halaman yang tidak terbaca atau tidak benar.
  • Banyaknya file Flash dan teknologi lainnya yang belum di support perayap web / Googlebot.
  • Kesalahan HTML dan kode.
  • Tautan dinamis yang rumit.

Semua hal tadi dapat dengan cepat di cek menggunakan Google guidelines tool.

Dan di Google Search Console anda bisa menggunakan fitur “ambil dan render atau fetch and render”. Ia akan memaparkan contoh langsung mengenai bagaimana Google melihat sebuah halaman website.

3. Dapatkah Googlebot mengakses seluruh sumberdaya halaman web saya?

Googlebot Tidak Bisa Merayapi CSS dan Javascript

Jika file CSS dan javascript diblokir oleh file robots.txt anda, maka Googlebot akan salah dalam memahami konten web anda (Ini lebih buruk dibandingkan pada kasus gambar tidak terbaca diatas).

Perlu anda ketahui bahwa tampilan sebuah halaman web akan amat berbeda jikalau sumberdaya halaman tidak ter-unggah dikarenakan tidak dapat diakses oleh Googlebot.

Sebagai ilustrasi, sebuah halaman web untuk mobile menggunakan CSS dan Javascript untuk ditampilkan berdasarkan dimensi perangkat mobile.

Jikalau Googlebot tidak dapat mengakses CSS atau Javascript dari halaman tersebut, maka ia tidak mengetahui bahwa halaman tersebut support perangkat mobile.

Dalam skenario ini dan skenario yang identik lainnya, Google akan “melihat” halaman anda, bahkan memahaminya, namun tidak menyadari sepenuhnya bahwa halaman tersebut memiliki konten lainnya. Oleh karena itulah website anda harus terlihat jelas secara default.

Karena hal itulah si website tidak mendapat rangking dari konten lain, terkecuali hanya dari konten HTML yang dapat di akses Googlebot.

Itulah sedikit penjelasan mengenai apa itu Googlebot dan cara kerjanya dan semoga bermanfaat.

Tinggalkan komentar