Google Bot Nedir ? Neden Googlebot Kullanılır ?
 

Googlebot Google tarafından kullanılan bir arama robotudur. Google arama motoru için web'de bulunan dökümanları toplayarak aranabilir bir indeks üretir.
Eğer bir sitenin webmaster'ı sitesinden bulunan bilgilerin Googlebot tarafından ve ya bir başka arama robotu tarafından indekslenmemesini isterse robots.txt dosyasına uygun komutlar girerek bunu yapabilir.

Googlebot'un deepbot ve freshbot olarak iki sürümü bulunmaktadır. Deepbot web sayfasındaki bütün bağlantıları takip ederek Google indeksleyicilerine en mümkün olan en fazla bilgiyi sağlar. Şu anda (2007 şubat)bu işlemi her ay yeniden tamamlamaktadır. Freshbot web'de yeni içeriği tararmaktadır. Freshbot web sitelerini onların güncellenme sıklıklarına göre ziharet ederek yeni içeriği kaydeder.

Teoride freshbot günlük bir gazeteyi günde bir haftalık bir dergiyi haftada bir ziyaret etmektedir. Bu bilgi toplama işlemine aynı zamanda "Google Dance" de denmektedir