Google Bot Nedir ? Neden Googlebot Kullanılır ?

Googlebot Google tarafından kullanılan bir arama robotudur Google arama motoru için web'de bulunan dökümanları toplayarak aranabilir bir indeks üretir
Eğer bir sitenin webmaster'ı sitesinden bulunan bilgilerin Googlebot tarafından ve ya bir başka arama robotu tarafından indekslenmemesini isterse robotstxt dosyasına uygun komutlar girerek bunu yapabilir

Googlebot'un deepbot ve freshbot olarak iki sürümü bulunmaktadır Deepbot web sayfasındaki bütün bağlantıları takip ederek Google indeksleyicilerine en mümkün olan en fazla bilgiyi sağlar Şu anda (2007 şubat)bu işlemi her ay yeniden tamamlamaktadır Freshbot web'de yeni içeriği tararmaktadır Freshbot web sitelerini onların güncellenme sıklıklarına göre ziharet ederek yeni içeriği kaydeder

Teoride freshbot günlük bir gazeteyi günde bir haftalık bir dergiyi haftada bir ziyaret etmektedir Bu bilgi toplama işlemine aynı zamanda "Google Dance" de denmektedir