Robots.txt sizin botun yapacaklarını kısıtlayabileceğiniz bir txt dosyasıdır buraya kodları yazarak botların indexlemesini ve indexlememesini sağlayabilirsiniz. İçerik şöyle olmalıdır;
User-agent:Googlebot
Disallow:/admin/
girmesini istemediğiniz klasörleri bu şekilde belirtebilirsiniz disallow:/admin/
PHP Kodu:
Allow:*
Disallow:/images/
Disallow:/privacy
1. satırda heryere girmesine izin verirken 2. ve 3. satırda images ve privacy dosyalarına girmelerini yasaklamış bulunmaktayız .
bütün arama motorları için
PHP Kodu:
User-agent:*
kullanım bu şekildedir.
aşagıda birkaç bot ismi mevcut
Googlebot
SlowBot
heraSpider
Surfbot
Bizbot003
TI Spider
w3index
MyCNNSpider
SummyCrawler
Bu sayede botların aslında olmayan sayfalarda gezinmesini önleyebilirsiniz.