| Varsayılan - Tüm Botlar için: |
|
|
| Robot-Aralığı: |
|
| Sitemap: (yoksa boş bırakın) |
|
| |
|
|
| Normal Arama Botları: |
Google |
googlebot |
| |
MSN Search |
msnbot |
| |
Yahoo |
yahoo-slurp |
| |
Ask/Teoma |
teoma |
| |
Cuil |
twiceler |
| |
GigaBlast |
gigabot |
| |
Scrub The Web |
scrubby |
| |
DMOZ Checker |
robozilla |
| |
Nutch |
nutch |
| |
Alexa/Wayback |
ia_archiver |
| |
Baidu |
baiduspider |
| |
Naver |
naverbot, yeti |
| |
|
| Diğer Normal Botlar: |
Google Image |
googlebot-image |
| |
Google Mobile |
googlebot-mobile |
| |
Yahoo MM |
yahoo-mmcrawler |
| |
MSN PicSearch |
psbot |
| |
SingingFish |
asterias |
| |
Yahoo Blogs |
yahoo-blogs/v3.9 |
| |
|
| Yasaklı Klasörler: |
Klasör yolu roota ise başına bunu koyun: "/" |
| |
|
| |
|
| |
|
| |
|
| |
|
| |
|
