Добавка к robots.txt

Боты приходящие на сайт создают нагрузку так же как и пользователи. Но в большинстве своём это боле менее адекватно.
Но есть бот Yahoo который сканит сайты в огромное число потоков. Мало того что это бесполезно, так ещё и жрёт ресурсы.
Убавим ему аппетит вот так ( в самый конец роботс).

User-agent: Slurp
Crawl-delay: 150 # можно поставить под себя(100 например)

Можно добавить так же строку запрещающую ботам сканить всё что попало. например аккаунты. В индекс они не нужны, за одно и уменьшим нагрузку.

Disallow: /index.php?name=Account

либо

Disallow: /*Account

Собственно по этим примерам можно дописать всё что нужно именно вашим проектам.

Для тех кто использует SMF форум, Более подробно про роботс и улучшение индексации, тут

Собственно видимо не дописал пост, так как стучат в асю с вопросами.

Вид такой должен получиться.

User-agent: *
Disallow: /admin/
Disallow: /ajax/
Disallow: /blocks/
Disallow: /config/
Disallow: /function/
Disallow: /modules/
Disallow: /templates/
Disallow: /index.php?name=Account
# Disallow: / скрытые разделы вашего сайта( от гостей)

User-agent: Slurp
Crawl-delay: 150

Отдельные блоки для определённых ботов в большинстве своём писать нет смысла.