Боты приходящие на сайт создают нагрузку так же как и пользователи. Но в большинстве своём это боле менее адекватно.
Но есть бот Yahoo который сканит сайты в огромное число потоков. Мало того что это бесполезно, так ещё и жрёт ресурсы.
Убавим ему аппетит вот так ( в самый конец роботс).
User-agent: Slurp<br />
Crawl-delay: 150 # можно поставить под себя(100 например)
Можно добавить так же строку запрещающую ботам сканить всё что попало. например аккаунты. В индекс они не нужны, за одно и уменьшим нагрузку.
Disallow: /index.php?name=Account
либо
Disallow: /*Account
Собственно по этим примерам можно дописать всё что нужно именно вашим проектам.
Для тех кто использует SMF форум, Более подробно про роботс и улучшение индексации, тут
[url=https://worldwebinfo.ru]World Web Info - лучшее и полезное для жизни [/url]
[url=https://max.worldwebinfo.ru]Каталог каналов, чатов мессенджера MAX[/url]
