Боты приходящие на сайт создают нагрузку так же как и пользователи. Но в большинстве своём это боле менее адекватно.
Но есть бот Yahoo который сканит сайты в огромное число потоков. Мало того что это бесполезно, так ещё и жрёт ресурсы.
Убавим ему аппетит вот так ( в самый конец роботс).
Можно добавить так же строку запрещающую ботам сканить всё что попало. например аккаунты. В индекс они не нужны, за одно и уменьшим нагрузку.
либо
Собственно по этим примерам можно дописать всё что нужно именно вашим проектам.
Для тех кто использует SMF форум, Более подробно про роботс и улучшение индексации, тут
Но есть бот Yahoo который сканит сайты в огромное число потоков. Мало того что это бесполезно, так ещё и жрёт ресурсы.
Убавим ему аппетит вот так ( в самый конец роботс).
User-agent: Slurp
Crawl-delay: 150 # можно поставить под себя(100 например)
Crawl-delay: 150 # можно поставить под себя(100 например)
Можно добавить так же строку запрещающую ботам сканить всё что попало. например аккаунты. В индекс они не нужны, за одно и уменьшим нагрузку.
Disallow: /index.php?name=Account
либо
Disallow: /*Account
Собственно по этим примерам можно дописать всё что нужно именно вашим проектам.
Для тех кто использует SMF форум, Более подробно про роботс и улучшение индексации, тут