Чтение RSS каналов

Форум

Открыть Ответить

Добавка к robots.txt

5

5
1
02.11.2008 14:18:0821.09.2011 17:22:16
Боты приходящие на сайт создают нагрузку так же как и пользователи. Но в большинстве своём это боле менее адекватно.
Но есть бот Yahoo который сканит сайты в огромное число потоков. Мало того что это бесполезно, так ещё и жрёт ресурсы.
Убавим ему аппетит вот так ( в самый конец роботс).

User-agent: Slurp
Crawl-delay: 150 # можно поставить под себя(100 например)


Можно добавить так же строку запрещающую ботам сканить всё что попало. например аккаунты. В индекс они не нужны, за одно и уменьшим нагрузку.

Disallow: /index.php?name=Account

либо
Disallow: /*Account


Собственно по этим примерам можно дописать всё что нужно именно вашим проектам.

Для тех кто использует SMF форум, Более подробно про роботс и улучшение индексации, тут
3.84

3.84
2
03.11.2008 11:12:42
Собственно видимо не дописал пост, так как стучат в асю с вопросами.

Вид такой должен получиться.
User-agent: *
Disallow: /admin/
Disallow: /ajax/
Disallow: /blocks/
Disallow: /config/
Disallow: /function/
Disallow: /modules/
Disallow: /templates/
Disallow: /index.php?name=Account
# Disallow: / скрытые разделы вашего сайта( от гостей)

User-agent: Slurp
Crawl-delay: 150


Отдельные блоки для определённых ботов в большинстве своём писать нет смысла.
3.84

3.84
Открыть Ответить
Хотите опробовать SLAED CMS в действии?

Технологии

PHP MySQL HTML 5 CSS 3 jQuery jQuery UI

Контакты

  • D-49179, Deutschland
    Ostercappeln, Im Siek 6
  • +49 176 61966679

  • https://slaed.net
Идеи и предложения
Обратная связь