Чтение RSS каналов

Форум

Открыть Ответить

Корректный robots.txt

0

0
1
24.06.2009 19:28:26

Навеяно панелью управления Яндекса. Собственно подскажите, как корректно составить robots.txt, чтобы указать поисковику основное зеркало и карту сайта? Такой вариант будет корректен?

<br /> User-agent: *<br /> Disallow: /admin/<br /> Disallow: /blocks/<br /> Disallow: /config/<br /> Disallow: /function/<br /> Disallow: /modules/<br /> Disallow: /templates/<br /> Disallow: /javascripts/<br /> Sitemap: http://astralia.org.ru/sitemap.xml<br /> <br /> User-agent: Yandex<br /> Allow: /<br /> Sitemap: http://astralia.org.ru/sitemap.xml<br /> Host: astralia.org.ru<br />



Версия системы: SLAED CMS 2.6 Lite
Версия PHP: PHP 5
3.69

3.69
2
24.06.2009 19:31:32

Хороший вопрос. Интересно мнение профессионалов.

3.89

3.89
3
24.06.2009 20:01:5424.06.2009 20:09:04

Директива host добавляется сразу после Disallow или Allow, иначе разногласия в стандарте будет для роботов.
И какой смысл два раза указывать карту, сначала для всех роботов, а затем для Яндекса лично? Чем меньше записей в robots.txt тем проще и вернее он считывается. Allow указывать не надо, Вы уже указали что нельзя индексировать, значит все остальное можно, иначе получается, что Вы сначала указываете каталоги которые нельзя обходить, а потом следом указываете что все можно (правда только Яше).
И Вы хотите чтобы про основное зеркало знал только Яндекс? Зачем такой геморой, лучше сделайте так:

User-agent: *<br /> Disallow: /admin/<br /> Disallow: /blocks/<br /> Disallow: /config/<br /> Disallow: /function/<br /> Disallow: /modules/<br /> Disallow: /templates/<br /> Disallow: /javascripts/<br /> Host: astralia.org.ru<br /> Sitemap: http://astralia.org.ru/sitemap.xml

Этот вариант пожалуй будет корректнее. Проверить правильность можете всегда по адресу http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

3.92

3.92
4
24.06.2009 20:26:3824.06.2009 20:29:10

Читал, что Яндекс может не корректно воспринять для нестандартных директив User-agent: * Смайл - 12

http://s13.by/2008/04/19/pochemu-yandeks-kleitsya-k-moemu-saytu-nastraivaem-robotstxt/



Не стоит использовать дополнительные директивы в секции “*”. То есть рекомендуется создавать специальные секции для нестандартных директив, таких как “Host”.

И не смотря на всю популярность Яндекса и лидирующие позиции в Рунете, его роботы относятся к категории “некоторые”.

Так неправильно:

User-agent: *
Disallow: /css/
Host: [url=http://www.example.com]www.example.com[/url]

А вот так – правильно:

User-agent: *
Disallow: /css/

User-agent: Yandex
Disallow: /css/
Host: [url=http://www.example.com]www.example.com[/url]



Исходя из данной статьи прописал два раза Смайл - 12 Поэтому и хотелось бы разобраться, как нужно.

3.69

3.69
5
24.06.2009 20:36:0224.06.2009 20:55:01

septron, бред это полный. Это было около год назад примерно, уже давно другая ситуация. Можете почитать http://help.yandex.ru/webmaster/?id=996567#996568
Единственное что требует Яндекс, так это обязательного указания директивы Host, и то это необходимо только для робота-зеркальщика, а не для основного бота, но выполнять это требование необходимо, иначе зеркало не определится. Все остальное должно строго соответствовать стандартам http://www.robotstxt.org
Просто автор той статьи немного не правильно понял смысл директорий. Если будет указано User-agent: и User-agent: Yandex, то робот Яндекса однозначно отдаст приоритет записи User-agent: Yandex, и что там в запрете в директории User-agent: - ему уже по барабану будет, он Вам наиндексирует все подряд, так как Вы ему абсолютно все обходить разрешили.
Если исходить из статьи (хоть она и не совсем правильная), то нужно писать тогда так:

User-agent: *<br /> Disallow: /admin/<br /> Disallow: /blocks/<br /> Disallow: /config/<br /> Disallow: /function/<br /> Disallow: /modules/<br /> Disallow: /templates/<br /> Disallow: /javascripts/<br /> Host: astralia.org.ru<br /> Sitemap: http://astralia.org.ru/sitemap.xml]http://astralia.org.ru/sitemap.xml<br /> <br /> User-agent: Yandex<br /> Disallow: /admin/<br /> Disallow: /blocks/<br /> Disallow: /config/<br /> Disallow: /function/<br /> Disallow: /modules/<br /> Disallow: /templates/<br /> Disallow: /javascripts/<br /> Host: astralia.org.ru<br /> Sitemap: http://astralia.org.ru/sitemap.xml]http://astralia.org.ru/sitemap.xml

3.92

3.92
6
24.06.2009 20:40:22

GRAFLEKX, большое спасибо! Смайл - 04

3.69

3.69
7
24.06.2009 20:44:22

septron, да особо не за что Смайл - 13.
И такую специфическую инфу лучше всегда читать на самих поисковиках, чем на каких-то сайтах. Вопрос тонкий, а более лучшую информацию чем сайт самого поисковика не предоставит ни кто.

3.92

3.92
8
24.06.2009 21:15:07

А я не занимаюсь продвижением своих сайтов. Наверное, я лох... Смайл - 06

3.89

3.89
9
25.06.2009 08:36:18

Chianuk, да это и не продвижение как таковое, просто у человека случилась проблема с зеркалом, её нужно решать, иначе так и будет клеить.
Я вот постоянно экспериментирую с продвижением, у меня Тиц и PR скачут туда сюда, специально сайт для этого создал, не жалко, если что.
Пишу скрипты для этих целей, для того и эксперименты нужны.
Вопрос продвижения, тоже довольно тонкий, можно так продвинуть, что потом расхлебывать будешь долго Смайл - 06. Я вот последний раз доэкспериментировался - попал в автоматический бан в Яндексе и Гугле, теперь выясняю из-за чего, и что не так. Но зато опыт в этом деле приобрел большой Смайл - 04. Уже лет 5 этим занимаюсь.

3.92

3.92
10
25.06.2009 09:02:52

Весьма похвально. А предыдущий пост - это у меня так, мысли вслух были... Смайл - 04

3.89

3.89
Открыть Ответить
Хотите опробовать SLAED CMS в действии?

Технологии

PHP MySQL HTML 5 CSS 3 jQuery jQuery UI

Контакты

  • D-49179, Deutschland
    Ostercappeln, Im Siek 6
  • +49 176 61966679

  • https://slaed.net
Идеи и предложения
Обратная связь