Чтение RSS каналов

Форум

Открыть Ответить

Корректный robots.txt

0

0
1
24.06.2009 19:28:26
Навеяно панелью управления Яндекса. Собственно подскажите, как корректно составить robots.txt, чтобы указать поисковику основное зеркало и карту сайта? Такой вариант будет корректен?


User-agent: *
Disallow: /admin/
Disallow: /blocks/
Disallow: /config/
Disallow: /function/
Disallow: /modules/
Disallow: /templates/
Disallow: /javascripts/
Sitemap: http://astralia.org.ru/sitemap.xml

User-agent: Yandex
Allow: /
Sitemap: http://astralia.org.ru/sitemap.xml
Host: astralia.org.ru


Версия системы: SLAED CMS 2.6 Lite
Версия PHP: PHP 5
3.69

3.69
2
24.06.2009 19:31:32
Хороший вопрос. Интересно мнение профессионалов.
3.88

3.88
3
24.06.2009 20:01:5424.06.2009 20:09:04
Директива host добавляется сразу после Disallow или Allow, иначе разногласия в стандарте будет для роботов.
И какой смысл два раза указывать карту, сначала для всех роботов, а затем для Яндекса лично? Чем меньше записей в robots.txt тем проще и вернее он считывается. Allow указывать не надо, Вы уже указали что нельзя индексировать, значит все остальное можно, иначе получается, что Вы сначала указываете каталоги которые нельзя обходить, а потом следом указываете что все можно (правда только Яше).
И Вы хотите чтобы про основное зеркало знал только Яндекс? Зачем такой геморой, лучше сделайте так:
User-agent: *
Disallow: /admin/
Disallow: /blocks/
Disallow: /config/
Disallow: /function/
Disallow: /modules/
Disallow: /templates/
Disallow: /javascripts/
Host: astralia.org.ru
Sitemap: http://astralia.org.ru/sitemap.xml

Этот вариант пожалуй будет корректнее. Проверить правильность можете всегда по адресу http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml
3.97

3.97
4
24.06.2009 20:26:3824.06.2009 20:29:10
Читал, что Яндекс может не корректно воспринять для нестандартных директив User-agent: * Смайл - 12

http://s13.by/2008/04/19/pochemu-yandeks-kleitsya-k-moemu-saytu-nastraivaem-robotstxt/



Не стоит использовать дополнительные директивы в секции “*”. То есть рекомендуется создавать специальные секции для нестандартных директив, таких как “Host”.

И не смотря на всю популярность Яндекса и лидирующие позиции в Рунете, его роботы относятся к категории “некоторые”.

Так неправильно:

User-agent: *
Disallow: /css/
Host: www.example.com

А вот так – правильно:

User-agent: *
Disallow: /css/

User-agent: Yandex
Disallow: /css/
Host: www.example.com



Исходя из данной статьи прописал два раза Смайл - 12 Поэтому и хотелось бы разобраться, как нужно.
3.69

3.69
5
24.06.2009 20:36:0224.06.2009 20:55:01
septron, бред это полный. Это было около год назад примерно, уже давно другая ситуация. Можете почитать http://help.yandex.ru/webmaster/?id=996567#996568
Единственное что требует Яндекс, так это обязательного указания директивы Host, и то это необходимо только для робота-зеркальщика, а не для основного бота, но выполнять это требование необходимо, иначе зеркало не определится. Все остальное должно строго соответствовать стандартам http://www.robotstxt.org
Просто автор той статьи немного не правильно понял смысл директорий. Если будет указано User-agent: * и User-agent: Yandex, то робот Яндекса однозначно отдаст приоритет записи User-agent: Yandex, и что там в запрете в директории User-agent: * - ему уже по барабану будет, он Вам наиндексирует все подряд, так как Вы ему абсолютно все обходить разрешили.
Если исходить из статьи (хоть она и не совсем правильная), то нужно писать тогда так:
User-agent: *
Disallow: /admin/
Disallow: /blocks/
Disallow: /config/
Disallow: /function/
Disallow: /modules/
Disallow: /templates/
Disallow: /javascripts/
Host: astralia.org.ru
Sitemap: http://astralia.org.ru/sitemap.xml]http://astralia.org.ru/sitemap.xml

User-agent: Yandex
Disallow: /admin/
Disallow: /blocks/
Disallow: /config/
Disallow: /function/
Disallow: /modules/
Disallow: /templates/
Disallow: /javascripts/
Host: astralia.org.ru
Sitemap: http://astralia.org.ru/sitemap.xml]http://astralia.org.ru/sitemap.xml
3.97

3.97
6
24.06.2009 20:40:22
GRAFLEKX, большое спасибо! Смайл - 04
3.69

3.69
7
24.06.2009 20:44:22
septron, да особо не за что Смайл - 13.
И такую специфическую инфу лучше всегда читать на самих поисковиках, чем на каких-то сайтах. Вопрос тонкий, а более лучшую информацию чем сайт самого поисковика не предоставит ни кто.
3.97

3.97
8
24.06.2009 21:15:07
А я не занимаюсь продвижением своих сайтов. Наверное, я лох... Смайл - 06
3.88

3.88
9
25.06.2009 08:36:18
Chianuk, да это и не продвижение как таковое, просто у человека случилась проблема с зеркалом, её нужно решать, иначе так и будет клеить.
Я вот постоянно экспериментирую с продвижением, у меня Тиц и PR скачут туда сюда, специально сайт для этого создал, не жалко, если что.
Пишу скрипты для этих целей, для того и эксперименты нужны.
Вопрос продвижения, тоже довольно тонкий, можно так продвинуть, что потом расхлебывать будешь долго Смайл - 06. Я вот последний раз доэкспериментировался - попал в автоматический бан в Яндексе и Гугле, теперь выясняю из-за чего, и что не так. Но зато опыт в этом деле приобрел большой Смайл - 04. Уже лет 5 этим занимаюсь.
3.97

3.97
10
25.06.2009 09:02:52
Весьма похвально. А предыдущий пост - это у меня так, мысли вслух были... Смайл - 04
3.88

3.88
Открыть Ответить
modulesastraliahttpagentblocksfunctiontemplatesconfigsitemaprobotsadminкорректенuserjavascriptsdisallow
Хотите опробовать SLAED CMS в действии?

Технологии

PHP MySQL HTML 5 CSS 3 jQuery jQuery UI

Контакты

  • D-49179, Deutschland
    Ostercappeln, Im Siek 6
  • +49 176 61966679

  • https://slaed.net
Идеи и предложения
Обратная связь