Не зарегистрирован
Вход
Забыли пароль?
Регистрация
Подписаться
Сэкономьте время — перед вопросом на форуме узнайте, как найти ответ быстрее
По техническим проблемам необходимо обращаться в Консультационный центр

Поиск по форуму: 

Приглашаем в блог Amiro.CMS. Регулярные обзоры, опыт, решения, практикумы.

Форум  ->   Интернет Магазин  ->  Robots.txt

Вопросы по настройке магазина, каталога.

Добавлено: 01.09.11 10:43:29 #1




Регистрация: 29.08.11
Сообщений: 12


Обратиться по имени

С праздником 1 сентября ! Кто может оценить вот это и может что то подсказать :
User-agent: *
Disallow: /admin
Disallow: /_admin/
Disallow: /members
Disallow: /search
Disallow: /subscribe
Disallow: /users
Disallow: /*offset=0
Disallow: /*forum_ext=
Disallow: /*_print_version=
Disallow: /*action=export_rss
Disallow: /*action=search
Disallow: /*action=view_posts
Disallow: /*display_form=

User-agent: Yandex
Disallow: /admin
Disallow: /_admin/
Disallow: /members
Disallow: /search
Disallow: /subscribe
Disallow: /users
Disallow: /*forum_ext=
Disallow: /*offset=0
Disallow: /*_print_version=
Disallow: /*action=export_rss
Disallow: /*action=search
Disallow: /*action=view_posts
Disallow: /*display_form=
Crawl-delay: 5



Добавлено: 01.09.11 11:09:10 #2



Регистрация: 26.04.11
Сообщений: 276


Обратиться по имени

И вас с праздником! Два раза указывать User-agent - не обязательно, достаточно первого варианта, в котором указано "*", т.е. всем. Crawl-delay: 5 можно так же включить в конец первого списка, ПС которые его не понимают - просто проигнорируют.

Вообще можно еще добавить:
Disallow: /*&itemId=
Disallow: /*&catid=

чтобы не индексировать данные фильтра, например.

Оригинал можно увидеть здесь.
Вот еще полезный сервис анализа роботса от Яндекса на корректность составления.



Выбирайте и голосуйте за пожелания по развитию Amiro.CMS на idea.amiro.ru!


Создать новую тему

Всего тем: 6615
Всего сообщений: 27731
Всего зарегистрированных пользователей: 48173
Последний зарегистрированный пользователь: voiti.v.it