Добро пожаловать на портал вебмастеров WebmastersBY
SEO и раскрутка сайта

Расширенный справочник по мета-тегу "robots"

Самые важные команды, которые необходимо знать при тонкой настройке индексации вашего сайта с помощью файла robots.txt

Расширенный справочник по мета-тегу "robots"

Мет-тег "robots" указывает поисковым машинам можно ли индексировать контент или нельзя (index или noindex), можно ли переходить по ссылкам на страницах (follow или nofollow). Это наиболее часто используемые аттрибуты этого тега, но не многие знают, что этот тег имеет довольно большое количество различных аттрибутов, к сожалению, не все из них поддерживаются всеми поисковиками.

Аттрибуты для тега META

index Позволяет роботам поисковиков индексировать страницу, Вы можете не добавлять его на страницу, он используется по-умолчанию
noindex Этот наоборот, запрещает роботам поисковиков индексировать страницу.
none Это сокращение для noindex, nofollow, говорящий поисковым машинам: ничего не делайте с этой страницей вообще.
follow Сообщает роботам поисковых систем, что они могут переходить по ссылкам на странице, независимо от того, разрешена страница для индексирования или нет.
nofollow Обратный по значению предыдущему аттрибуту, запрещает роботам переходить по ссылкам на странице.
noarchive Препятствует тому, чтобы поисковые машины показывали кэшированную копию этой страницы.
nocache Тоже самое что и noarchive, но используется только MSN/Live.
nosnippet Препятствует тому, чтобы поисковые машины показали отрывок этой страницы в результатах поиска, и препятствует тому, чтобы они кэшировали страницу.
noodp Запрещает поисковым машинам использовать описание для этой страницы в DMOZ (иначе ODP), а также сниппеты для Вашей страницы в результатах поиска.
noydir Запрещает роботу Yahoo! использовать описание для этой страницы в Yahoo!-каталоге, как сниппет для Вашей страницы в результатах поиска. Другие поисковые машины не поддерживают этот тег.

Ресурсы о мета-теге "robots"

Какие поисковые машины поддерживают эти значения meta-тега "robots"?

Значение Google Yahoo! MSN / Live Ask
index Да Да Да Да
noindex Да Да Да Да
none Да ? ? Да
follow Да ? ? Да
nofollow Да Да Да Да
noarchive Да Да Да Да
nosnippet Да Нет Нет Нет
noodp Да Да Да Нет
noydir Нет Да Нет Нет

Вы можете заблокировать всех роботов сразу  или же только отдельных роботов, указав их конкретно:

Google GOOGLEBOT
Yahoo! SLURP
MSN / Live MSNBOT
Ask TEOMA
Комментарии 0

Новый комментарий

Имя:
Для редактирования комментария осталось 10 минут
Комментарии отсутствуют