Самые важные команды, которые необходимо знать при тонкой настройке индексации вашего сайта с помощью файла robots.txt
Reverendo
Мет-тег "robots" указывает поисковым машинам можно ли индексировать контент или нельзя (index или noindex), можно ли переходить по ссылкам на страницах (follow или nofollow). Это наиболее часто используемые аттрибуты этого тега, но не многие знают, что этот тег имеет довольно большое количество различных аттрибутов, к сожалению, не все из них поддерживаются всеми поисковиками.
| index | Позволяет роботам поисковиков индексировать страницу, Вы можете не добавлять его на страницу, он используется по-умолчанию |
| noindex | Этот наоборот, запрещает роботам поисковиков индексировать страницу. |
| none | Это сокращение для noindex, nofollow, говорящий поисковым машинам: ничего не делайте с этой страницей вообще. |
| follow | Сообщает роботам поисковых систем, что они могут переходить по ссылкам на странице, независимо от того, разрешена страница для индексирования или нет. |
| nofollow | Обратный по значению предыдущему аттрибуту, запрещает роботам переходить по ссылкам на странице. |
| noarchive | Препятствует тому, чтобы поисковые машины показывали кэшированную копию этой страницы. |
| nocache | Тоже самое что и noarchive, но используется только MSN/Live. |
| nosnippet | Препятствует тому, чтобы поисковые машины показали отрывок этой страницы в результатах поиска, и препятствует тому, чтобы они кэшировали страницу. |
| noodp | Запрещает поисковым машинам использовать описание для этой страницы в DMOZ (иначе ODP), а также сниппеты для Вашей страницы в результатах поиска. |
| noydir | Запрещает роботу Yahoo! использовать описание для этой страницы в Yahoo!-каталоге, как сниппет для Вашей страницы в результатах поиска. Другие поисковые машины не поддерживают этот тег. |
Какие поисковые машины поддерживают эти значения meta-тега "robots"?
| Значение | Yahoo! | MSN / Live | Ask | |
| index | Да | Да | Да | Да |
| noindex | Да | Да | Да | Да |
| none | Да | ? | ? | Да |
| follow | Да | ? | ? | Да |
| nofollow | Да | Да | Да | Да |
| noarchive | Да | Да | Да | Да |
| nosnippet | Да | Нет | Нет | Нет |
| noodp | Да | Да | Да | Нет |
| noydir | Нет | Да | Нет | Нет |
Вы можете заблокировать всех роботов сразу или же только отдельных роботов, указав их конкретно:
| GOOGLEBOT | |
| Yahoo! | SLURP |
| MSN / Live | MSNBOT |
| Ask | TEOMA |
© 2008 - 2024 Webmasters.BY Все права защищены
Новый комментарий