Несколько тегов, разделённых запятой, означают логическое И между ними. Вы также можете использовать точку с запятой в качестве логического ИЛИ. И имеет высший приоритет над ИЛИ. Вы не можете использовать скобки для группировки условий. Звёздочка (*) внутри тега используется в качестве маски для "подстроки".
Файл robots.txt является важным инструментом, определяющим доступ к вашему сайту для поисковых роботов. Поэтому допущенные в нем ошибки необходимо знать – чтобы избегать и исправлять на самой ранней стадии их появления.
Не знаете как правильно создать файл Robots.txt? Не расстраивайтесь. В данной статье представлена большая коллекция сервисов для создания robots.txt. Некоторые из них являются коммерческими, но большинство бесплатные онлайн-генераторы.
© 2008 - 2026 Webmasters.BY Все права защищены
