Как запретить определенный путь в robots.txt

Я хочу запретить /path но также хочу разрешить /path/another-path в robots.txt, Я уже попробовал:

Disallow: /path

Или же:

Disallow: /path$

Но не работает, я имею в виду это заблокировано /path/another-path тоже. Возможно ли это сделать? Любая помощь будет оценена.

Источник

1 ответ

Вы могли бы использовать Allow, Но обратите внимание, что это не является частью оригинальной "спецификации", однако, некоторые поисковые системы поддерживают ее.

User-agent: *
Allow: /path/another-path
Disallow: /path/

См., Например, http://en.wikipedia.org/wiki/Robots_exclusion_standard.

Источник
Другие вопросы по тегам