Кажется блокировать /my-beautiful-sef-url-123

У меня есть robots.txt, который выглядит так:

User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php

Очевидная цель состояла в том, чтобы предотвратить индексацию всех уродливых URL-адресов, поскольку все они начинаются с "/index.php".
Но по какой-то причине все URL-адреса, такие как /my-beautiful-sef-url-123, перечислены в разделе " Ошибки сканирования" в Инструментах Google для веб-мастеров с "URL-адресом, ограниченным файлом robots.txt". (Когда я проверяю такой URL, он дает разрешение "Разрешено" как для Googlebot, так и для Googlebot-Mobile.)

Может кто-нибудь помочь, пожалуйста?

Источник

1 ответ

Решение

Являются ли URL-адреса как /my-beautiful-sef-url-123 настоящими страницами или они перенаправляют на другую страницу? Если они делают перенаправление, возможно, попробуйте проверить перенаправленные на страницу в Google Webmaster?

Источник
Другие вопросы по тегам