Аврора: продвижение сайтов » Новости компании » Изменение обработки файла robots.txt

Изменение обработки файла robots.txt

[15.06.2016] Изменение обработки файла robots.txt

Яндекс в очередной раз ввел изменения, полезные для оптимизации сайтов. До этого момента пустая директива Allow в robots.txt расценивалась как запрет на посещение страницы, и поисковый робот пропускал ее.

Недоступность сайта для робота приводила к исключению из поисковой выдачи. Тем не менее, владельцы сайтов, желая запретить индексацию и посещение, намеренно прописывали команду запрета. Теперь при обработке файла индексирующим роботом пустая директива Allow будет игнорироваться. Запрет будет учитываться при применении соответствующего правила: «Disallow: *» или «Disallow: /».

Всю необходимую информацию о robots.txt для поискового продвижения, а так же синтаксис, возможности и запреты можно проверить в Яндекс.Вебмастере.