Опасаетесь блокировок и санкций? Что-то сломалось? Оперативно поможем!

найти альтернативу зарубежным решениям (CRM, онлайн-чаты, интеграции и др.)

перенести магазины и сайты на отечественные платформы (1С-Битрикс, InSales и др.)

локализовать инфраструктуру (хостинг, CDN, облачные решения и др.)

перенести рекламу на отечественные площадки (из Facebook, Instagram, YouTube и др.)

разработать SEO-стратегии как для России, так и для выхода на новые зарубежные рынки

Аврора-SEO » Новости компании » Изменение обработки файла robots.txt

Изменение обработки файла robots.txt

[15.06.2016] Изменение обработки файла robots.txt

Яндекс в очередной раз ввел изменения, полезные для оптимизации сайтов. До этого момента пустая директива Allow в robots.txt расценивалась как запрет на посещение страницы, и поисковый робот пропускал ее.

Недоступность сайта для робота приводила к исключению из поисковой выдачи. Тем не менее, владельцы сайтов, желая запретить индексацию и посещение, намеренно прописывали команду запрета. Теперь при обработке файла индексирующим роботом пустая директива Allow будет игнорироваться. Запрет будет учитываться при применении соответствующего правила: «Disallow: *» или «Disallow: /».

Всю необходимую информацию о robots.txt для поискового продвижения, а так же синтаксис, возможности и запреты можно проверить в Яндекс.Вебмастере.