Блог

Изменение обработки файла robots.txt

Яндекс в очередной раз ввел изменения, полезные для оптимизации сайтов.

15.06.2016

Яндекс в очередной раз ввел изменения, полезные для оптимизации сайтов. До этого момента пустая директива Allow в robots.txt расценивалась как запрет на посещение страницы, и поисковый робот пропускал ее.

Недоступность сайта для робота приводила к исключению из поисковой выдачи. Тем не менее, владельцы сайтов, желая запретить индексацию и посещение, намеренно прописывали команду запрета. Теперь при обработке файла индексирующим роботом пустая директива Allow будет игнорироваться. Запрет будет учитываться при применении соответствующего правила: «Disallow: *» или «Disallow: /».

Всю необходимую информацию о robots.txt для поискового продвижения, а так же синтаксис, возможности и запреты можно проверить в Яндекс.Вебмастере.

Воркшоп с экспертами

Если вас заинтересовал наш опыт, мы будем рады обсудить решения для вашего проекта.

Проговорим с нашими экспертами стоящие перед вами задачи и предложим пути их решения.

Может быть интересно:

SEO для платформ

Продвижение сайтов на платформе Drupal

Настоящий "комбайн" в мире CMS. Будучи очень гибким в настройке фреймворком, Drupal позволяет реализовать даже самые сложные проекты. К сожалению, главным его недостатком является относительно небольшое число профессионалов, работающих с платформой. Особенно в плане продвижения.

Продвижение сайтов на платформе Tilda

Популярная платформа-конструктор, уже завоевавшая огромное число поклонников. Устранив критические недостатки многих своих предшественников, этот конструктор сайтов очень ответственно подошел к вопросам оптимизации созданных на данной платформе сайтов и последующего их продвижения.

Продвижение сайта на 1С-Битрикс

1C-Битрикс - самая популярная коммерческая система управления сайтами в русскоязычном Интернете, а кроме того, занимает 7-ое место в мире по количеству внедрений (среди коммерческих CMS). Богатый функционал и большое число разработчиков делают эту платформу популярным выбором при создании интернет-магазина или новостного сайта.

Продвижение сайтов на самописных CMS

Нередко случаются ситуации, когда Ваш сайт создан на некоей уникальной платформе — например, написанной специально под Ваши задачи. Или же веб-студия, создававшая Вам сайт, использовала свои собственные закрытые разработки. Вопреки всем опасениям, это не станет препятствием на пути к успешному продвижению Вашего проекта!

Наши кейсы по SEO

Признание

Наши компетенции доказаны местами в международных рейтингах, партнерством с крупнейшими SEO-платформами, а также аккредитацией Министерства цифрового развития России.

Успешный опыт множества проектов и накопленная технологическая экспертиза позволяют нам подобрать наилучшее решение для задачи и обеспечить его реализацию.

Обсудить проект

Контакты

Почтовый адрес: 410012, Россия, г. Саратов, ул. Б.Казачья, зд.49/65, оф.505

2007-2026 © «Аврора Интернет» ИНН 6455061304 КПП 645501001 ОГРН 1146455000856

Все цены и характеристики услуг и работ, указанные на сайте, приведены как справочная информация и не являются публичной офертой, определяемой положениями статьи 437 Гражданского кодекса Российской Федерации, и могут быть изменены в любое время без предупреждения. Для получения актуальной и подробной информации об услугах и стоимости просьба обращаться к специалистам проектного отдела.
Все упоминаемые торговые марки являются собственностью их владельцев.

Статус и значок Google Partner относятся исключительно к рекламной платформе Google Ads и не означают, что Google рекомендует наши услуги в области SEO и поискового продвижения сайтов.

Политика безопасности и обработки персональных данных

Наш сайт использует cookies. Продолжая пользоваться сайтом,
вы соглашаетесь с условиями нашей Политики безопасности.