найти альтернативу зарубежным решениям (CRM, онлайн-чаты, интеграции и др.)
перенести магазины и сайты на отечественные платформы (1С-Битрикс, InSales и др.)
локализовать инфраструктуру (хостинг, CDN, облачные решения и др.)
перенести рекламу на отечественные площадки (из Facebook, Instagram, YouTube и др.)
разработать SEO-стратегии как для России, так и для выхода на новые зарубежные рынки
Аврора-SEO » Новости компании »
Robots.txt исполнилось 20 лет
30 июня исполнилось 20 лет с момента создания директивы robots.txt, при помощи который вебмастера могут блокировать доступ роботов поисковых систем к элементам сайта.
В начале 90-х сайты не отличались той пропускной способностью, которая есть сейчас, поэтому ситуация, когда сайт не справлялся с наплывом краулеров, была нормой. В то время веб-мастера больше заботились об их доступности для людей, нежели чем о позициях в выдаче, поэтому 30 июня 1994 года был принят стандарт, который помогал закрывать для роботов отдельные части сайта.
Автором robots.txt стал Мартин Костер. Основные поисковики того времени, включая AltaVista, WebCrawler и Lycos приняли нововведение и приспособили к нему свои алгоритмы. И 20 лет спустя поисковые системы подчиняются нулям и единицам, прописанным в robots.txt.
Важность robots.txt невозможно недооценивать. Вспомним хотя бы нашумевшие истории с появлением в выдаче Яндекса текстов SMS-сообщений пользователей «Мегафона» и данных о заказах в онлайн-магазинах игр, интим-товаров и книг.
Поэтому в честь круглой даты обязательно навестите Robots.txt вашего сайта c целью его продвижения. И, как завещал Яндекс, предохраняйтесь!
