Robots.txt исполнилось 20 лет

30 июня исполнилось 20 лет с момента создания директивы robots.txt, при помощи который вебмастера могут блокировать доступ роботов поисковых систем к элементам сайта.

В начале 90-х сайты не отличались той пропускной способностью, которая есть сейчас, поэтому ситуация, когда сайт не справлялся с наплывом краулеров, была нормой. В то время веб-мастера больше заботились об их доступности для людей, нежели чем о позициях в выдаче, поэтому 30 июня 1994 года был принят стандарт, который помогал закрывать для роботов отдельные части сайта.

Автором robots.txt стал Мартин Костер. Основные поисковики того времени, включая AltaVista, WebCrawler и Lycos приняли нововведение и приспособили к нему свои алгоритмы. И 20 лет спустя поисковые системы подчиняются нулям и единицам, прописанным в robots.txt.

Важность robots.txt невозможно недооценивать. Вспомним хотя бы нашумевшие истории с появлением в выдаче Яндекса текстов SMS-сообщений пользователей «Мегафона» и данных о заказах в онлайн-магазинах игр, интим-товаров и книг.

Поэтому в честь круглой даты обязательно навестите Robots.txt вашего сайта c целью его продвижения. И, как завещал Яндекс, предохраняйтесь!