Yahoo slurp обходит robots

Робот Yahoo может не подчинятся командам файла robots.txt и просто игнорировать его. На вопрос в поддержку Yahoo «Почему их робот не подчиняется командам файла robots?» был дан очень интересный ответ в двух вариантах.

Вариант №1
Если запрещенные страницы сайта имеют большое количество входящих ссылок или большие и уважаемые поисковиком сайты ссылаются на запрещенные страницы, то эти страницы считаются важными и полезными для сети, а если полезны, то бот просто минуя все преграды индексирует их и обновляет в своем индексе.

С одной стороны хорошо что бот работает в поте лица, и многие вебмастера не отказались бы от такой проблемы, с другой же возникает вопрос как не портя «лица» можно работать над сайтом не опасаясь что в индекс попадет черновой вариант сайта или то что в открытый доступ просто не выкладывается.

Вариант №2
Не правильный синтаксис файла robots.txt или просто не удобочитаемый для Yahoo.

Такой ответ удивил, учитывая что запрет стоял для всех поисковых роботов и робот гугла строго следовал указаниям а Yahoo нет.

Через суппорт проблема уладилась, но стоит взять на заметку что как не крути а роботы правят сетью.