Яндекс растет и идет нам на встречу

Яндекс наконец-то задумал о трафике, и задействовал пару важных изменений в ботах.

Первое и не маловажное, это поддержка директивы Crawl-delay для robots.txt. Дирректива позволяет задать поисковому роботу минимальный период времени, в секундах, между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив Disallow.

---

Примеры:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /cgi-bin/
Crawl-delay: 1.5 # задает таймут в 1.5 секунды

---

Робот Яндекса наряду с целыми значениями поддерживает и дробные в Crawl-Delay, например, 0.5, 1.5 и т.д. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды при индексации, но дает роботу больше свободы и позволяет ускорить обход сайта. Если же ваш сервер и без того сильно нагружен, то при заходе робота он может и лечь, поэтому сильно маленькие значения в таких случаях не рекомендуется. Все директивы в robots.txt это не указания к действию, а всего лишь рекомендации, но будем верить что все работает по рекомендациям.

Теперь собственно о трафике. Яндекс бот теперь при каждом запросе будет отсылать параметр "Accept-Encoding: gzip,deflate", а значит теперь сервер ему может отдавать контент в сжатом виде, если сервер настроен на сжатие. Отдача контента в сжатом виде как раз и бережет трафик, но прибавляет нагрузку на сервер, для того чтобы из-за бота нагрузка не возрастала вам и понадобится Crawl-delay.

Так же еще стоит подумать и о nginx, - легком сервере, который может не только жать, но отдавать уже сжатый статический контент, при определенных настройках. Но об этом напишу как-нибудь позже.