Продолжая тему по htaccess в рамках SEO. И как обычно начнем издалека.

Работая над сайтом заказчика иногда возникают ситуации когда нужно «положить» сайт, т.е. сделать его временно недоступным для того чтобы отрихтовать сайт и сделать его удобным для дальнейшей работы. Если сайт берется с нулевой посещаемостью и таким же авторитетом в поисковых системах, то проблем нет. А вот если сайт с посещаемостью от 3000+ и постоянно обновляемый, соответственно поисковые боты посещают его достаточно часто и портить с ними отношения даже на короткое время не желательно, поэтому нужно сказать роботу чтобы зашел чуть позже, и делается это достаточно просто, при помощи mod_rewrite, файла .htaccess (503 - Service Temporarily Unavailable) и Retry-After.

Реализация:
Отправляем поисковым ботам ответ сервера 503, а посетителям информацию о причинах простоя с извинениями.

В htaccess прописываем

Options +FollowSymLinks
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Googlebot|Mediapartners|)
-?(Google|Image)? [NC]
RewriteCond %{REQUEST_URI} !^/error/503.php [NC]
RewriteRule .* /error/503.php

RewriteCond %{REMOTE_HOST} !^1.1.1.1
RewriteCond %{REQUEST_URI} !^/error/404.php [NC]
RewriteRule .* /nashi-izvineniya.html [R=302,L]

В свою очередь 503.php содержит важный нам параметр Retry-After

ob_start();
header(‘HTTP/1.1 503 Service Temporarily Unavailable’);
header(‘Status: 503 Service Temporarily Unavailable’);
header(‘Retry-After: 3600′);
header(‘X-Powered-By:’);
?>

503 Service Temporarily Unavailable

Service Temporarily Unavailable

The server is temporarily unable to service your
request due to maintenance downtime or capacity
problems. Please try again later.

Если вы CGI версию Php НЕ используете, тогда Status отпралять не нужно. Retry-After в данном примере исчисляется секундами, но можно записать его и как конкретное время по GMT (Retry-After: Mon, 31 Dec 2007 23:59:59 GMT) – С новым годом!!!

htaccess для SEO консультанта (часть 1) htaccess для SEO консультанта (часть3)