htaccess для SEO консультанта

Одним файлом robots.txt поисковыми ботами управлять не всегда получается, так как данный файл содержит скорее рекомендательный характер нежели четкий свод законов и правил поведения на вашем сайте. Я сам убедился в том что поисковой бот может не обращать внимания на robots.txt и индексировать документы которые были запрещены (Yahoo slurp обходит robots).

Волю роботам давать нельзя, а значит управлять ими нужно на стороне сервера файлом .htaccess, настройками этого файла можно решать любые SEO задачи, о некоторых из них и поговорим.

1. ЧПУ или SEO URL

URL с большим количеством параметров могут хуже индексироваться поисковыми системами, в сравнении с ЧПУ, поэтому желательно чтобы CMS выдавала короткие адреса не содержащие параметров. Для этих целей используют mod_rewrite, под каждый движок пишутся свои правила и здесь конкретных рекомендаций дать трудно, кроме того что можно обратится к специалисту который напишет вам все правила.

Простой пример: ссылку из вида http://site.com/index.php?categoryID=1 переписываем в http://site.com/cat/1.html (как видно ссылка не содержит лишних параметров)

Реализация:
RewriteEngine On
Options +FollowSymlinks
RewriteBase /
RewriteRule ^.htaccess$ - [F]
RewriteRule ^(.*)cat/([[:digit:]]+).html$ $1index.php?categoryID=$2


2. Запрет индексировать/посещать сайт

Для сайта важны основные поисковые системы именно с них он получает трафик, а лишний раз нагружать сервер и жечь трафик незачем, поэтому все что полезным НЕ считается желательно отрезать от сайта. Также будет полезно отсекать различные грабберы которые прилепляются как пиявки к сайту и на автомате вытягивают контент.

Реализация блокировки по IP и имени домена:
Прописываем в htaccess
Deny from 123.1.2.3
или
Deny from blog.stakh.com

Запрещаем ботов используя mod_rewrite:

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^ LinkWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ ia_archiver
RewriteRule ^.*$ - [F]

ИЛИ тоже, но чуть мягче
RewriteRule .* - [R=404]


3. Определение основного домена (www или non-www)

Реализация (домен без WWW):

RewriteEngine on
Options +FollowSymlinks
RewriteBase /
RewriteCond %{HTTP_HOST} ^www.blog.stakh.com$ [NC]
RewriteRule ^(.*)$ http://blog.stakh.com/$1 [R=301,L]
RewriteCond %{QUERY_STRING} .+
RewriteRule ^/*$ http://%{HTTP_HOST}/? [R=301]


htaccess для SEO консультанта (часть2) htaccess для SEO консультанта (часть3)