Чистый и правильный код это еще не все

Многие бьются за чистоту кода страницы, разными способами загоняют содержание как можно выше, напрочь отделяют контент от навигации и прочего повторяющегося на странице.

Все правильно, чем чище код, тем проще сайту, анализируя ТОП выдачи Google реально наблюдаем что чистый код страницы важен. Но чистый код это не наше все и я сам в этом убедился, о чем сейчас и расскажу : ).

Во первых мне последнее время не давал покоя robots.txt, что-то он мне совсем не нравился (сайты переводил на другие движки и часто его переписывал на скорую руку так и оставлял), так вот, для меня не было большой разницы как запретить папку со слешем или без него на конце, а вот для ботов думаю есть (слеш им не нужен)

Для русских сайтов где основной упор делается пока на яндекс, robots.txt нужно смело писать под него, гугл и прочие гиганты менее привередливы. А для яндекса нужно во-первых, параметр host: и отдельные правила для бота яндекса (интуитивно считаю желательными) и во-вторых, все что после Disallow: должно быть строковым, никаких заглавных букв.

Про бота Yahoo забывать нельзя, он любит нападать на сайты и есть его в одного, при этом других ботов может близко не подпускать. Для него специально Crawl-delay: 5 или 10

Если у сайта есть карта сайта, то параметр Sitemap: необязателен, но важен и что интересно в файле robots.txt ему самое место в отличии от прямой ссылки с сайта.

И вот, когда кроме сравнительно чистого кода страниц у нас в наличии будет правильный robots и в пределах домена не будет редиректов, сайту живется еще проще и он начинает двигаться по SERP бодрее, веселее и выше.

Данное заметка ни на что не претендует, личное мнение, оценить хоть как-то не смог из-за апдейта гугла и частых апдейтов яндекса, но сайты у которых все ТАК чувствуют себя намного лучше.