Меню
Чистый и правильный код это еще не все
Многие бьются за чистоту кода страницы, разными способами загоняют содержание как можно выше, напрочь отделяют контент от навигации и прочего повторяющегося на странице.
Все правильно, чем чище код, тем проще сайту, анализируя ТОП выдачи Google реально наблюдаем что чистый код страницы важен. Но чистый код это не наше все и я сам в этом убедился, о чем сейчас и расскажу : ).
Во первых мне последнее время не давал покоя robots.txt, что-то он мне совсем не нравился (сайты переводил на другие движки и часто его переписывал на скорую руку так и оставлял), так вот, для меня не было большой разницы как запретить папку со слешем или без него на конце, а вот для ботов думаю есть (слеш им не нужен)
Для русских сайтов где основной упор делается пока на яндекс, robots.txt нужно смело писать под него, гугл и прочие гиганты менее привередливы. А для яндекса нужно во-первых, параметр host: и отдельные правила для бота яндекса (интуитивно считаю желательными) и во-вторых, все что после Disallow: должно быть строковым, никаких заглавных букв.
Про бота Yahoo забывать нельзя, он любит нападать на сайты и есть его в одного, при этом других ботов может близко не подпускать. Для него специально Crawl-delay: 5 или 10
Если у сайта есть карта сайта, то параметр Sitemap: необязателен, но важен и что интересно в файле robots.txt ему самое место в отличии от прямой ссылки с сайта.
И вот, когда кроме сравнительно чистого кода страниц у нас в наличии будет правильный robots и в пределах домена не будет редиректов, сайту живется еще проще и он начинает двигаться по SERP бодрее, веселее и выше.
Данное заметка ни на что не претендует, личное мнение, оценить хоть как-то не смог из-за апдейта гугла и частых апдейтов яндекса, но сайты у которых все ТАК чувствуют себя намного лучше.
Все правильно, чем чище код, тем проще сайту, анализируя ТОП выдачи Google реально наблюдаем что чистый код страницы важен. Но чистый код это не наше все и я сам в этом убедился, о чем сейчас и расскажу : ).
Во первых мне последнее время не давал покоя robots.txt, что-то он мне совсем не нравился (сайты переводил на другие движки и часто его переписывал на скорую руку так и оставлял), так вот, для меня не было большой разницы как запретить папку со слешем или без него на конце, а вот для ботов думаю есть (слеш им не нужен)
Для русских сайтов где основной упор делается пока на яндекс, robots.txt нужно смело писать под него, гугл и прочие гиганты менее привередливы. А для яндекса нужно во-первых, параметр host: и отдельные правила для бота яндекса (интуитивно считаю желательными) и во-вторых, все что после Disallow: должно быть строковым, никаких заглавных букв.
Про бота Yahoo забывать нельзя, он любит нападать на сайты и есть его в одного, при этом других ботов может близко не подпускать. Для него специально Crawl-delay: 5 или 10
Если у сайта есть карта сайта, то параметр Sitemap: необязателен, но важен и что интересно в файле robots.txt ему самое место в отличии от прямой ссылки с сайта.
И вот, когда кроме сравнительно чистого кода страниц у нас в наличии будет правильный robots и в пределах домена не будет редиректов, сайту живется еще проще и он начинает двигаться по SERP бодрее, веселее и выше.
Данное заметка ни на что не претендует, личное мнение, оценить хоть как-то не смог из-за апдейта гугла и частых апдейтов яндекса, но сайты у которых все ТАК чувствуют себя намного лучше.


<<<>>>(0) 

