Командуй поисковыми роботами

Все поисковые системы используют роботов (так же именуемые пауками, ботами, червями и другими, не всегда приянтыми прозвищами; некоторые имеют имена собственные, такие, как "googlebot") для поиска в интернет страниц сайтов и занесения их в дата-центры поисковых систем для последующей индексации.

Каждая страница сайта может иметь свои собственные мета-этикетки для управления поисковыми роботами, указывая им, как вести себя на этой конкретной странице сайта. Эти мета-теги учитываются и исполняются большинством поисковых пауков. Вот некоторые, наиболее распространенные и употребляемые, которые вы можете использовать на страницах своих сайтов.

<meta name="robots" content="index">

Наиболее часто употребляемая и самая популярная команда, она же – наименее информативная. Сообщает роботу, что он может проиндексировать эту страницу. Особого смысла в этом нет, так как все поисковики индексируют все страницы по умолчанию, если на то нет специальных распоряжений в файле "robots.txt".

Следующая команда:

<meta name="robots" content="follow">

указывает роботу на то, что он может переходить по ссылкам, расположенным на странице. Так же малоинформативная команда, так как роботы переходят по ссылкам по умолчанию.

<meta name="robots" content="noindex">

Команда "noindex" противоположна команде "index" и сообщает поисковому боту, что страницу индексировать не нужно. Важно учитываь, что при использовании этой команды, паук не индексируя страницу, перейдет по ссылкам, расположенным на ней. Эту команду следует применять по необходимости, в виду того, что она может насторожить поисковики и повлечь за собой репрессии с их стороны. Дело в том, что эту команду используют не по назначению; например, устанавливая на страницу с большим количеством исходящих ссылок, с целью скрыть ее от посетителей, но при этом разрешить поисковым ботам переходить по ссылкам.

Тем не менее, существуют случаи вполне обоснованного применения такой команды, не вызывающие настороженности ботов. Это случаи присутствия в сайте динамических страниц, которые не очень хорошо индексируются поисковыми машинами. Их можно продублировать статичными страницами, а чтобы не возникало двойного содержимого, на динамическую версию страницы поставить команду <noindex>

Прочтите, что по этому поводу пишет Google в своем справочном центре вебмастеров.

<meta name="robots" content="nofollow">

Эта команда указывает роботу, что страницу можно индексировать, но не переходить по расположенным на ней ссылкам. Веб-мастера используют эту команду в случае обмена ссылками с другими сайтами, требующими разместить обратную ссылку. Делается это с целью избежать "утекания" PR. Цель благородная, но использование такой команды остается целиком на совести веб-мастера. Тем более, что в большинстве случаев и "утекать" особо не чему. Так, что, не страдайте ерундой. Если ссылка ведет на тематический ресурс, релевантный ссылающемуся, то это оценивается положительно со стороны поисковой системы.

В случае торговли ссылками со страниц сайта, использование такой команды запрещено условиями участия в этом бизнесе. Не лишайте себя дополнительного дохода.

<meta name="robots" content="noindex,nofollow">

Использование такой комбинации имеет большую силу и делает страницу и все находящиеся на ней ссылки невидимыми для большинства поисковых систем.

Разумный вариант использования такой команды - на сайтах, где могут быть расположены одинаковые страницы, предназначенные для разных стран. Например таких, как Австралия и Соединенные Штаты Америки. Чтобы избежать восприятия этих страниц поисковиками как двойного содержимого, для индексации оставляется одна страница, а остальные скрываются от поисковых ботов такой этикеткой.

<meta name="robots" content="noarchive">

Большинство поисковых систем заносят проиндексированные страницы в кеш и дают на него ссылку на странице выдачи по релевантному поисковому запросу. Таким образом снимок страницы на момент ее индексации сохраняется в архиве дата-центра поисковой системы до следующей переиндексации.

Это не всегда нужно, например, для страниц, на которых присутствуют краткосрочные предложения. Такие, как объявления о распродажах и скидках. Использование такой команды сообщит поисковикам, что страница подвергается частым изменениям и заносить ее в архив не нужно. Это поможет избежать введение в заблуждение посетителей кешированных страниц предложениями, действие которых давно закончилось.

Приведенные команды, при использовании их в нужном месте и в нужное время, помогут поисковым системам правильно индексировать страницы сайта и улучшат их позиций в выдаче по релевантным поисковым запросам.