Rel Nofollow и Noindex — как закрыть от индексации Яндексом и Гуглом внешние ссылки на сайте
Сегодня я хочу затронуть проблему понимания того, можно ли сейчас использовать rel=»nofollow» и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами Яндекс и Google, ибо за последние полгода или год произошло кардинальное изменение алгоритма работы nofollow.
Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при его использовании rel nofollow и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.
Какое влияние оказывают rel nofollow и тег noindex
Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил, начиная с 2010 года, свое отношение к nofollow (он стал его учитывать).
Раньше зеркало рунета его игнорировало, но теперь, как видно из скриншота снятого на этой странице хелпа, данный атрибут работает и учитывается.
Тег же noindex, который Яндекс ввел в оборот единолично и который до некоторых пор являлся единственной альтернативой нофоллоу, сейчас никак не влияет на учет закрытой им ссылки.
Но с помощью него по-прежнему можно закрывать от индексации отдельные фрагменты вебстраницы. Этот тэг является парным и учитываться поиском не будет все, что попало между его открывающим и закрывающим элементом.
Т.к. ноиндекс был чисто нашим местечковым изобретением, то, естественно, что он не был включен в реестр разрешенных тегов текущей версии языка Html 4.01 и валидатор на него по-прежнему ругается.
Во избежании этого можно использовать его в качестве Html комментария, как это было показано на скриншоте выше. В этом случае валидатор W3c, естественно, ругаться не будет, ибо в комментариях можно писать все, что угодно.
<!—noindex—>текст, индексирование которого нужно запретить<!—/noindex—>
Яндекс пишет на своей странице хелпа, что noindex и nofollow следует интерпретировать точно так же, как и аналогичные значения, которые используются в мета теге robots.
Т.е. нофоллоу запрещает переход роботу поиска по данной ссылке, а ноиндекс запрещает добавлять заключенный в нем фрагмент текста в индекс.
Google так вообще никогда не учитывал noindex и, естественно, его с успехом игнорирует, равно как и любой другой поисковик кроме Яндекса. Изменилось отношение к подсчету статического веса на страницах, где находятся гиперссылки с добавленным в них атрибутом rel=»nofollow». Раньше их можно было вообще не учитывать, однако сейчас все стало немного сложнее и печальнее.
Но рассказать обо всем в двух словах — это не наш метод. Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать сложившееся положение. Да, сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему. Заранее спасибо всем комментаторам, ибо в споре рождается истина.
Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов nofollow и noindex закрыть от индексации гиперссылки для поисковых систем (чаще всего все же пытаются закрыть от индексации внешние бэклинки, ибо они способствуют утеканию статического веса, но об этом поговорим чуть позже).
Так вот, тексты ссылок, которые называют еще анкорами, позволяют Яндексу и Гуглу проводить так называемое ссылочное ранжирование, существенно влияющее на положение ресурса в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо запросу (статистика поисковых запросов вам в помощь) оптимизаторы стараются закупить как можно больше бэклинков с текстами (анкорами), содержащими ключевые слова из того запроса, по которому продвигается данная страница.
В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» открывался ресурс тогдашнего президента Америки Буша младшего. Что примечательно, на самом ресурсе вообще не встречались данные ключевые слова, но зато на него была проставлена гигантская ссылочная масса с этим текстом (анкором), в результате чего вышел такой казус.
Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование и нужно, чтобы и на самом портале Буша встречалась эта фраза, что маловероятно.
Но на этом роль ссылок в поисковом продвижении не заканчивается, ибо алгоритмы поиска в обязательном порядке для каждой страницы каждого отдельно взятого ресурса рассчитывают так называемый статический вес. Возможно, что разные системы рассчитывают его чуть по разному, но суть остается не измененной — статвес передается странице только по гиперссылке и при этом не учитывается ее анкор.
Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации) имеет изначальный минимальный статический вес (что такое pr в Гугле), который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу. Тут ключевым моментом является то, что он передается не только внешними, но и внутренними ссылками.
Причем документ, ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой статический вес (pr для Google или Виц для Яндекса), который целиком и полностью зависит только от количества и весомости входящих на нее гиперссылок. Под последним я подразумеваю собственный статвес страниц доноров (доноры — те, откуда проставлены беклинки на ваш документ, который в этом случае выступает акцептором).
Как закрыть от индексации внешние ссылки
Помните, в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать то ли время наполнения бассейна, то ли уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.
Каждый документ на сайте можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние гиперссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на другие документы вашего же или же какого-либо другого ресурса (исходящие внутренние и внешние линки).
Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса). Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа).
Теперь смотрите внимательно. Допусти, что у нас с одного документа проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате максимальный статвес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних документов, а одна пятая уйдет по внешней.
А теперь представьте, что вы имеете возможность попросить поисковые системы Яндекс и Google не индексировать эту самую одну внешнюю ссылку (закрыть ее или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш проект).
Тогда максимальный вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним ссылкам документа получить по одной четверти, а не по одной пятой максимального веса, что способна отдать данная вебстраница.
Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех документа, например, со счетчиков посещений), то суммарный прирост статвеса будет ощутимым. А он ведь напрямую влияет на положение вашего ресурса в выдаче Яндекса и Гугла при ранжировании (естественно, при прочих равных условиях оптимизации).
Думаю, что с вопросом, зачем закрывать внешние гиперссылки от индексации, мы разобрались и теперь осталось только выяснить, а как это сделать? Раньше было все просто — заключаете ненужную вам гиперссылку в открывающий и закрывающий тег noindex для того, чтобы ее не учитывал Яндекс, а в Html тег ссылки A прописываете атрибут rel=»nofollow» (для Google), например, так:
<noindex> <a rel="rel nofollow" href="http://сайт.ru/">Внешний ресурс</a> </noindex>
В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, плагин WP-NoRef. При его использовании, если в тег гиперссылки прописать специальный класс, она останется открытой для индексации поисковыми системами. Это может понадобиться, например, при проставлении линка в постовом или рекламном обзоре.
Статический вес не передавался по закрытой таким образом гиперссылке и внутренние страницы вашего сайта, в результате, получали несколько большее его значение, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас все стало очень и очень проблемно.
Это касается только удержания статвеса на сайте. Тут важно понимать, что, например, в комментариях просто необходимо закрывать линки от индексации, ибо большое количество ссылок на спамные ресурсы (вы в состоянии проверить все ресурсы комментаторов?) сделает ваш проект тоже спамным в глазах поисковых систем.
Итак, вернемся к тому, что Google изменил алгоритм работы rel=»nofollow» — теперь по ссылке, в которую вставлен этот атрибут, статический вес на документ передаваться не будет, но в то же время это не увеличит долю веса, передаваемого на внутренние страницы, по проставленным с данного документа внутренним гиперссылкам.
Если вернуться к нашему примеру с бассейном и трубами, то ситуация с rel=»nofollow», которая была до нововведения, может быть представлена как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним).
А вот текущая ситуация выглядит, как выдирание трубы внешней с корнем — ссылочный вес уже не потечет на внешний ресурс, но и у нас в бассейне останется дырка, а следовательно, внутренние страницы вашего ресурса по прежнему будут недополучать статического веса.
Как Яндекс учитывает rel nofollow и noindex
Это мы все говорили за Гугл, а как обстоит ситуация с использованием rel=»nofollow» для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу.
Но похоже, что зеркало рунета, после того как стало учитывать rel nofollow в тегах гиперссылок, снял с noindex всякое влияние на запрет индексации ссылок.
Теперь noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать его для ссылок, то он просто запретит этим поисковикам индексировать текст (анкор), а вот сама гиперссылка и передаваемый по ней статвес по-прежнему будут учитываться и браться в расчет.
Другой вопрос, как Яндекс учитывает rel nofollow? Копирует ли он схему работы у старого Google или же сразу взял на вооружение переделанный алгоритм расчета? Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.
Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки веса с сайта в пустоту.
По-прежнему мы можем закрыть от индексации целые страницы или гиперссылки на них с помощью мета тега Robots, назначение которого описано в статье приведенной в начале публикации, но вот с отдельно взятыми ссылками возникают сложности и rel nofollow перестал являться удачным решением для этой проблемы.
Можно, конечно же, проставлять внешние гиперссылки через редиректы или джаву, но Google их уже научился учитывать, а Яндекс, если еще и не научился, скоро обязательно научится. В связи с этим вообще не понятно как быть с бэклинками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их в нофоллоу), либо на ресурсы комментаторов или счетчиков (в случае отказа от его использования).
Некоторые вебмастера, кстати, используют в комментариях external nofollow, хотя это тут вовсе не подразумевает закрытие внешних гиперссылок, а обозначает открытие страницы во внешнем окне (аналог атрибута , который в XHTML стал не валидным, т.е. не соответствующим стандартам), но этот external работать будет только в связке еще и со специально написанным скриптом на javascript. В общем, это уже совсем из другой темы и к закрытию от индексации никакого отношения не имеет.
Собственно, я решил попробовать вообще убрать беклинки из комментариев и посмотреть как это повлияет на общее положение моего блога как в Гугле, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют беклинк на ресурс комментатора.
Если кому-то интересно, то убрать ссылки из комментариев WordPress довольно просто. Вам нужно будет с помощью ftp клиента (менеджера) FileZilla подключиться по FTP и открыть на редактирование файл comments.php из папки с используемой вами темы Вордпресс. В нем вам нужно найти место, где прописан следующий кусочек кода:
<?php comment_author_link() ?>
и заменить его на чуть измененный вариант:
<?php comment_author() ?>
А так же для того, чтобы убрать из формы добавления нового комментария строчку для ввода URL, вам нужно будет удалить подобный участок кода:
<p> <input type="text" name="url" id="url" value="<?php echo $comment_author_url; ?>" size="28" tabindex="3" class="textarea" /> <label for="url"> <?php _e(‘<acronym title="Uniform Resource Identifier">URI</acronym>’); ?> </label> </p>
Если приведенная мною теория насчет текущего положения с rel nofollow и noindex окажется правдивой, то должно произойти постепенное увеличение накопленного на блоге статического веса, что не преминет сказаться на позициях сайта в поисковой выдаче. В общем, поглядим.
P.S. Сейчас наиболее действенным способом закрытия ссылок и контента от индексации поисковиками является убирание их в Аякс. Об этом я писал в статье про Технический аудит и внутреннюю оптимизацию (пункт номер 6 под вторым подзаголовком).
Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru
Источник: ktonanovenkogo.ru
