Чего не видит поисковый робот интернета

В статье  Как работают поисковые машины интернета рассказано, что поисковый робот («паук») двигается по интернету только по гиперссылкам, и соответственно, рассмотрим случаи, когда они скрыты и него.

Он смотрит на сайты совершенно не так, как живые люди. Есть специальные сервисы, на которых можно посмотреть его глазами. например, сервис pr-cy.ru

Вбиваем проверяемеый сайт и жмем кнопку «Проверить» и внизу всё видно.

Еще пример. Окрыли сайт и видим кусок страницы, на которой имеется картинка

А вот этот же кусок, но глазами поисковика:

» title=»Туристическая поисковая система» src=»https://delajblog.ru/wp-content/uploads/2015/08/sletat.jpg» alt=»туристическая поисковая система» width=»151» height=»66» /></a>Принципиально новая система sletat ru, которая поможет туристам искать более выгодные туры по интересующей их стране. Сервис дарит своим пользователям интересную возможность &#8211; вы можете сравнить несколько предложений в плане цены от разных туристических компаний с схожими условиями.</p>

Чувствуете разницу?

Итак, что какие ссылки робот не видит.

 Находятся в формах  подписки

Довольно часто на сайтах  имеются различные подписные формы, т.е. посетителю предлагается некая форма, в которую он вносит необходимую информацию (например, Имя. Фамилию и т.д.), затем нажимает на кнопку подписки (отправки введенных  данных). В любом случае, любая информация введенная в формы – невидима для поисковых  роботов. «Паук» не может «заползти» внутрь формы.

Вот форма подписки.

Для того, чтобы подписаться нужно ввести сой email и нажать кнопку  -это делать робот не умеет и соответственно ссылки он здесь не видит.

 Находятся в Javascript

При её нахождении  в  Javascript, поисковый робот вообще не видит, либо «залазит» по ссылке очень редко. Т.о. при использовании Javascript все используемые ссылки должны сопровождаться HTML кодом.

Примечание: ходят упорные слухи, что некоторые поисковики уже видят, что внутри яваскрипта.

Заблокированы мета тегами или файлом robots.txt

Файл robots.txt позволяет владельцу ресурса ограничить поисковому роботу допуск к веб-странице. Прописывая определенные мета теги в этом файле можно управлять действиями робота (запрещать к индексации веб- страницу, разделы и т.п).

Примечание: блокировка в robots.txt, конечно вещь хорошая, но 100% гарантии не дает фактически это только рекомендации поисковику, а будет или нет он их выполнять неизвестно.

 Находятся во фреймах

Технически ссылки находящееся во фреймах (кадрах) видимы для «пауков», однако по мнению многих практиков, нужно избегать использования фреймов.

Ссылки в flash, java

Ссылки встроенные в коды flash, java и т.п. технологий не видимы для поисковых роботов.

Ссылки на веб-страницах имеющих сотни ссылок

Поисковые роботы, как правило, «ползают» только по 100 страницам и не более. Т.к. предполагается, что страница имеющая огромное количество ссылок предназначена исключительно для спама.

Ссылки расположены в графике

Любые ссылки или любой текст, написанный на изображениях не видим для поисковых роботов.