В статье Как работают поисковые машины интернета рассказано, что поисковый робот («паук») двигается по интернету только по гиперссылкам, и соответственно, рассмотрим случаи, когда такие ссылки скрыты и него.
Ссылки находятся в формах подписки
Довольно часто на сайтах имеются различные подписные формы, т.е. посетителю предлагается некая форма, в которую он вносит необходимую информацию (например, Имя. Фамилию и т.д.), затем нажимает на кнопку подписки (отправки введенных данных). В любом случае, любая информация введенная в формы – невидима для поисковых роботов. «Паук» не может «заползти» внутрь формы.
Ссылки находятся в Javascript
При нахождении ссылки в Javascript, поисковый робот вообще не видит, либо «залазит» по ссылке очень редко. Т.о. при использовании Javascript все используемые ссылки должны сопровождаться HTML кодом.
Ссылки заблокированы метатегами или файлом robots.txt
Файл robots.txt позволяет владельцу ресурса ограничить поисковому роботу допуск к веб-странице. Прописывая определенные метатеги в этом файле можно управлять действиями робота (запрещать к индексации веб- страницу, разделы и т.п).
Ссылки находятся во фреймах
Технически ссылки находящееся во фреймах (кадрах) видимы для «пауков», однако по мнению многих практиков, нужно избегать использования фреймов.
Ссылки в flash, java
Ссылки встроенные в коды flash, java и т.п. технологий не видимы для поисковых роботов.
Ссылки на веб-страницах имеющих сотни ссылок
Поисковые роботы, как правило, «ползают» только по 100 страницам и не более. Т.к. предполагается, что страница имеющая огромное количество ссылок предназначена исключительно для спама.
Ссылки расположены в графике
Любые ссылки или любой текст, написанный на изображениях не видим для поисковых роботов.