Logo

Что такое поисковый робот и как он индексирует сайт

поисковый робот паукУ робота имеется база данных, где он хранит там список адресов, которые регулярно обходит и индексирует, соответствующие этим адресам документы. Когда при анализе веб-страницы   робот находит новую ссылку, он заносит ее в базу данных. Поэтому любой ресурс, на которых они есть , он посетит, а значит, и проиндексирует. По такому принципу работают, как поисковый робот Яндекса, так и поисковый робот Google.

Роботы поисковых систем, такие как краулер, паук, спайдер — это не монстры из фантастических игр, а программы, которые входят в её комплект. И их работа состоит в том, чтобы они обходили страницы интернета с целью занесения ключевых слов в базу поисковика.

Просканировав содержимое документа, он передает его на сервер поисковой системы, к которой он приписан и двигается дальше  на проверку следующих документов. Стоит сказать, что он далеко не всё видит, т.е. не все элементы сайта он может прочитать, например, текст на картинках. Есть сервисы, которые, например у гугл, которые так и называются -страница глазами поискового робота или сайт глазами поискового робота.

Разработчики ограничивают уровень погружения «пауков» внутрь интернет-ресурса. А по сему, слишком большие ресурсы могут быть полностью не проиндексированными. Алгоритмы  машины устанавливают частоту визитов, порядок обхода сайтов.

Обычно переходы  реализовываются по ссылкам, которые расположены на первой и других страницах ресурса. Некоторые поисковые машины разрешают владельцу сайта самостоятельно поставить свой ресурс в очередь для индексирования.

Это ускоряет индексирование ресурса, а в случаях, когда внешних ссылок на сайте «кот наплакал», вообще является единственной возможностью оповестить всех о его существовании.

Ограничить индексацию ресурса возможно с помощью файла robots.txt.   Как мы уже знаем, «паук» это программа. Программа она и в Африке программа. Она входит в поисковую систему, и представляет её составную часть. Работа программы основана на алгоритме поисковой системы.

Но еще «паук» подчиняется и администратору веб — ресурса. Чтобы заставить «паука» работать по вашим правилам, администратор ресурса должен грамотно составить директивы в robots.txt.

Файл этот и будет, является директивой для «паука», какие документы не нужно вписывать в базу данных. Однако войти на эти страницы он все же сможет, если они имеют входящие ссылки. Он только не заносит их в индекс. Но если вы не хотите, чтобы ваши личные тайны не обнародовали, лучше перестраховаться и установить пароль на свой документ.

Робот находит вашу страницу в интернете по ключевому слову в названии страницы, согласно заявленному запросу. Хороший вариант, когда ключ стоит первым в названии документа.

Далее игнорируя красивые картинки и мелькающие баннеры, «паук» спускается на первый абзац в поисках ключевого слова. Первое ключевое слово в первом абзаце, это большая удача для него и он с удовольствием записывает этот ключ в базу данных. Далее, чтобы робот поверил, что он попал на нужный сайт, надо «скормить» ему еще парочку ключевых слов.

Чтобы робот взглянул и занес в индекс какую-нибудь внутреннюю страницу, надо поставить ссылку с анкором, который бы соответствовал её тематике. Так он поверит, что тема сайта соответствует запросу. Чтобы вернуть «паука» на страницу  для продолжения чтения поставьте в конце внутренней страницы ссылку «на главную ». А еще лучше написать в анкоре «название страницы».

Таким образом, он проиндексирует внутренние страницы сайта, а поскольку все они ссылаются на главную, она получит большой вес. Для продвижения главной странице это важный фактор.

Есть мнение, что достаточно расположить несколько ключей в первом абзаце и в последнем. Но тогда робот, не обнаружив в середине текста ключевых слов, может попросту уйти с документа. В данном случае вам решать, что лучше. Ну, и конечно не нужно чрезмерно «фаршировать» документ ключами. Все должно быть в разумных пределах.

Удачи Вам в оптимизации контента!

Похожие записи

Добавить комментарий

Ваш e-mail не будет опубликован.