Logo

Настройка сайта.Как сделать редирект. Robots.txt

301 Настраиваем наш веб-ресурс. Рассмотрим некоторые технические детали, которые обязательно стоит учесть и желательно понимать зачем.

Редирект

Редирект — это перенаправление с одного  интернет -адреса на другой.

Имеются веб-ресурсы у которых веред доменным именем  есть WWW и есть такие у которых  нет. Например, http://delajblog.ru/  ничего нет, а  https://www.buro247.ru есть.

C WWW или без ?

перенаправление

Поэтому ваш веб-ресурс должен быть доступен только по одному варианту. можно выбрать любой, но только один!  Большинство интернет ресурсов без www.

Например,  http://delajblog.ru/ (здесь вы сейчас находитесь) без. Редирект настроен. Проверьте, зайдите по адресу http://delajblog.ru/ или  www.delajblog.ru/ вы попадете на один и тот же сайт.

Т.е.обязательно настройте 301 редирект с www на без www.

(301 -это код постоянного редиректа). Нужен редирект сайта.

Я использую хостинг beget и там у них всё настроено как надо. Достаточно проверить и убедиться, самому не надо ничего делать.

Но можно и самому. Способов достаточно много. Например, редирект htaccess.
Делаем редирект с www/

На wordpress достаточно внести такой код в файл .htaccess:

RewriteCond %{HTTP_HOST} ^www.site\.ru$ [NC]
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

В Яндекс Вебмастер и Google Webmaster указываем главное зеркало

Заходим в Яндекс Вебмастер и в разделе «Настройка индексирования» выбираем «Переезд …».Яндекс Вебмастер

В данном случае всё настроено как надо  и тут делать ничего не надо.

Заходим в Google Webmaster на конкретный блог и справа вверху жмём на шестеренку. В выпадающем меню выбираем «Настройка …»Google Webmaster  И слева выбираем необходимый вариант.

Также делаем и в админке WordPress. Слева выбираем «Настройки»—«Общие»Wordpress

И соответственно прописываем домен.

Robots.txt

Важнейший файл -от него сильно зависит продвижение веб-ресурса. Он указывает поисковым роботам как следует осматривать сайт (некоторые поисковики директивы в этом файле игнорируют, например Гугл). Находится в корне сайта. Посмотреть его можно на любом сайте. Добавьте к домену  robots.txt, например,  http://delajblog.ru/robots.txt и вы увидите этот файл.Robots.txt

Для создания Robots.txt необходимо создать обычный текстовый файл с названием robots и  расширением txt и вписать необходимые директивы.

Скажу, что вариантов его написания кучи и какой выбрать, тут следует разобраться.

Основные директивы файла

Disallow: показывает какие директории индексировать не следует

Т.е. поисковики должны игнорировать указанную после двоеточия директорию (страницу). Так закрываются служебные страницы для того чтобы они не попали в индекс поисковых систем.

Обязательно должен быть прописан xost (адрес сайта).

Host: delajblog.ru

Обязательно должна быть прописана карта сайта.

Sitemap: http://delajblog.ru/sitemap.xml

Где взять готовый  Robots.txt? Вариантов его написания много (одни пишут только для одного поисковика, другие для нескольких, одни закрывают фиды, другие -нет и т.д.)

Обычно его просто копируют. Например, я нашел, по моему мнению, веб-ресурс на wordpress, где всё сделано правильно -скопировал его, изменил xost и Sitemap и закинул в корень сайта.

Примечание: в дальнейшем если возникает ситуация, когда поисковик проиндексировал ненужные вам страницы, то они вносятся в этот файл, например,

Disallow: /kontakty

Можно (и нужно) проверить как работает robots.txt.

 

Похожие записи

Добавить комментарий

Ваш e-mail не будет опубликован.