Как читать логи сайта

Лог – это журнал регистрации событий в хронологическом порядке. Рано или поздно задаёшься вопросом: а что происходит на сервере, где находится сайт? Все заходы посетителей отражаются и записываются в лог-файлы на сервере. И становится интересно, что  там записано.

Прежде всего, нужно найти этот лог-файл. Для этого нужно зайти в панель управления на хостинге и там его найти. Например, в Сpanel в  разделе «Статистика» находим «Лог обращений». На других хостингах, в той же Сpanel логи находятся в разделе «журналы».

Стоит сказать, что разные хостеры предоставляют логи обращений, в которых содержится разная информация. Так, например, jino.ru не содержит информации об используемом User-Agents (эта важнейшая информация о параметрах посетителя – какой браузер, как представился посетитель при заходе на сервер), а вот reg.ru – всё будет представлено в лучшем виде и, кроме того, можно получить ещё кучу статистики.

Но более подробно можно посмотреть статистику посетителей, если сам лог-файл скачать к себе на компьютер. Для этого используем, например, FTP клиент FileZilla и скачиваем этот файл к себе на компьютер и начинаем его смотреть.

В общем случае, формат записи обращения к серверу такой (одна строка):

IP адрес или хост —[дата] «метод и адрес в конце протокол», код ответа, количество байт, «реферер»  «юзер агент «.

 Где,

IP адрес или хост – IP адрес посетителя.

[дата] – дата и время посещения (по установленному время сервера).

«метод и адрес в конце протокол» – здесь подробнее:

              Первая часть текста в кавычках определяет, каким методом был заход на сайт.

GET — это когда данные передаются в адресной строке, например, когда пользователь жмет ссылку или набирает адрес в адресной строке браузера. Дополнительные данные не передаются.

POST — когда пользователь нажимает кнопку в форме. Здесь передаются дополнительные данные, например, изображение, т.е. пользователь заполнял форму и передал соответствующие данные при её заполнении.

код ответа – что ответил сервер на запрос пользователя. Обычно, ответ 200, т.е. сервер сообщил, что всё, что хотел от меня пользователь я ему отдал. Желательно посмотреть и список кодов состояния HTTP, в котором перечислены все коды ответа. Список легко найти  в интернете. наберите «список ответов сервера» и будет показано много ссылок на ресурсы.

количество байт – количество байт, которые были переданы пользователю.

реферер — содержит URL источника запроса.

«юзер агент » — при посещении сервера  браузер посетителя обычно посылает серверу информацию о себе.

Рассмотрим несколько примеров:

178.154.162.29 - - [21/Jun/2012:16:22:44 +0400] "GET /sitemap.xml.gz HTTP/1.0" 200 1483 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

С IP адреса 178.154.162.29, 21 июня 2012 года в 16:22:44 посетитель методом GET, запросил файл sitemap.xml.gz по протоколу HTTP/1.0. Сервер сообщил (код 200), что всё ОК и отдал 1483 байта. Реферера (источника запроса) – нет. Характерный признак бота. Пользователь представился (юзер агент).как «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)» – это так представляется бот Яндекса — основной индексирующий робот.

Сам Яндекс сообщает, Как в логах сервера представляется робот

Бот от Google представляется так: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). Список ботов Гугла.

37.45.170.132 - - [21/Jun/2012:19:22:45 +0400] "GET / HTTP/1.0" 200 67959 "http://forum.searchengines.ru/showthread.php?t=722607" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.10.289 Version/12.00"

Расшифровка:

С IP адреса 37.45.170.132,   21 июня 2012 года в 19:22:45 пользователь получил всё, что хотел (код200), забрал 67959 байт, по запросу http://forum.searchengines.ru/showthread.php?t=722607. У посетителя был браузер Opera.

При просмотре лог–файла можно увидеть, сколько неизвестных ботов болтаются на вашем сайте. Очень полезно посмотреть список User-Agents (Spiders, Robots, Crawler, Browser).

Занятно посмотреть, когда на сайте пасутся куча всяких паучков, а посещаемости сайта нет. Не давно запустил новый сайт, так он и в индекс ещё не попал, но боты -спамеры уже отметились.

Автор блога https://delajblog.ru/