Edwin Drood ([info]ed_drood) wrote,
@ 2007-07-01 16:33:00
Previous Entry  Add to memories!  Tell a Friend  Next Entry
Разглядываю логи. Много думаю. :)
Натравил awk на недельный лог сайта, чтоб посмотреть какие User-Agent'ы приходили. Получились любопытные вещи.

1. Если не учитывать Windows, то пользователей Linux, Mac (Safari|Opera) и различных мобильных платформ -- сравнимое количество. И, на мой взгляд, с учетом того, что технологиям Linux и Mac довольно много времени, существенного роста посетителей сайта с этих платформ ждать не стоит. А вот мобильные платформы, опять-же, на мой взгляд -- перспективное направление, на динамику количества посетителей с этими платформами надо отслеживать.

2. Оказывается, некоторое количество народу есть с браузерами MSIE 5.0/5.5 (и даже с MSIE4), Opera 7.xx/8.xx. Неужели под них тоже сайт надо подгонять? :-(

3. Реально много посетителей со всякими adware-панельками типа simpanel, zangotoolbar и т.п. Может, сделать проверку и предупреждение о наличии такой фигни? :)

4. Самый прожорливый на этой неделе был Яндекс-бот. :) собственно меня это изначально и интересовало -- какие поисковики наиболее активны... :)


Линуксы:
    182	Mozilla/4.0 (compatible; MSIE 6.0; X11; Linux i686; en) Opera 9.21
     59	Mozilla/5.0 (X11; Linux i686; U; en; rv:1.8.0) Gecko/20060728 Firefox/1.5.0 Opera 9.21
     32	Mozilla/5.0 (X11; U; Linux i686; PL; rv:1.8.1.2) Gecko/20070221 SeaMonkey/1.1.1
     38	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.10) Gecko/20050715 Firefox/1.0.6 SUSE/1.0.6-16
     28	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.12) Gecko/20050921 Red Hat/1.0.7-1.4.1 Firefox/1.0.7
      2	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.12) Gecko/20050922 Fedora/1.0.7-1.1.fc4 Firefox/1.0.7
      1	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.12) Gecko/20060202 CentOS/1.0.7-1.4.3.centos4 Firefox/1.0.7
      1	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.5) Gecko/20041107 Firefox/1.0
     34	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.10) Gecko/20070510 Fedora/1.5.0.10-6.fc6 Firefox/1.5.0.10
      3	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.4) Gecko/20070502 Firefox/1.5.0.4
      3	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.4) Gecko/20070509 Firefox/1.5.0.4
     32	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.7) Gecko/20061011 Fedora/1.5.0.7-7.fc6 Firefox/1.5.0.7
     66	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.8) Gecko/20061025 Firefox/1.5.0.8
     33	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.9) Gecko/20061206 Firefox/1.5.0.9
     37	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.1) Gecko/20061208 Firefox/2.0.0.1
     35	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.1) Gecko/20070215 BonEcho/2.0.0.1
     52	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.2) Gecko/20070220 Firefox/2.0.0.2
     40	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.3) Gecko/20070310 Iceweasel/2.0.0.3 (Debian-2.0.0.3-1)
     62	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.4) Gecko/20061201 Firefox/2.0.0.4 (Ubuntu-feisty)
     37	Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4
     30	Mozilla/5.0 (X11; U; Linux i686; hu; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3
     42	Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8.0.4) Gecko/20060527 SUSE/1.5.0.4-1.9 Firefox/1.5.0.4
     65	Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8.0.7) Gecko/20061011 Fedora/1.5.0.7-7.fc6 Firefox/1.5.0.7
    115	Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8.1) Gecko/20061010 LinuxXP/2.0-1.lxp.ru Firefox/2.0
     82	Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4
     30	Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8.1.4) Gecko/20070529 SUSE/2.0.0.4-8.2 Firefox/2.0.0.4
     50	Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8.1.4) Gecko/20070605 Firefox/2.0.0.4
     31	Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.8.1.4) Gecko/20070606 Firefox/2.0.0.4
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc1; i686 Linux; 20020104)
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc1; i686 Linux; 20020317)
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc1; i686 Linux; 20020504)
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc2; i686 Linux; 20021219)
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc4; i686 Linux; 20020722)
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc5; i686 Linux; 20020128)
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc5; i686 Linux; 20020910)
      1	Mozilla/5.0 (compatible; Konqueror/3.0-rc6; i686 Linux; 20021019)
      1	Mozilla/5.0 (compatible; Konqueror/3.0; i686 Linux; 20021114)
      1	Mozilla/5.0 (compatible; Konqueror/3.0; i686 Linux; 20021123)
      1	Mozilla/5.0 (compatible; Konqueror/3.1-rc1; i686 Linux; 20020502)
      1	Mozilla/5.0 (compatible; Konqueror/3.1-rc1; i686 Linux; 20021118)
      1	Mozilla/5.0 (compatible; Konqueror/3.1-rc3; i686 Linux; 20020802)
      1	Mozilla/5.0 (compatible; Konqueror/3.1-rc4; i686 Linux; 20021028)
      1	Mozilla/5.0 (compatible; Konqueror/3.1-rc5; i686 Linux; 20021126)
      1	Mozilla/5.0 (compatible; Konqueror/3.1-rc6; i686 Linux; 20020628)
      1	Mozilla/5.0 (compatible; Konqueror/3.1-rc6; i686 Linux; 20020719)
      1	Mozilla/5.0 (compatible; Konqueror/3.1; i686 Linux; 20020110)
      1	Mozilla/5.0 (compatible; Konqueror/3.1; i686 Linux; 20020210)
     33	Mozilla/5.0 (compatible; Konqueror/3.3; Linux) (KHTML, like Gecko)
     89	Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.6 (like Gecko) (Kubuntu)
     58	Opera/9.00 (X11; Linux i686; U; ru)
     36	Opera/9.01 (X11; Linux i686; U; en)
     41	Opera/9.02 (X11; Linux i686; U; en)
     33	Opera/9.21 (X11; Linux i686; U; ru)


Макинтошники:
     43	Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en) AppleWebKit/418.9.1 (KHTML, like Gecko) Safari/419.3
     71	Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en) AppleWebKit/419 (KHTML, like Gecko) Safari/419.3
     61	Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en) AppleWebKit/522.10.1 (KHTML, like Gecko) Version/3.0 Safari/522.11
     30	Mozilla/5.0 (Macintosh; U; Intel Mac OS X; fr) AppleWebKit/419.2 (KHTML, like Gecko) Safari/419.3
     33	Mozilla/5.0 (Macintosh; U; Intel Mac OS X; ru-ru) AppleWebKit/417.9 (KHTML, like Gecko) Safari/417.8
    124	Mozilla/5.0 (Macintosh; U; Intel Mac OS X; ru-ru) AppleWebKit/419 (KHTML, like Gecko) Safari/419.3
      2	Mozilla/5.0 (Macintosh; U; Intel Mac OS X; ru-ru) AppleWebKit/419.2.1 (KHTML, like Gecko) Safari/419.3
     30	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; da-dk) AppleWebKit/312.8.1 (KHTML, like Gecko) Safari/312.6
     35	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/417.9 (KHTML, like Gecko) Safari/417.8
     33	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/418.9 (KHTML, like Gecko) Safari/419.3
    162	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/419 (KHTML, like Gecko) Safari/419.3
     30	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/522.10.1 (KHTML, like Gecko) Version/3.0 Safari/522.11
     32	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/522.11 (KHTML, like Gecko) Version/3.0.2 Safari/522.12
     91	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-us) AppleWebKit/412 (KHTML, like Gecko) Safari/412
    157	Mozilla/5.0 (Macintosh; U; PPC Mac OS X; ru-ru) AppleWebKit/418.8 (KHTML, like Gecko) Safari/419.3
     41	Opera/9.20 (Macintosh; Intel Mac OS X; U; en)
     44	Opera/9.21 (Macintosh; Intel Mac OS X; U; en)


Мобильные:
     32	SonyEricssonK790i/R1JG Browser/NetFront/3.3 Profile/MIDP-2.0 Configuration/CLDC-1.1
     29	HTCP3300-Mozilla/4.0 (compatible; MSIE 4.01; Windows CE; PPC; 240x320)
     20	Mozilla/4.0 (compatible; MSIE 5.0; Symbian OS; UIQ; 316) Opera 6.31  [ru]
    807	Mozilla/4.0 (compatible; MSIE 4.01; Windows CE; PPC; 240x320)
      3	Mozilla/4.0 (compatible; MSIE 6.0; Windows CE) Opera 8.0  [ru]
     33	Mozilla/4.0 (compatible; MSIE 6.0; Windows CE; PPC; 480x640) Opera 8.60 [en]
      9	Mozilla/5.0 (SymbianOS/9.1; U; en-us) AppleWebKit/413 (KHTML, like Gecko) Safari/413
     15	Nokia6680/1.0 (4.04.07) SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0 Configuration/CLDC-1.1
      1	Nokia6682/2.0 (3.01.1) SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0 configuration/CLDC-1.1 UP.Link/6.3.0.0.0 (compatible;YahooSeeker/M1A1-R2D2; http://help.yahoo.com/help/us/ysearch/crawling/crawling-01.html)
     29	Mozilla/4.0 (compatible; MSIE 6.0; Symbian OS-Series60) NetFront/3.3
     14	Mozilla/4.0 (compatible; MSIE 6.0; Symbian OS; Nokia 6600/5.53.0; 6936) Opera 8.50 [ru]
     28	Mozilla/4.0 (compatible; MSIE 6.0; Symbian OS; Series 60/2.0628.0.0.1; 9712) Opera 8.65 [ru]
     16	Opera/8.01 (J2ME/MIDP; Opera Mini/1.2.2960/1684; no; U; ssr)
     16	Opera/8.01 (J2ME/MIDP; Opera Mini/1.2.3082/1684; ru; U; ssr)
     32	Opera/8.01 (J2ME/MIDP; Opera Mini/1.2.3082/1690; ru; U; ssr)
     34	Opera/8.01 (J2ME/MIDP; Opera Mini/1.2.3214/1684; ru; U; ssr)
     23	Opera/8.01 (J2ME/MIDP; Opera Mini/1.2.3214/1690; en; U; ssr)
    109	Opera/8.01 (J2ME/MIDP; Opera Mini/1.2.3214/1690; ru; U; ssr)
     15	Opera/8.01 (J2ME/MIDP; Opera Mini/2.0.3920/1690; ru; U; ssr)
     18	Opera/8.01 (J2ME/MIDP; Opera Mini/2.0.4062/1690; ru; U; ssr)
     71	Opera/8.01 (J2ME/MIDP; Opera Mini/2.0.4509/1684; ru; U; ssr)
    262	Opera/8.01 (J2ME/MIDP; Opera Mini/2.0.4509/1690; ru; U; ssr)
     13	Opera/8.01 (J2ME/MIDP; Opera Mini/3.0.6306/1684; ru; U; ssr)
     11	Opera/8.01 (J2ME/MIDP; Opera Mini/3.0.6306/1690; ru; U; ssr)
     75	Opera/8.01 (J2ME/MIDP; Opera Mini/3.0.6317/1690; ru; U; ssr)
     19	Opera/8.01 (J2ME/MIDP; Opera Mini/3.0.6540/1684; ru; U; ssr)
     22	Opera/8.01 (J2ME/MIDP; Opera Mini/3.0.6540/1690; ru; U; ssr)
     13	Opera/8.01 (J2ME/MIDP; Opera Mini/3.0.6636/1690; ru; U; ssr)
      6	Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.7139/1690; ru; U; ssr)
     21	Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.7196/1684; ru; U; ssr)
     63	Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.7196/1690; ru; U; ssr)
     71	Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.8295/1690; ru; U; ssr)
     32	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709); Tablet PC 1.7; .NET CLR 1.0.3705; .NET CLR 1.1.4322)
     61	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Tablet PC 1.7; .NET CLR 1.0.3705; .NET CLR 1.1.4322; InfoPath.2)
     36	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Tablet PC 1.7; .NET CLR 1.0.3705; InfoPath.1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)
     39	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506; Tablet PC 2.0)
     38	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506; Tablet PC 2.0; InfoPath.2)


Роботы:
  47040	Aport
     29	AportCatalogRobot/2.0
      5	Googlebot-Image/1.0
      2	Mediapartners-Google/2.1
  37876	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  31750	Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)
     33	Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
 109286	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
    942	msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
   1427	msnbot/1.0 (+http://search.msn.com/msnbot.htm)
     72	StackRambler/2.0
    149	StackRambler/2.0 (MSIE incompatible)
    566	WebAlta Crawler/1.3.33 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)
     56	YaDirectBot/1.0
   1318	Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
    353	Yandex/1.01.001 (compatible; Win16; H)
 258122	Yandex/1.01.001 (compatible; Win16; I)
    534	Yandex/1.01.001 (compatible; Win16; P)
      6	Yandex/1.02.000 (compatible; Win16; F)
      9	Yandex/1.03.003 (compatible; Win16; D)
     47	Yandex/2.01.000 (compatible; Win16; Dyatel; C)
      2	Direct/2.01.000 (compatible; Win16; Dyatel; D)
     87	psbot/0.1 (+http://www.picsearch.com/bot.html)


Иэх! увидел этот и вспомнил молодость... И ведь даже 29 запросов послал... Пару страниц посмотрел, к гадалке не ходи...
     29	Mozilla/5.0 (OS/2; U; Warp 4.5; en-US; rv:1.8.1.4) Gecko/20070524 SeaMonkey/1.1.2

(5 comments) - (Post a new comment)


[info]folgakauchuk
2007-07-25 12:23 pm UTC (link)
Нашла Ваш пост в первой строке Гугла.
(запрос "Direct/2.01.000 (compatible; Win16; Dyatel; D)")
Извините, пожалуйста, за навязчивый вопрос,
но не могли бы Вы объяснить, что означают записи в логах?
Как определить, что лог посещения принадлежит боту?
И как определить, какой именно поисковик, если из названия не ясно?
Заранее спасибо.

(Reply to this) (Thread)

[info]ed_drood
2007-07-28 08:33 am UTC (link)
В логе web-сервера сохраняются данные о каждом запресе к серверу. Это не соответствует 1 странице -- кроме самой страницы браузер запрашивает еще и все картинки и т.д. Кроме собственно даты, времени и запроса есть поле User-Agent, которое содержит данные о ьраузере пославшем запрос. Доверять на 100% этой информации нельзя -- при желании это поле можно легко подделать.

Отличить поисковик со 100% вероятностью нельзя. Можно лишь либо точно знать как он себя называет (его строку User-Agent) или, можно предположить, что по крайней мере всякий честный поисковый бот запрашивает первым делом файл /robots.txt.

(Reply to this) (Parent)(Thread)

[info]folgakauchuk
2007-07-28 01:25 pm UTC (link)
Большое спасибо!

(Reply to this) (Parent)

[info]i0ngunn3r
2008-07-08 04:59 pm UTC (link)
Вот блин, тоже первый запрос гугла, но по "opera mini compatible server" :)
Нифига себе, какая обширная аудитория) Разве что lynxов нету. Что у вас за сайт такой?)

(Reply to this)


(Anonymous)
2009-10-14 01:36 pm UTC (link)
[14/Oct/2009:17:02:01 +0400] "GET / HTTP/1.0" 200 76 "-" "Opera/9.27 (X11; Linux i686; U; ru)"

Собственно флудер, бомбер, за раз валятся оч много запросов...
мне так вешали сервак.

(Reply to this)

(5 comments) - (Post a new comment)

Create an Account
Forgot your login or password?
Login w/ OpenID
English • Español • Deutsch • Русский…