Форум hotibo.ru

Сайты - по стандартам, но не стандартные сайты!






#1 28.11.2009 18:06

Splurov
Разбирающийся
Откуда: Россия, Томск
Зарегистрирован: 22.11.2009
Сообщений: 29

Какой должна быть система отображения статистики посещения сайта?

Я предлагаю вам высказать своё мнение касательно функциональности системы отображения статистики посещения сайта.
Какие виды отчётов, в каком виде, по каким периодам и прочее. Всё, что касается статистики заходов на сайт.
Я хочу составить что-то типа ТЗ для себя. Понять, на что обратить внимание при разработке этой системы и какие ключевые моменты интересуют верстальщиков.

Нет на форуме

 

#2 28.11.2009 20:08

Andrew
Administrator
Зарегистрирован: 21.11.2009
Сообщений: 64
Вебсайт

Re: Какой должна быть система отображения статистики посещения сайта?

Если ответить не сильно задумываясь:
количество посетителей в сутки;
откуда (по каким ссылкам) они пришли;
наиболее посещаемые страницы.

Остальное, imho, вторично и не сильно интересует.

Иногда возникает желание покопать глубже, скорее из интереса, посмотреть: что ищут на сайте; по каким словам находят сайт; как он представлен поисковиками; статистика по браузерам.

Нет на форуме

 

#3 28.11.2009 21:13

Splurov
Разбирающийся
Откуда: Россия, Томск
Зарегистрирован: 22.11.2009
Сообщений: 29

Re: Какой должна быть система отображения статистики посещения сайта?

Это всё понятно :-)
Верстальщикам, кроме статистики по браузерам, что ещё нужно?
Я вот ничего придумать не могу.
Ну и в каком виде подавать всё, что ты написал. В виде графиков/диаграмм или табличками стандартными? Если первое, то в каком виде.
Хочется сделать удобную систему :-)

Нет на форуме

 

#4 28.11.2009 22:11

Andrew
Administrator
Зарегистрирован: 21.11.2009
Сообщений: 64
Вебсайт

Re: Какой должна быть система отображения статистики посещения сайта?

Статистика по операционкам;
еще есть:
- Коды ошибок HTTP;
- Роботы (какие, когда заглядывали);
- Трафик (сколько накачали от меня страниц и пр., интересно, но не актуально);

Мне кажется, верстальщику этого достаточно. Остальное (география, время на сервере) - скорее для рекламщика, раскрутчика.

Предпочитаю цифры. Довольно спартанская статистика, которой мне достаточно для общей картины посещаемости.
Наверняка, кто-то поинтереснее расскажет. Тема не закрывается. Интересно еще мнения послушать.

Нет на форуме

 

#5 28.11.2009 22:30

Splurov
Разбирающийся
Откуда: Россия, Томск
Зарегистрирован: 22.11.2009
Сообщений: 29

Re: Какой должна быть система отображения статистики посещения сайта?

Коды ошибок это уже интереснее )
Но чтобы знать их и трафик уже нужно логи шерстить, а идея изначально была скрипт на php, данные в БД. Подумаю над этим.

И темя безусловно не закрывается - очень интересно послушать другие ответы)

Нет на форуме

 

#6 28.11.2009 22:38

Vitek_127
Разбирающийся
Зарегистрирован: 27.11.2009
Сообщений: 18

Re: Какой должна быть система отображения статистики посещения сайта?

Имхо, сейчас писать статистику с нуля занятие практически бесперспективное, когда существует уйма различных скриптов, которые передоставляют просто все мыслимые и немыслимые отчеты.
+ использование БД для подсчета статистики тоже не есть хорошо. Допустим на сайте 100000 хитов в сутки - и все, статистика, использующая БД в дауне, а вместе с ней и сервер БД...

Нет на форуме

 

#7 28.11.2009 23:14

Splurov
Разбирающийся
Откуда: Россия, Томск
Зарегистрирован: 22.11.2009
Сообщений: 29

Re: Какой должна быть система отображения статистики посещения сайта?

Vitek_127, уйма скриптов неудобны, плохой интерфейс и прочее, другие минусы.
На счёт БД - ну допустим даже если каждый хит хранить в течении месяца - это 3 млн записей по вашим цифрам. Это не много для того же MySQL.
И в чём ещё можно хранить данные, кроме чем в БД?
На счёт БД вы сказали чушь, извините.

Нет на форуме

 

#8 28.11.2009 23:26

Andrew
Administrator
Зарегистрирован: 21.11.2009
Сообщений: 64
Вебсайт

Re: Какой должна быть система отображения статистики посещения сайта?

Кстати, неплохая идея просто посмотреть, как другие это cделали. Например, яндехом первое попавшееся:
вот (guest / demo).
Сразу скажу, никакого отношения к ней не имею, рекламой тоже не считать.

Нет на форуме

 

#9 29.11.2009 07:41

Splurov
Разбирающийся
Откуда: Россия, Томск
Зарегистрирован: 22.11.2009
Сообщений: 29

Re: Какой должна быть система отображения статистики посещения сайта?

Andrew, смотрел конечно. Ничего интересного не нашёл. Хороших систем нету.
И ещё я не встретил ни одну нормально свёрстанную систему)

Нет на форуме

 

#10 29.11.2009 10:56

Andrew
Administrator
Зарегистрирован: 21.11.2009
Сообщений: 64
Вебсайт

Re: Какой должна быть система отображения статистики посещения сайта?

Зато, таким образом можно ознакомиться с тем, какие отчеты и в каком виде представляются. Выбрать, для начала, понравившиеся, определиться, что не нравится и почему, а также - как это можно сделать лучше. Ну и сделать свою систему, которая будет по всем параметрам лучше существующих.

Мне бы еще понравилась не самая красивая, но быстрая система. Чтобы основную картину работы сайта можно было увидеть сразу на главной странице. Т.е. сперва основные, общие отчеты, а все подробности по ссылкам.

Нет на форуме

 

#11 29.11.2009 11:10

Admin
Administrator
Зарегистрирован: 21.11.2009
Сообщений: 29
Вебсайт

Re: Какой должна быть система отображения статистики посещения сайта?

Считаю нужным иметь в статистике отчёт по точкам входа и выхода пользователя сайта, также не помешает иметь пути по сайту для каждого пользователя. Хиты, хосты - это конечно хорошо, но кроме количественной статистики это ничего не даст, а вот качественную обеспечат нам вышеуказанные параметры.


Идеального кода нет!

Нет на форуме

 

#12 17.12.2009 22:33

mackuler
Разбирающийся
Зарегистрирован: 27.11.2009
Сообщений: 17

Re: Какой должна быть система отображения статистики посещения сайта?

Splurov написал:

На счёт БД - ну допустим даже если каждый хит хранить в течении месяца - это 3 млн записей по вашим цифрам. Это не много для того же MySQL.

имелось ввиду не объемы информации, а нагрузка на базу из-за частого обращения.

Splurov написал:

И в чём ещё можно хранить данные, кроме чем в БД?

действительно, и как вообще другие программы без БД обходятся? wink

Splurov написал:

На счёт БД вы сказали чушь, извините.

не соглашусь

Нет на форуме

 

#13 18.12.2009 15:25

Splurov
Разбирающийся
Откуда: Россия, Томск
Зарегистрирован: 22.11.2009
Сообщений: 29

Re: Какой должна быть система отображения статистики посещения сайта?

"действительно, и как вообще другие программы без БД обходятся?"
Так в чём?
Какие программы?
Например, фтп-сервер Serv-U в качестве БД для хранения информации о учётных записях и группах использует ini-файл.

"имелось ввиду не объемы информации, а нагрузка на базу из-за частого обращения."
Хм. Сейчас на php+mysql работает система статистики. 400-500 тысяч обращений в сутки. MySQL чувствует себя замечательно.
Ни разу не падал и вообще подобных признаков не подаёт.

И ещё заостряю внимание. Что использовать, если не БД?

Нет на форуме

 

#14 18.12.2009 17:44

Vitek_127
Разбирающийся
Зарегистрирован: 27.11.2009
Сообщений: 18

Re: Какой должна быть система отображения статистики посещения сайта?

Splurov написал:

И ещё заостряю внимание. Что использовать, если не БД?

Обычные файлы. Работа с файлами в разы быстрее, чем с БД. Для статистики файлы как раз очень даже подходят.

400-500 тыс. обращений к БД. Это около 60 тыс. в час во время максимальной посещаемости. Т.е. 16 подключений к БД в секунду. Многовато получается, на грани фола :-)

Нет на форуме

 

#15 19.12.2009 09:40

mackuler
Разбирающийся
Зарегистрирован: 27.11.2009
Сообщений: 17

Re: Какой должна быть система отображения статистики посещения сайта?

добавлю к вышесказанному..
хранить обработанную статистику можете в базе, если вам так угодно, но накапливать статистику в базу для каждого хита - нецелесообразно. либо аппендить в обычный файл, либо вообще - обрабатывать логи апача, там необходимый минимум информации уже накапливается.

Хм. Сейчас на php+mysql работает система статистики. 400-500 тысяч обращений в сутки. MySQL чувствует себя замечательно.
Ни разу не падал и вообще подобных признаков не подаёт.

зато отказавшись от использования бд для статистики, вы можете разместить на тех же ресурсах еще с десяток таких сайтов

Нет на форуме

 

#16 19.12.2009 16:28

Splurov
Разбирающийся
Откуда: Россия, Томск
Зарегистрирован: 22.11.2009
Сообщений: 29

Re: Какой должна быть система отображения статистики посещения сайта?

"Обычные файлы. Работа с файлами в разы быстрее, чем с БД. Для статистики файлы как раз очень даже подходят.

400-500 тыс. обращений к БД. Это около 60 тыс. в час во время максимальной посещаемости. Т.е. 16 подключений к БД в секунду. Многовато получается, на грани фола :-)"
Выбоки из файлов тоже в разы быстрее?
16 подключений это мало. Загрузка сервера не велика. Я ещё раз повторюсь, что вы ошибаетесь в своих выводах. Может быть вы не используете индексы или испольузете их неправильно? Может быть вам никогда не приходилось делать сложные выборки?

И ессно, что табличка хитов не хранится годами. В случае системы которую я привёл в пример она очищается ежедневно. В случае системы, что планируется в разработку по результатам данной темы, она будет очищаться раз в месяц.

MySQL выдержит много большие нагрузки, чем я описал выше.

Нет на форуме

 

#17 19.12.2009 17:00

mackuler
Разбирающийся
Зарегистрирован: 27.11.2009
Сообщений: 17

Re: Какой должна быть система отображения статистики посещения сайта?

Splurov написал:

Выбоки из файлов тоже в разы быстрее?

для накопления информации, при каждом хите, не нужны никакие выборки. а вот если будете инсертить в мускль (тем более если вы используете индексы wink), то на каждом хите мусклю прийдется перестраивать таблицы индексов. вопрос - зачем?

Splurov написал:

MySQL выдержит много большие нагрузки, чем я описал выше.

да выдержит, выдержит, никто не спорит smile только зачем подвергать такой нагрузке сервак? есть лишь один ответ - чтобы облегчить работу программиста.

Нет на форуме

 

#18 19.12.2009 17:02

Hedg
Новичок
Зарегистрирован: 19.12.2009
Сообщений: 1

Re: Какой должна быть система отображения статистики посещения сайта?

Мммм...
Давайте вспомним историю. Зачем вообще придуманы СУБД?
Итак: хранили люди данные в файлах и бед себе не знали. Ну когда хранится только одно поле вообще проблем нет, если несколько - разделим их специальными символами-разделителями. Тоже хорошо.
Но если мне и этот символ нужно хранить? Ну используем другой разделитель. Или будем брать поля в кавычки. Постепенно файл растёт... Записать данные в файл - не проблема - добавить новую строку.
Считать значение из середины? Ну нужно открыть файл и начать считывать строку за строкой, пока не встретим нужную запись. Последовательный доступ. Знаете наверное. Чем больше файл, тем дольше... Неудобно. Долго. Ага. Придумали файлы прямого доступа. Нужно хранить в файле какой-то идентификатор записи.
Лучше файл хранить не в стандартном текстовом формате, а в специальном - удобном для быстрого чтения из файла.
Но это только если мы знаем, ЧТО нам нужно считать. А если нам нужно найти строку по шаблону? Опять последовательный доступ. Планомерное чтение всех записей и сравнение с шаблоном.
Постепенно стали вырисовываться алгоритмы поиска информации в записях и форматы хранения этих данных.

Теперь такая ситуация: к файлу обращается не один пользователь(программа), а несколько. Причём кто-то пишет, а кто-то считывает. Нужно грамотно следить за использованием файла - в нужно время блокировать с разными правами и т.п.

Постепенно люди и пришлю к понятию баз данных - стандартизированные форматы хранения информации.
Кроме того, если много разных людей обращаются из разных мест - им должен быть досконально известен формат хранения. И они должны придумывать свои алгоритмы работы с этими данными. А зачем, если можно отобрать лучшие алгоритмы и поставить между пользователем и БД специальную программу, которой дается стандартизированный запрос, а она сама обращается к файлу данных, блокирует его и т.п. и выдаёт обратно нужные данные (или выполняет нужную запись/измененение данных)?
Вот вам и СУБД.

Тут сказали мысль, что доступ к файлу быстрее, чем к БД. Конечно. Открыть файл быстрее. Считать одну строку - да, тоже быстрее. А дальше?
А если нужно цитирую:
количество посетителей в сутки;
откуда (по каким ссылкам) они пришли;
наиболее посещаемые страницы.

Если файл достаточно большой сколько займёт времени "определить количество посетителей в сутки"?
Мы будем читать весь файл в память. Мы будем писать свой алгоритм чтения и подсчёта....
Долго. Сложно.
Гарантирую, что СУБД с такой задачей справится НАМНОГО быстрее. А точнее - десятые и даже сотые доли секунды!!!

Кроме того, при 16 запросов в секунду из разных мест - как вы будете блокировать файл? Кто-то меняет файл, кто-то читает. На сами операции блокировки /открытия файла будет уходить много времени. Растёт нагрузка на систему. Сложные алгоритмы. Ужос одним словом.

СУБД же держит файл данных постоянно открытым. И блокирует/разрешает на программном уровне. Намного быстрее.

А если файл лежит на другом диске / сервере? ....

К чему я это всё? К тому, что СУБД - логичное продолжение хранения данных, истоками которого лежит "плоский" файл.

Если нам нужно хранить свою телефонную или записную книжку - подойдёт и файл.
А настолько объемные и сложные данные - конечно же СУБД. Это логично и правильно.

Нет на форуме

 

#19 19.12.2009 17:25

mackuler
Разбирающийся
Зарегистрирован: 27.11.2009
Сообщений: 17

Re: Какой должна быть система отображения статистики посещения сайта?

Hedg, видимо вы слабо представляете КАК работает субд, какой ценой дается это удобство работы с информацией. субд мало подходит для задач, в которых надо миллионы раз добавить запись, и всего лишь один раз считать

Мы будем читать весь файл в память.
зачем??

Мы будем писать свой алгоритм чтения и подсчёта....
угу, это очень сложная задача wink

никогда не задумывались, почему логи (любые логи, любого сервера, например access_log апача) пишут в файлы, а не в БД? ведь не надо мучица с блокировками, моментально потом можно будет найти любую информацию и тп.

Нет на форуме

 

Board footer