Есть веб-сайт с документами (~1000 документов)
Задача иметь иметь по каждому документу ежемесячную статистику уникальных просмотров по каждому разделу.
Также необходимо в дневное время добиться максимально быстрой загрузки документов на веб-сайте.
Ежедневно происходит порядка 10 000 просмотров суммарно.
Предполагаемый процент неуникальных и ботов ~ 20%
Сейчас реализован подсчет лотусовым агентом по первому варианту, вопрос есть ли смысл например перейти на второй вариант или как то еще реализовать?
1 вариант
Есть документы месячной статистики (месяц, количество показов А, количество показов Б, количество показов С)
Есть документы ежедневной статистики (дата, ip, тип показов (А, Б или С), куки, броузер инфо)
Когда документ открывается в разделе (А,Б или С), запускается агент, который находит документ месячного показа или создает его, если его нет.
Затем в документе месячного показа, для соответствующего типа проверяется уникальность по ip и исключаются боты.
Если показ уникальный, то прибавляется 1 к показам и создается документ ежедневной статистики.
Ежедневная статистика старше 2х месяцев - просто удаляется.
2 вариант
Когда документ открывается, запускается агент, который пишет документ ежедневной статистики (неуникальный и с ботами) в базу.
Ночью агент обрабатывает документы ежедневной статистики (проверяет на уникальность по ip) и модифицирует или создает документы месячной статистики.
а) Неуникальные документы/боты и ежедневная статистика старше 2х месяцев - просто удаляется.
б) В базе статистики документ не удаляется, а "очищается", а при записи сначала берутся "очищенные", а затем если "очищенных" нет, то создаются новые.
--------------
Для ежедневной статистики сделана отдельная база, в ней порядка 226 000 доков и размер 5гб используемое место в ней 15%.
Месячная статистика находится в той же базе что и документы, доков статистики в ней 44 000 за несколько лет.
Вот думаю как минимум вынести месячную статистику в отдельную базу, чтобы ускорить открытие страниц. Заодно думаю, есть ли смысл переписать все на второй вариант, указанный выше?
Спасибо за внимание.
Задача иметь иметь по каждому документу ежемесячную статистику уникальных просмотров по каждому разделу.
Также необходимо в дневное время добиться максимально быстрой загрузки документов на веб-сайте.
Ежедневно происходит порядка 10 000 просмотров суммарно.
Предполагаемый процент неуникальных и ботов ~ 20%
Сейчас реализован подсчет лотусовым агентом по первому варианту, вопрос есть ли смысл например перейти на второй вариант или как то еще реализовать?
1 вариант
Есть документы месячной статистики (месяц, количество показов А, количество показов Б, количество показов С)
Есть документы ежедневной статистики (дата, ip, тип показов (А, Б или С), куки, броузер инфо)
Когда документ открывается в разделе (А,Б или С), запускается агент, который находит документ месячного показа или создает его, если его нет.
Затем в документе месячного показа, для соответствующего типа проверяется уникальность по ip и исключаются боты.
Если показ уникальный, то прибавляется 1 к показам и создается документ ежедневной статистики.
Ежедневная статистика старше 2х месяцев - просто удаляется.
2 вариант
Когда документ открывается, запускается агент, который пишет документ ежедневной статистики (неуникальный и с ботами) в базу.
Ночью агент обрабатывает документы ежедневной статистики (проверяет на уникальность по ip) и модифицирует или создает документы месячной статистики.
а) Неуникальные документы/боты и ежедневная статистика старше 2х месяцев - просто удаляется.
б) В базе статистики документ не удаляется, а "очищается", а при записи сначала берутся "очищенные", а затем если "очищенных" нет, то создаются новые.
--------------
Для ежедневной статистики сделана отдельная база, в ней порядка 226 000 доков и размер 5гб используемое место в ней 15%.
Месячная статистика находится в той же базе что и документы, доков статистики в ней 44 000 за несколько лет.
Вот думаю как минимум вынести месячную статистику в отдельную базу, чтобы ускорить открытие страниц. Заодно думаю, есть ли смысл переписать все на второй вариант, указанный выше?
Спасибо за внимание.
