Собрать отчет из многих баз

anna

Lotus team
03.06.2014
400
7
#1
Многоуважаемый all! У меня есть некий план, но хочется услышать и другие мнения - каков наилучший способ (наибыстрейший и с минимальными серверными нагрузками) собрать инфу(снять отчет) о статусе документов разом из ~50 баз?
 

alexas1

Lotus team
10.04.2014
723
144
#4
Что есть "о статусе"? Если по кол-ву доков, всю работу поручить индексёру - понаделать лукапных вьюх, но эт смотря какое разнообразие доков.
Тогда ващще онлайн выйдет.
 

Kizarek86

Lotus team
20.07.2007
864
4
#5
Если баз и документов много а результат нужен быстро то гоните данные в реляционки.
У нас для таких целей используется LEI и DB2
 

anna

Lotus team
03.06.2014
400
7
#6
Если баз и документов много а результат нужен быстро то гоните данные в реляционки.
У нас для таких целей используется LEI и DB2
чтобы гнать в реляционки тоже используются ресурсы доминошного сервера?
дб2 не бесплатен. да и под него еще целый огород городить придется.
 

garrick

Lotus team
26.10.2009
894
61
#7
DB2 бывает бесплатная версия, но она, по-моему, с Domino не дружит, а вот LEI точно не задаром? Без какого-либо генератора отчётов наверное не обойтись, а все генераторы отчётов работают только с реляционными СУБД. У Интертраста был какой-то самодельный для Lotus Notes, но кажется он был заточен специально только под CompanyMedia. Если совсем по-простому Java+Notes API+Apache POI = вывод в Excel. В базах на этот случай надо построить специальные вьюхи для ускорения отбора документов для отчёта, а если ещё и с правильными столбцами, то можно пройтись по ViewEntryCollection.
 
Последнее редактирование модератором:

rinsk

Lotus team
12.11.2009
900
44
#8
чтобы гнать в реляционки тоже используются ресурсы доминошного сервера?
дб2 не бесплатен. да и под него еще целый огород городить придется.
можно использовать постгрес через JDBC. и без всяких lei.

ps.. хочу поиграться с jsonb на мульенах записей...
 

alexas1

Lotus team
10.04.2014
723
144
#10
Гнать инфу в реляционку, это по сути готовить в ней отчёт(ы) для быстрого к нему(к ним) доступа. А сам отчёт будет актуальным с периодичностью загрузки данных (если она массовая). Т.е. и близко никакого реалтайма (а об этом вроде @anna упоминала). Нотусёвые вьюшки - те же отчёты (кусочки, в общем случае) с хорошей актуальностью (и автоматом - индексёр).
Какие проблемы собрать простую (если я правильно понял) инфу с вьюшек 50 баз на лету???
Разговор, канеш, о простом не развёрнутом отчёте (ну типа статистики)
 

anna

Lotus team
03.06.2014
400
7
#11
Действительно, нет ничего лучше эксперимента - снятие самого простого отчета из видов (без поиска) со всех баз заняло ~30 секунд на клиенте. На сервере, значит, будет еще быстрее.
 

rinsk

Lotus team
12.11.2009
900
44
#13
Гнать инфу в реляционку, это по сути готовить в ней отчёт(ы) для быстрого к нему(к ним) доступа. А сам отчёт будет актуальным с периодичностью загрузки данных (если она массовая). Т.е. и близко никакого реалтайма (а об этом вроде @anna упоминала). Нотусёвые вьюшки - те же отчёты (кусочки, в общем случае) с хорошей актуальностью (и автоматом - индексёр).
Какие проблемы собрать простую (если я правильно понял) инфу с вьюшек 50 баз на лету???
Разговор, канеш, о простом не развёрнутом отчёте (ну типа статистики)
Все это здорово, пока набор отчетной инфы относительно статичен и\или кол-во доков относительно не большие.
На счет реалтам\не реалтйм. если нужен реалтам то при doc.save данные пихаются в сиквел тут же - замер показал 5-15 ms на upsert операции.
если есть запас по времени от 5 мин - то шедульный агент с db.search и отсечкой по времени вполне так порционно гонит инфу куда надо.
 

anna

Lotus team
03.06.2014
400
7
#14
Все это здорово, пока набор отчетной инфы относительно статичен и\или кол-во доков относительно не большие.
На счет реалтам\не реалтйм. если нужен реалтам то при doc.save данные пихаются в сиквел тут же - замер показал 5-15 ms на upsert операции.
если есть запас по времени от 5 мин - то шедульный агент с db.search и отсечкой по времени вполне так порционно гонит инфу куда надо.
Я думала, что сейчас будет флейм про то, что нужно на сервере sql дергать лотусовые данные, типа, хочешь отчетов - сам себе и надергай :) В общем, если юзать R, то примерно так и можно работать с данными, но в данном конкретном случае интересует не бигдата же, а банально статусы документов в документообороте
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 567
263
#15
Если совсем по-простому Java+Notes API+Apache POI
выкладывал здесь шаблон, еще и настраивается (что выгружать из каких вью) + может связанную инфу тянуть
понятно - не будет быстро (если по сетке)
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 567
263
#17
оптимизации по выгрузке отчетов - только список измененных юнидов получать
первая выгрузка - полный срез - будет задержка
 

anna

Lotus team
03.06.2014
400
7
#18
деткам на заметку: если в виде используется @Now - время работы увеличивается от 20 секунд до 6 минут и все замедляяяяяетсяааа
 

anna

Lotus team
03.06.2014
400
7
#20
оптимизации по выгрузке отчетов - только список измененных юнидов получать
первая выгрузка - полный срез - будет задержка
мммм, а вот, кстати, пройдет ли? потому что документы могут быть просмотрены ранее и потом поменять статус. Мы же не можем такие пропустить.