Live view refresh in domino 9.0.1fp3

[rinsk]

А если не секрет, то чем вы забиваете 64Гб

"А Вы видите суслика? Нет? А он есть!" )
Скрин после всех манипуляций по уменьшению размеров. Приходится бить уже по кварталам. А данные должны подниматься сразу. Например узнать ваши анализы крови лет 5 назад) Оперативная база\ссылка - 2,7 млн доком - 23 Гб и оно растет. Вынесено оттуда все что можно вынести. Остальное размазано по сотне других баз.
И вообще - речь не о том, что кто то не умеет что то готовить, а об ограничениях платформы. То что эти ограничения как то можно обходить - вопрос не возникает.

 

[lmike]

А если не секрет, то чем вы забиваете 64Гб. Это прямо оперативная база из одних документов?

фокус в том, что не из одних документов, а + индексы вьюшек

 

[rinsk]

фокус в том, что не из одних документов, а + индексы вьюшек

А вспоминая что I\O в базу по очереди и не важно что - то вынос индексов ну очень жду )

 

[ToxaRat]

Скрин после всех манипуляций по уменьшению размеров. Приходится бить уже по кварталам. А данные должны подниматься сразу. Например узнать ваши анализы крови лет 5 назад) Оперативная база\ссылка - 2,7 млн доком - 23 Гб и оно растет.

честно не совсем понял а где же разнос? вижу на скрине базу "мы всё слили в неё"

я про базы где одна база - один тип документов

фокус в том, что не из одних документов, а + индексы вьюшек

опять не умелое строительство - у вас сколько видов?
а почему больше 5 видов на всю базу?
а почему больше 5 колонок в виде?

суть ясна?


а вообще для меня подозрительно обвинять "ограничение платформы" а не свой говнокод

 

[rinsk]

честно не совсем понял а где же разнос? вижу на скрине базу "мы всё слили в неё"

Про суслика мы уже говорили

я про базы где одна база - один тип документов

ок - заведем тему "одна база - один тип документа"+ "1 база+1 док". А пока ситуация иная.

опять не умелое строительство - у вас сколько видов?
а почему больше 5 видов на всю базу?
а почему больше 5 колонок в виде?

А почему нет? ограничения какие-то - не?

а вообще для меня подозрительно обвинять "ограничение платформы" а не свой говнокод

Ну и мне то же не понятно - чего это манагеры IBM все жалуются но жуют кактус не делают востребованные фичи , и пишут бэст практики - как для мамаш по тлетворном влиянию девочек на своих сыночков.

 

[lmike]

а вообще для меня подозрительно обвинять "ограничение платформы" а не свой говнокод

очень смелое заявление...
давай немного абстрагируемся от конкретной платформы и зададимся вопросом - какой современной платформе свойственны настолько "сильные" ограничения?
повторю - современной
и уточню - что мешает сделать домину "современной"?
выше уже вспоминали несколько платформ, кот. обладают чертами "современных" и не несут ограничений домины
при этом - они документоориентированные - как и домина

индексы вне базы - хотелось бы услышать о платформах - где они "внутри" (в одном файле)

а заодно и уточнить - механизм репликаций и прочая... не затрагивают индексы (да они просто могут быть порушены), дык какого рожна это до сих пор ограничивает использование платформы?

 

[ToxaRat]

какой современной платформе свойственны настолько "сильные" ограничения?

а где слово НЕ реляционной?

индексы вне базы - хотелось бы услышать о платформах - где они "внутри" (в одном файле)

да вы как избалованные дети, то вы радуетесь что бинарник базы на всех операционках одинаков, то жалуетесь
определитесь уже

дык какого рожна это до сих пор ограничивает использование платформы?

давайка по конкретнее, где ты сталкивался с ограничением платформы, которое ты не мог обойти?

и я не совсем пойму, а что не так с индексами видов? - вы что там творите, пару лямов доков за раз меняете, и потом возмущаетесь что приходится их перестраивать? - так не меняется столько доков

 

[lmike]

где ты сталкивался с ограничением платформы, которое ты не мог обойти?

начиная с прогания под DOS, обходы были разные, хотя есть link removed и вот начинаются оверлеи,

Ссылка скрыта от гостей

и прочие расширители сознания
и вот что странно - ведь тогда была цифра 640, а теперь 64 (нолик потерялся)
как те ограничения - так текущее, являются надуманными (история подтверждает), но времени, на

которое ты не мог обойти

было потрачено достаточно, а хотелось бы не заниматься подобным

 

[rinsk]

И вообще - речь не о том, что кто то не умеет что то готовить, а об ограничениях платформы. То что эти ограничения как то можно обходить - вопрос не возникает.

Сам себя цитирую Ну вот о чем мы говорим то? То что так или иначе каждый в своей практике встречается с ограничениями в платформе? Ну как бы да - солнце встает на востоке ... То что кто то для своих задач, преодолевая ограничения платформы добился таки результатов - ну да, класссно см. например DigestSearch - хотя народец из других миров покрутит у виска на это... Так или иначе будем лезть на этот кактус пока не поменяются обстоятельства.
И так везде в общем то
Ну а на счет 1 база - 1 тип доков. Ну не спасает это, как показала практика. Например в случае конкурентного доступа через 1000 чел на чтение, 1 чел на запись доков 10 доков на 100 тыс базу. Сервер может войти в клинч. ибо на операции GetEntryByKey() при обновлении 1 дока *может* возникнуть задержка на обновление индекса в 300-500мс минимум, что быстро переполняют HTTP Thread pool и остальные встают в очередь. А увеличивать HTTP Thread pool то же нельзя, иначе ... - короче хочу потестить Live view refresh
64 гб - опять таки, есть подозрение что это не стимуляция со стороны IBM коры головного мозга программиста, а банальный бизнес, что и напрягает лично меня как инженера.

 

[lmike]

что и напрягает лично меня как инженера.

судя по "пожеланиям трудящихся" - много нас таких

 

[rinsk]

Live view refresh починили говорят в FP4.
стр. 35

Ссылка скрыта от гостей

И впервые увидел там на счет summary полей (стр 37)...

 

[lmike]

не понял про время polling...
т.к. асинхронно - могут быть траблы в бизнес логике - когда док надо найти после добавления

 

[lmike]

из мат-лов привлекло:
-подпись и шифрование для хэпагов
-половина страниц написана про то - как не пользоваться фронтэндом , но без openssl не обойтись гы-гы
-индексы и просмотр аттачей
-8-мая жвм (ну наконец-то будет)
жалко что самая ожидаемая часть фич только в 2016

 

[rinsk]

не понял про время polling...
т.к. асинхронно - могут быть траблы в бизнес логике - когда док надо найти после добавления

Похоже на реализацию параметра &stale=ok как в CouchDB.
Для морды лица клиента эт даст визульное ускорение.
Интересно поведение бакэнд кода типа:
set doc=view.GetDocumentByKey(key)
if doc is nothing then
call v.refresh
set doc=view.GetDocumentByKey(key)
end if
т.е. будет ли игнорироваться v.refresh на таких вьюхах. если да - то только для UI применения . ИМХО.

 

[lmike]

т.е. будет ли игнорироваться v.refresh

именно это меня и беспокоит

 

[odyssey]

Кто-то знает, какое ограничение на количество View Indexer`ов? Больше 10 что-то не запускается...

 

[rinsk]

NIF_MAX_VIEW_INDEX_THREADS

Ссылка скрыта от гостей

просьба поделится изысканиями

 

[avkozak]

Всем привет.

Настроил у себя LVR, для ключевых видом системы и ряда видов пользователей, всего 8 видов. Под нагрузкой отклик на действия пользователей действительно уменьшился, соответствует времени, когда сервер находится в спокойном состоянии, а виды с LVR открываются всегда быстро (независимо от нагрузки на БД).
Нагрузка на CPU, при LVR для 8 видов в БД с 300 тис документов, выросла на 10-20%.
Также столкнулся с тем, что не для всех БД включается LVR, команда отрабатывает, а задача на сервере не создаётся (ODS везде 51).
На тестовой системе наблюдался такой феномен, как загрузка CPU на 100% при включении LVR, при полном штиле на сервере. На других двух серверах, где был включен LVR, данного феномена не наблюдалось.

 

[savl]

@avkozak, и стоит оно того?

 

[rinsk]

Всем привет.

Настроил у себя LVR, для ключевых видом системы и ряда видов пользователей, всего 8 видов. Под нагрузкой отклик на действия пользователей действительно уменьшился, соответствует времени, когда сервер находится в спокойном состоянии, а виды с LVR открываются всегда быстро (независимо от нагрузки на БД).
Нагрузка на CPU, при LVR для 8 видов в БД с 300 тис документов, выросла на 10-20%.
Также столкнулся с тем, что не для всех БД включается LVR, команда отрабатывает, а задача на сервере не создаётся (ODS везде 51).
На тестовой системе наблюдался такой феномен, как загрузка CPU на 100% при включении LVR, при полном штиле на сервере. На других двух серверах, где был включен LVR, данного феномена не наблюдалось.

Версия сервера? А почему не OSD52? ODS52 имхо родной для 9.х и ведет себя стабильнее.
Скрипты есть, которые используют @DbLookup\Getdocumentbykey ?
[DOUBLEPOST=1439962778,1439962525][/DOUBLEPOST]

@avkozak, и стоит оно того?

Конечно стоит. На больших объемах и кол-ва пользователей борьба идет на каждый % скорости...