Проблема Медленное скачивание файлов с включенной DAOS

P

pikar05

Прошу помощи по следующей проблеме.
Имеется сервер Lotus Domino 9.0.1 FP8 на Windows 2008. Имеется БД с включенной DAOS, БД используется фактически для хранения файловых вложений, ее логический объем весьма велик, около 300 Гб. С некоторых пор появились проблемы со скоростью скачивания файла из этой базы через http (по ссылке в браузере), файл pdf порядка 16 Мб загружается где-то 1,5 - 2 мин. При этом этот же файл, будучи положенным просто в папку html на сервере, скачивается несколько секунд (хотя тоже совсем не мгновенно, при этом используется локальная сеть 100мбит). Во втором случае, по данным браузера, конкретно время получения ответа составляет доли секунды, а в первом - десятки секунд). Подскажите, плз, в какую сторону копать, скорость загрузки не должна быть такой маленькой.
Кроме того.
Имеется второй сервер Lotus Domino 8.5.3 FP6 на zLinux. В той же сети. На него рассматриваемая база реплицирована, также с DAOS. В этом случае со скоростью получения файла по http все намного лучше. Но. Тут другая проблема. Периодически в консоли имеем ошибку web сервера file does not exist. Ошибка появляется при попытке запроса пользователем файла по url. При этом копирую ссылку на своем компьютере в браузер - у меня, как правило, все ок. Думал, проблема со скоростью репликации, но файлы совсем даже не новые. Этих ошибок на первом сервере нет - ссылка всегда открывается, но медленно.
Буду признателен за любые идеи.
 
Мыш

Мыш

Lotus team
12.02.2008
1 128
16
Вообще говоря, сильно смахивает на известную проблему "Слишком много файлов в одной папке". Гугл и notes.net советуют изменить параметр DAOS_MAX_FILES_PER_SUBCONTAINER. Правда, не сказано, можно ли это делать на работающей системе...
 
  • Нравится
Реакции: pikar05 и Domino-Designer
Domino-Designer

Domino-Designer

Людям надо поморгать!
Lotus team
06.12.2011
632
242
Попробую (FP8).
Notes.ini
The Windows server had: TCPIP=TCP,0,15,0,,45088 (или TCPIP=TCP,0,15,0)
Сhang the value on the Windows server to

TCPIP=TCP, 0, 15, 0,,32800
 
  • Нравится
Реакции: pikar05
P

pikar05

Вообще говоря, сильно смахивает на известную проблему "Слишком много файлов в одной папке". Гугл и notes.net советуют изменить параметр DAOS_MAX_FILES_PER_SUBCONTAINER. Правда, не сказано, можно ли это делать на работающей системе...
Спасибо, параметр запишу. Попробую на тестовом сервере. Хотя в просто файловой системе файлы читаются и копируются.
Кстати, добавлю, сервер на виртуалке, которая на Blade.

Попробую (FP8).
Notes.ini
The Windows server had: TCPIP=TCP,0,15,0,,45088 (или TCPIP=TCP,0,15,0)
Сhang the value on the Windows server to

TCPIP=TCP, 0, 15, 0,,32800
Спасибо, попробую. сейчас TCPIP=TCP, 0, 15, 0,,12320
 
S

swyatogor

Lotus team
24.02.2014
620
29
Проверьте состояние даоса (tell daosmgr status).. скорее всего он у вас не в таком состоянии:
catalogState = SYNCHRONIZED
если да:
удалите файл daoscat.nsf - перезапустите сервер - выполните команду tell daosmgr resync (вроде так пишется)
сервер начнет подтупливать пока не ресинхронизирует.. но скорость потом восстановится..
было такое.. решилось этим..
 
  • Нравится
Реакции: pikar05
P

pikar05

Проверьте состояние даоса (tell daosmgr status).. скорее всего он у вас не в таком состоянии:
catalogState = SYNCHRONIZED
если да:
удалите файл daoscat.nsf - перезапустите сервер - выполните команду tell daosmgr resync (вроде так пишется)
сервер начнет подтупливать пока не ресинхронизирует.. но скорость потом восстановится..
было такое.. решилось этим..
Синхронизацию командой делал. Но daoscat не удалял. Это не приведет к потере связей?

Есть у меня подозрение, что там и не в daos дело может быть.
Вот интересное наблюдение.
Медленно загружается файл по ссылке вида host/dbPath/unid/$file/fileName?openElement
А вот так существенно быстрее: host/dbPath/xsp/.ibmmodres/domino/OpenAttachment/dbPath/unid/file/fileName
Там, как я понимаю, только заголовки http-ответов разные.

Еще потестирую. Попробую программно взять файл из базы и положить в файловую систему, чтобы сеть совсем не была задействована. Если проблема в daos, то, ожидаю, что подобное действие будет выполняться также небыстро.

Также есть идея перенести папку DAOS из каталога данных Domino за его пределы.

Спасибо, параметр запишу. Попробую на тестовом сервере. Хотя в просто файловой системе файлы читаются и копируются.
Кстати, добавлю, сервер на виртуалке, которая на Blade.


Спасибо, попробую. сейчас TCPIP=TCP, 0, 15, 0,,12320
Это не помогло
 
Последнее редактирование модератором:
P

pikar05

Поэкспериментировал...
Имеем 2 сервера: 1 - 9.0.1 FP8 на Windows 2008 R2; 2- 8.5.3 FP6 на zLinux.
Имеем БД (1) с репликами на них, с DAOS. Еще для теста почти пустая БД (2) без DAOS, в которую помещаем те же тестируемые файлы.
Написан агент, который выполняется на сервере 1 и в БД (1): берёт тестируемый файл из БД и кладет его в файловую систему во временную папку.
Загрузки выполняются браузером (одним и тем же) по http по ссылке вида http://<host>/<dbPath>/<docUNID>/$file/<fileName>

1-й файл. PDF, распознан. Размер 16 Мб.
Время работы агента: 8 с.
Время загрузки с сервера 1 из БД (1): 1 мин 5 с.
Время загрузки с сервера 1 из БД (2): 2 с.
Время загрузки с сервера 2 из БД(1): 3 с.


2-й файл. PDF, не распознан. Размер 30 Мб.
Время работы агента: 23 с.
Время загрузки с сервера 1 из БД (1): 3 мин 10 с.
Время загрузки с сервера 1 из БД (2): 3 с.
Время загрузки с сервера 2 из БД(1): 4 с.


3-й файл. PDF, распознан. Размер 89 Мб.
Время работы агента: 3 мин 16 с.
Время загрузки с сервера 1 из БД (1): 12 мин.
Время загрузки с сервера 1 из БД (2): 7 с.
Время загрузки с сервера 2 из БД(1): 9 с.


Решил, на всякий случай, проверить файлы не PDF.
4-й файл, TIF. Размер 48 Мб.
Время работы агента: 1 с.
Время загрузки с сервера 1 из БД (1): 43 с.
Время загрузки с сервера 1 из БД (2): 1 с.
Время загрузки с сервера 2 из БД(1): 1 с.


5-й файл, TIF. Размер 107 Мб.
Время работы агента: 5 с.
Время загрузки с сервера 1 из БД (1): 4 мин 50 с.
Время загрузки с сервера 1 из БД (2): 4 с.
Время загрузки с сервера 2 из БД(1): 3 с.


Серверы работали с минимальной нагрузкой (воскресенье).

Вот теперь ломаю голову, как понимать результаты и какие меры предпринять. DAOS на 8.5.3 на zLinux работает прекрасно, а вот на windows... проблема либо в винде, либо в лотус 9.0.1 FP8, либо еще в чём... :(
 
  • Нравится
Реакции: Domino-Designer
lmike

lmike

нет, пердело совершенство
Lotus team
27.08.2008
7 256
439
а вот на windows... проблема либо в винде,
бинго, вам приз :)
основные проблемы - это присутствие винды:
- спорадический индексер
- сканирование диска
- апдейты
- сервисы следящии за изменениями ФС (как пример - дропбокс)
- антивирусы
- гуйневые приложения типа хрома (он включает свой индексер)
- там еще может быть куча виндяцких свистоперделок...
- НТФС - порой накладывает свои тормоза, с этим эпизодически борется МС
на форониксе есть старые бенчи (ex4 на бубунте, ntfs на виндядко7) нтфс на 25% хуже по IO

По прочим процессам... 10 виндовз в виртуалках проц грузит (эпизодически) на >50 процентов, запуская свои системные сервисы
Всякая гуйня, в 10-ой виндядке, обязательна должна использовать графическое ускорение, если оно не отрабатывается производительной видеокартой - задействуется проц...

но-виндовз - но край ;)

если не секрет - зачем вам винда для домины?
 
  • Нравится
Реакции: Мыш и pikar05
P

pikar05

бинго, вам приз :)
основные проблемы - это присутствие винды:
- спорадический индексер
- сканирование диска
- апдейты
- сервисы следящии за изменениями ФС (как пример - дропбокс)
- антивирусы
- гуйневые приложения типа хрома (он включает свой индексер)
- там еще может быть куча виндяцких свистоперделок...
- НТФС - порой накладывает свои тормоза, с этим эпизодически борется МС
на форониксе есть старые бенчи (ex4 на бубунте, ntfs на виндядко7) нтфс на 25% хуже по IO

По прочим процессам... 10 виндовз в виртуалках проц грузит (эпизодически) на >50 процентов, запуская свои системные сервисы
Всякая гуйня, в 10-ой виндядке, обязательна должна использовать графическое ускорение, если оно не отрабатывается производительной видеокартой - задействуется проц...

но-виндовз - но край ;)

если не секрет - зачем вам винда для домины?
Ну просто так сложилось :) Думаете, заняться переносом всего этого дела на линукс? Не особо я в этом разбираюсь :( так-то программирую в веб части домины на xpages и java, но вот приходится и админить.

По линуксу тоже есть проблема, создам по ней, пожалуй, отдельную тему.

На конкретно этой нет антивируса, хрома и почти ничего. Есть новелл. Проц - в тестах максимум 20% загрузки было.
ну нтфс хуже, но не настолько же.
Сеть не имеет выхода в интернет.
Все, что должен сделать лотус - это найти в даос каталоге ссылку на файл NLO, взять его, перевести в соответствующий формат и положить во временную папку. Просто копирование в файловой системе - влёгкую.
Погляжу еще, что там установлено в винде ...
 
lmike

lmike

нет, пердело совершенство
Lotus team
27.08.2008
7 256
439
Проц - в тестах максимум 20% загрузки было
нагрузка идет на IO, я полагаю
и в винде отследить сложнее (какой ф-ционал дает нагрузку), часто будет просто system...
ну нтфс хуже, но не настолько же.
ну там сценарий создает конкретную тупку
 
  • Нравится
Реакции: pikar05
R

rinsk

Lotus team
12.11.2009
1 049
86
Посмотрите на сетевой стек. Есть ли ретрансмисси, МТУ и т.д и тп.
Я бы в браузере на сервере через localhost протестил)
 
Domino-Designer

Domino-Designer

Людям надо поморгать!
Lotus team
06.12.2011
632
242
Неужели в логах (Domino & Windows) ничего не ругается?
 
P

pikar05

Неужели в логах (Domino & Windows) ничего не ругается?
Нет. В лотусе в консоли во время загрузки все чисто, в журналах виндоус тоже вроде бы ничего криминального я не вижу.

Посмотрите на сетевой стек. Есть ли ретрансмисси, МТУ и т.д и тп.
Я бы в браузере на сервере через localhost протестил)
Ну а чего на сетевой стек смотреть, если проблема касается только БД с DAOS. В остальных все тип-топ, в т.ч. если просто положить файл в папку html и загружать по http оттуда.
Кстати, я, наверное, чего-то не знаю, то по localhost (и по 127.0.0.1) по http на сервере ничего не открывается.
 
P

pikar05

нагрузка идет на IO, я полагаю
и в винде отследить сложнее (какой ф-ционал дает нагрузку), часто будет просто system...
с отслеживанием - да, вопрос. Во время загрузки процессорная нагрузка только на доминошные службы, конкретно http и server. Остальные 0.
Там на винде что-то делает acronis. Еще есть драйвера citrix. Еще есть tivoli manager.
И вообще, имеем виртуальную среду на блейд-системе, скорее всего, с вынесенным хранилищем.
Крутится только лотус. И есть еще несколько открытых папок. Собственно, тоже для лотуса и нужны. Но с ними проблем нет. Хотя надо будет посмотреть...
 
R

rinsk

Lotus team
12.11.2009
1 049
86
Нет. В лотусе в консоли во время загрузки все чисто, в журналах виндоус тоже вроде бы ничего криминального я не вижу.


Ну а чего на сетевой стек смотреть, если проблема касается только БД с DAOS. В остальных все тип-топ, в т.ч. если просто положить файл в папку html и загружать по http оттуда.
Кстати, я, наверное, чего-то не знаю, то по localhost (и по 127.0.0.1) по http на сервере ничего не открывается.
Ох - яб так не был уверен... такие чудеса наблюдаются иногда :))
- значит прибинден к конкретному IP\хосту. если к хосту - прибиндить к ИП. И откл reverse DNS если случайно оно есть...
 
lmike

lmike

нет, пердело совершенство
Lotus team
27.08.2008
7 256
439
если к хосту - прибиндить к ИП. И откл reverse DNS если случайно оно есть...
ну здесь тупо прописать %SystemRoot%\System32\drivers\etc\hosts

Там на винде что-то делает acronis. Еще есть драйвера citrix. Еще есть tivoli manager.
акронис вполне может мониторить и использовать теневые копии, тиволи - инвентори делать для каталогов (что может вызвать тупку)
 
P

pikar05

акронис остановил.
В процессе закачки файла из DAOS наблюдается повышенная нагрузка на системный диск на запись. Лотус на другом диске обитает.
 
lmike

lmike

нет, пердело совершенство
Lotus team
27.08.2008
7 256
439
акронис остановил.
В процессе закачки файла из DAOS наблюдается повышенная нагрузка на системный диск на запись. Лотус на другом диске обитает.
службу индекса винды отрубить на..
в перформанс мониторе посмотреть - какая .... шебуршит диском в эти моменты
 
  • Нравится
Реакции: Мыш
S

swyatogor

Lotus team
24.02.2014
620
29
Синхронизацию командой делал. Но daoscat не удалял. Это не приведет к потере связей?
ресинхронизация как раз эти связи и восстановит..
просто ресинк без удаления - не чинит..
а симптомы прям один в один как я боролся..
 
  • Нравится
Реакции: pikar05
Мыш

Мыш

Lotus team
12.02.2008
1 128
16
акронис остановил.
В процессе закачки файла из DAOS наблюдается повышенная нагрузка на системный диск на запись. Лотус на другом диске обитает.
Диск с DAOS должен быть изолирован от любого рода х-ни, использующей этот диск (антивирусы, индексаторы, бакап-агенты). Хотите бэкап? Через smb share - и на Линуксе, и на Винде работает устойчивее и, по крайней мере, дебагельнее, чем сторонние тулзы.
 
Мы в соцсетях:  ТелеграмВконтактеДзенФейсбукТвиттерЮтуб