Проблема Медленное скачивание файлов с включенной DAOS

[pikar05]

Прошу помощи по следующей проблеме.
Имеется сервер Lotus Domino 9.0.1 FP8 на Windows 2008. Имеется БД с включенной DAOS, БД используется фактически для хранения файловых вложений, ее логический объем весьма велик, около 300 Гб. С некоторых пор появились проблемы со скоростью скачивания файла из этой базы через http (по ссылке в браузере), файл pdf порядка 16 Мб загружается где-то 1,5 - 2 мин. При этом этот же файл, будучи положенным просто в папку html на сервере, скачивается несколько секунд (хотя тоже совсем не мгновенно, при этом используется локальная сеть 100мбит). Во втором случае, по данным браузера, конкретно время получения ответа составляет доли секунды, а в первом - десятки секунд). Подскажите, плз, в какую сторону копать, скорость загрузки не должна быть такой маленькой.
Кроме того.
Имеется второй сервер Lotus Domino 8.5.3 FP6 на zLinux. В той же сети. На него рассматриваемая база реплицирована, также с DAOS. В этом случае со скоростью получения файла по http все намного лучше. Но. Тут другая проблема. Периодически в консоли имеем ошибку web сервера file does not exist. Ошибка появляется при попытке запроса пользователем файла по url. При этом копирую ссылку на своем компьютере в браузер - у меня, как правило, все ок. Думал, проблема со скоростью репликации, но файлы совсем даже не новые. Этих ошибок на первом сервере нет - ссылка всегда открывается, но медленно.
Буду признателен за любые идеи.

 

[Мыш]

Вообще говоря, сильно смахивает на известную проблему "Слишком много файлов в одной папке". Гугл и notes.net советуют изменить параметр DAOS_MAX_FILES_PER_SUBCONTAINER. Правда, не сказано, можно ли это делать на работающей системе...

 

[Domino-Designer]

Попробую (FP8).
Notes.ini
The Windows server had: TCPIP=TCP,0,15,0,,45088 (или TCPIP=TCP,0,15,0)
Сhang the value on the Windows server to

TCPIP=TCP, 0, 15, 0,,32800

 

[pikar05]

Вообще говоря, сильно смахивает на известную проблему "Слишком много файлов в одной папке". Гугл и notes.net советуют изменить параметр DAOS_MAX_FILES_PER_SUBCONTAINER. Правда, не сказано, можно ли это делать на работающей системе...

Спасибо, параметр запишу. Попробую на тестовом сервере. Хотя в просто файловой системе файлы читаются и копируются.
Кстати, добавлю, сервер на виртуалке, которая на Blade.

Попробую (FP8).
Notes.ini
The Windows server had: TCPIP=TCP,0,15,0,,45088 (или TCPIP=TCP,0,15,0)
Сhang the value on the Windows server to

TCPIP=TCP, 0, 15, 0,,32800

Спасибо, попробую. сейчас TCPIP=TCP, 0, 15, 0,,12320

 

[swyatogor]

Проверьте состояние даоса (tell daosmgr status).. скорее всего он у вас не в таком состоянии:
catalogState = SYNCHRONIZED
если да:
удалите файл daoscat.nsf - перезапустите сервер - выполните команду tell daosmgr resync (вроде так пишется)
сервер начнет подтупливать пока не ресинхронизирует.. но скорость потом восстановится..
было такое.. решилось этим..

 

[pikar05]

Проверьте состояние даоса (tell daosmgr status).. скорее всего он у вас не в таком состоянии:
catalogState = SYNCHRONIZED
если да:
удалите файл daoscat.nsf - перезапустите сервер - выполните команду tell daosmgr resync (вроде так пишется)
сервер начнет подтупливать пока не ресинхронизирует.. но скорость потом восстановится..
было такое.. решилось этим..

Синхронизацию командой делал. Но daoscat не удалял. Это не приведет к потере связей?

Есть у меня подозрение, что там и не в daos дело может быть.
Вот интересное наблюдение.
Медленно загружается файл по ссылке вида host/dbPath/unid/$file/fileName?openElement
А вот так существенно быстрее: host/dbPath/xsp/.ibmmodres/domino/OpenAttachment/dbPath/unid/file/fileName
Там, как я понимаю, только заголовки http-ответов разные.

Еще потестирую. Попробую программно взять файл из базы и положить в файловую систему, чтобы сеть совсем не была задействована. Если проблема в daos, то, ожидаю, что подобное действие будет выполняться также небыстро.

Также есть идея перенести папку DAOS из каталога данных Domino за его пределы.

Спасибо, параметр запишу. Попробую на тестовом сервере. Хотя в просто файловой системе файлы читаются и копируются.
Кстати, добавлю, сервер на виртуалке, которая на Blade.


Спасибо, попробую. сейчас TCPIP=TCP, 0, 15, 0,,12320

Это не помогло

 

[pikar05]

Поэкспериментировал...
Имеем 2 сервера: 1 - 9.0.1 FP8 на Windows 2008 R2; 2- 8.5.3 FP6 на zLinux.
Имеем БД (1) с репликами на них, с DAOS. Еще для теста почти пустая БД (2) без DAOS, в которую помещаем те же тестируемые файлы.
Написан агент, который выполняется на сервере 1 и в БД (1): берёт тестируемый файл из БД и кладет его в файловую систему во временную папку.
Загрузки выполняются браузером (одним и тем же) по http по ссылке вида http://<host>/<dbPath>/<docUNID>/$file/<fileName>

1-й файл. PDF, распознан. Размер 16 Мб.
Время работы агента: 8 с.
Время загрузки с сервера 1 из БД (1): 1 мин 5 с.
Время загрузки с сервера 1 из БД (2): 2 с.
Время загрузки с сервера 2 из БД(1): 3 с.

2-й файл. PDF, не распознан. Размер 30 Мб.
Время работы агента: 23 с.
Время загрузки с сервера 1 из БД (1): 3 мин 10 с.
Время загрузки с сервера 1 из БД (2): 3 с.
Время загрузки с сервера 2 из БД(1): 4 с.

3-й файл. PDF, распознан. Размер 89 Мб.
Время работы агента: 3 мин 16 с.
Время загрузки с сервера 1 из БД (1): 12 мин.
Время загрузки с сервера 1 из БД (2): 7 с.
Время загрузки с сервера 2 из БД(1): 9 с.

Решил, на всякий случай, проверить файлы не PDF.
4-й файл, TIF. Размер 48 Мб.
Время работы агента: 1 с.
Время загрузки с сервера 1 из БД (1): 43 с.
Время загрузки с сервера 1 из БД (2): 1 с.
Время загрузки с сервера 2 из БД(1): 1 с.

5-й файл, TIF. Размер 107 Мб.
Время работы агента: 5 с.
Время загрузки с сервера 1 из БД (1): 4 мин 50 с.
Время загрузки с сервера 1 из БД (2): 4 с.
Время загрузки с сервера 2 из БД(1): 3 с.

Серверы работали с минимальной нагрузкой (воскресенье).

Вот теперь ломаю голову, как понимать результаты и какие меры предпринять. DAOS на 8.5.3 на zLinux работает прекрасно, а вот на windows... проблема либо в винде, либо в лотус 9.0.1 FP8, либо еще в чём...

 

[lmike]

а вот на windows... проблема либо в винде,

бинго, вам приз
основные проблемы - это присутствие винды:
- спорадический индексер
- сканирование диска
- апдейты
- сервисы следящии за изменениями ФС (как пример - дропбокс)
- антивирусы
- гуйневые приложения типа хрома (он включает свой индексер)
- там еще может быть куча виндяцких свистоперделок...
- НТФС - порой накладывает свои тормоза, с этим эпизодически борется МС
на форониксе есть старые бенчи (ex4 на бубунте, ntfs на виндядко7) нтфс на 25% хуже по IO

По прочим процессам... 10 виндовз в виртуалках проц грузит (эпизодически) на >50 процентов, запуская свои системные сервисы
Всякая гуйня, в 10-ой виндядке, обязательна должна использовать графическое ускорение, если оно не отрабатывается производительной видеокартой - задействуется проц...

но-виндовз - но край

если не секрет - зачем вам винда для домины?

 

[pikar05]

бинго, вам приз
основные проблемы - это присутствие винды:
- спорадический индексер
- сканирование диска
- апдейты
- сервисы следящии за изменениями ФС (как пример - дропбокс)
- антивирусы
- гуйневые приложения типа хрома (он включает свой индексер)
- там еще может быть куча виндяцких свистоперделок...
- НТФС - порой накладывает свои тормоза, с этим эпизодически борется МС
на форониксе есть старые бенчи (ex4 на бубунте, ntfs на виндядко7) нтфс на 25% хуже по IO

По прочим процессам... 10 виндовз в виртуалках проц грузит (эпизодически) на >50 процентов, запуская свои системные сервисы
Всякая гуйня, в 10-ой виндядке, обязательна должна использовать графическое ускорение, если оно не отрабатывается производительной видеокартой - задействуется проц...

но-виндовз - но край

если не секрет - зачем вам винда для домины?

Ну просто так сложилось Думаете, заняться переносом всего этого дела на линукс? Не особо я в этом разбираюсь так-то программирую в веб части домины на xpages и java, но вот приходится и админить.

По линуксу тоже есть проблема, создам по ней, пожалуй, отдельную тему.

На конкретно этой нет антивируса, хрома и почти ничего. Есть новелл. Проц - в тестах максимум 20% загрузки было.
ну нтфс хуже, но не настолько же.
Сеть не имеет выхода в интернет.
Все, что должен сделать лотус - это найти в даос каталоге ссылку на файл NLO, взять его, перевести в соответствующий формат и положить во временную папку. Просто копирование в файловой системе - влёгкую.
Погляжу еще, что там установлено в винде ...

 

[lmike]

Проц - в тестах максимум 20% загрузки было

нагрузка идет на IO, я полагаю
и в винде отследить сложнее (какой ф-ционал дает нагрузку), часто будет просто system...

ну нтфс хуже, но не настолько же.

ну как сказать там сценарий создает конкретную тупку

 

[rinsk]

Посмотрите на сетевой стек. Есть ли ретрансмисси, МТУ и т.д и тп.
Я бы в браузере на сервере через localhost протестил)

 

[Domino-Designer]

Неужели в логах (Domino & Windows) ничего не ругается?

 

[pikar05]

Неужели в логах (Domino & Windows) ничего не ругается?

Нет. В лотусе в консоли во время загрузки все чисто, в журналах виндоус тоже вроде бы ничего криминального я не вижу.

Посмотрите на сетевой стек. Есть ли ретрансмисси, МТУ и т.д и тп.
Я бы в браузере на сервере через localhost протестил)

Ну а чего на сетевой стек смотреть, если проблема касается только БД с DAOS. В остальных все тип-топ, в т.ч. если просто положить файл в папку html и загружать по http оттуда.
Кстати, я, наверное, чего-то не знаю, то по localhost (и по 127.0.0.1) по http на сервере ничего не открывается.

 

[pikar05]

нагрузка идет на IO, я полагаю
и в винде отследить сложнее (какой ф-ционал дает нагрузку), часто будет просто system...

с отслеживанием - да, вопрос. Во время загрузки процессорная нагрузка только на доминошные службы, конкретно http и server. Остальные 0.
Там на винде что-то делает acronis. Еще есть драйвера citrix. Еще есть tivoli manager.
И вообще, имеем виртуальную среду на блейд-системе, скорее всего, с вынесенным хранилищем.
Крутится только лотус. И есть еще несколько открытых папок. Собственно, тоже для лотуса и нужны. Но с ними проблем нет. Хотя надо будет посмотреть...

 

[rinsk]

Нет. В лотусе в консоли во время загрузки все чисто, в журналах виндоус тоже вроде бы ничего криминального я не вижу.


Ну а чего на сетевой стек смотреть, если проблема касается только БД с DAOS. В остальных все тип-топ, в т.ч. если просто положить файл в папку html и загружать по http оттуда.
Кстати, я, наверное, чего-то не знаю, то по localhost (и по 127.0.0.1) по http на сервере ничего не открывается.

Ох - яб так не был уверен... такие чудеса наблюдаются иногда )
- значит прибинден к конкретному IP\хосту. если к хосту - прибиндить к ИП. И откл reverse DNS если случайно оно есть...

 

[lmike]

если к хосту - прибиндить к ИП. И откл reverse DNS если случайно оно есть...

ну здесь тупо прописать %SystemRoot%\System32\drivers\etc\hosts

Там на винде что-то делает acronis. Еще есть драйвера citrix. Еще есть tivoli manager.

акронис вполне может мониторить и использовать теневые копии, тиволи - инвентори делать для каталогов (что может вызвать тупку)

 

[pikar05]

акронис остановил.
В процессе закачки файла из DAOS наблюдается повышенная нагрузка на системный диск на запись. Лотус на другом диске обитает.

 

[lmike]

акронис остановил.
В процессе закачки файла из DAOS наблюдается повышенная нагрузка на системный диск на запись. Лотус на другом диске обитает.

службу индекса винды отрубить на..
в перформанс мониторе посмотреть - какая .... шебуршит диском в эти моменты

 

[swyatogor]

Синхронизацию командой делал. Но daoscat не удалял. Это не приведет к потере связей?

ресинхронизация как раз эти связи и восстановит..
просто ресинк без удаления - не чинит..
а симптомы прям один в один как я боролся..

 

[Мыш]

акронис остановил.
В процессе закачки файла из DAOS наблюдается повышенная нагрузка на системный диск на запись. Лотус на другом диске обитает.

Диск с DAOS должен быть изолирован от любого рода х-ни, использующей этот диск (антивирусы, индексаторы, бакап-агенты). Хотите бэкап? Через smb share - и на Линуксе, и на Винде работает устойчивее и, по крайней мере, дебагельнее, чем сторонние тулзы.