Проблема Медленное скачивание файлов с включенной DAOS

[lmike]

бэкап? Через smb share

это про выключенный сервер домины или что-то другое?

 

[rinsk]

это про выключенный сервер домины или что-то другое?

Не. это чтоб тред не помер. и так глухо как в танке....

 

[pikar05]

Был поднят новый сервер с почти той же конфигурацией (блэйд + винда + 9.0.1 FP5 + DAOS) и реплицированы проблемные базы. Там проблем нет. Правда и бэкапа нет. Зато есть антивирь
По поводу удаления даоскат. Попробую, когда будет возможность остановить сервак.

службу индекса винды отрубить на..
в перформанс мониторе посмотреть - какая .... шебуршит диском в эти моменты

служба индекса не запущена
Посмотрел повнимательнее - грузится дисковое устройство в целом, а не системный. Шебуршат диском процессы лотуса, ещё $log.

 

[lmike]

служба индекса не запущена
Посмотрел повнимательнее - грузится дисковое устройство в целом, а не системный. Шебуршат диском процессы лотуса, ещё $log.

можно

Ссылка скрыта от гостей

посмотреть

 

[Dmitry_J]

Всем привет!
Вернусь к проблеме с DAOS.
На сегодняшний день имеем следующее.
Сервер с проблемой перенесен админами на другую среду виртуализации, там пустая Windows 2012 (против бывшей 2008), те же параметры по "железу". Миграция - копирование только папки data на диск с той же буквой + notes.ini + id, папка DAOS вынесена теперь на отдельный диск. Затем накатывание поверх domino. Изменение ip и хоста на те же, что были, выключение старого сервера и запуск. Имеем тот же результат, что и в начале (тормоза аттачей из DAOS и нет тормозов без DAOS). Удаление daoscat.nsf и ресинхронизация не помогло. По-прежнему загрузка файла нагружает на 10% процессор, процесс либо nhttp, либо nserver - в зависимости от того, как открывается файл - из веб, либо из клиента (во втором случае существенно быстрее, но медленнее, чем на втором сервере из реплики с такой же DAOS). Короче, зараза, похоже, где-то в папке data Может настройки, но они почти аналогичны второму серверу.
Может, есть у кого мысли какие? Интересно было бы понять внутренние механизмы работы DAOS. Возможно, как-то влияет Transaction Logging?


PS Я=pikar05

 

[aameno2]

Я бы сказал количество файлов в каталоге даоса. На линухе такой проблемы не наблюдаю, хотя атачей очень много

 

[Dmitry_J]

Я бы сказал количество файлов в каталоге даоса. На линухе такой проблемы не наблюдаю, хотя атачей очень много

Вопрос, почему нагружается http либо server, а не daosmgr? На второй винде, в режиме репликации, файлов совсем ненамного меньше, но там, как на линухе, всё хорошо. Еще момент, по мониторингу нагрузки на диск с каталогом даоса не наблюдаю, только на диск с данными домины. Поэтому интересно, как происходит процесс "внизу" - берется файл из каталога даоса, выкидывается куда-то в темп, преобразуется из nlo в правильный формат (шифрование отключено) и потом вываливается в http? Или как-то иначе? Кстати, по наблюдению, скорость загрузки (по данным браузера) последовательно падает по мере загрузки. Т.е. получение данных с сервера начинается практически сразу, но происходит медленно и с замедлением с некоторой нагрузкой на процессор.

 

[rinsk]

А точно отключены всякие касперы/защитники и т п?
Под Линукс такого не наблюдается...

 

[aameno2]

Вопрос, почему нагружается http либо server, а не daosmgr?

Ну моншер, это гадание на кофейной гуще.
С окнами слишком много вариантов будет. Процесс индексации, пресловутый суперфетч, скачанные но не установленные обновки.
Отловить все зависимости благородному дону будет не просто. Если у вас один лишь домино, мигрируйте. Тем паче, что перенести на линух данные можно просто копированием, слегка поправив пути

 

[Dmitry_J]

А точно отключены всякие касперы/защитники и т п?

касперов нет никаких, дефендер, вроде, не входит в 2012 r2, но этот вопрос уточню, проверю

Процесс индексации, пресловутый суперфетч, скачанные но не установленные обновки.

Обновок нет, т.к. нет инета. Индексер и суперфетч отключу (если работают), результат сообщу.

Отловить все зависимости благородному дону будет не просто. Если у вас один лишь домино, мигрируйте. Тем паче, что перенести на линух данные можно просто копированием, слегка поправив пути

стандартный совет слезать с винды на линух, может, и хорош, но проблему найти было бы интересно независимо от этого.

 

[aameno2]

стандартный совет слезать с винды на линух

Так это решение проблемы, поэтому и советуют стандартно. Однако никто не может помешать благородному дону удовлетворить свое любопытство)

 

[Dmitry_J]

Так это решение проблемы, поэтому и советуют стандартно. Однако никто не может помешать благородному дону удовлетворить свое любопытство)

Помешать не могут, да, а помочь? )
Пока пробуем "нестандартно" )

Усё лишнее уже было отключено (или не было включено).
Появилось подозрение, что скорость зависит от содержимого файла.
Конкретно: есть pdf файл. Скорость на серверах разная, весьма существенно.
Действие: перераспознавание в FR, повторное вложение.
Результат: практически одинаково.
Вывод... пока рано, надо еще сделать несколько тестов.

 

[VladSh]

С pdf оно что-то не дружит.

 

[Dmitry_J]

Появилось у меня возможное объяснение. Потестировал, с новыми вложениями проблемы нет. Но она остается, если взять проблемное вложение полуторагодовой давности, сохранить на комп, переименовать, засунуть в тестовую базу с включенным daos на том же сервере - так же тормозит. Обнаружил, что для такого вложения размером несколько мегабайт создался nlo всего на сотню килобайт. Т.е. фактически файл остался старый, а у вложенного что-то типа редиректа, видимо. Ну да, наверное, даос так и должен работать ) Если же вкладывается файл, которого нет ни в одной базе, то размер nlo примерно совпадает с размером вложения. Делаю вывод, что проблема осталась только с достаточно давно вложенными файлами. Могу это объяснить тем, что ранее могло быть включено шифрование daos, а потом, когда пробовал разные настройки, его отключил. А проверял по-прежнему на старых файлах или на их копиях. В связи с этим пара вопросов: можно как-то проверить по nlo, зашифрован ли он? И можно ли как-то отменить шифрование на файлах, где оно уже есть?

 

[Мыш]

DAOSMGR NLOENCRYPTION [ENCRYPT | DECRYPT | VALIDATE] <path to single NLO file>
Вроде, можно ind-файл использовать. Хисель, ессно, советует сделать бэкап DAOS'a перед расшифровкой. Насчет "редиректа": по-моему, "сотня килобайт" для ссылки - перебор. Что-то тут не так....Кстати, а файловая система на Винде какая?

 

[lmike]

Кстати, а файловая система на Винде какая?

а бывают разные?
или это как вкус г..на для ценителей версия нтфс и типы томов и их организация

 

[Мыш]

Вообще есть ReFS, типа улучшенная NTFS. Пару раз сталкивался с совершенно невероятными эффектами на этой ФС.

 

[lmike]

Вообще есть ReFS, типа улучшенная NTFS. Пару раз сталкивался с совершенно невероятными эффектами на этой ФС.

я недолюбливаю НТФС (там фокусы бывают с MFT, потом "лечись") а ReFS даже и не пытался смотреть

 

[slangid]

В notes.ini сервера добавить параметр "DAOS_ENCRYPT_NLO=0", до включения DAOS на БД и вложения после того, как попадают во внешнее хранилище DAOS? не шифруются сервером, а также при получении нет необходимости в дешифрации. Раньше думал шифрование проиходит только если сам документ, в котором вложения, зашифрован пользователем, но оказалось это не так.
Также важно, если параметр "DAOS_ENCRYPT_NLO=0" прописать в notes.ini, после того как документы БД были отправлены в DAOS, то не будут шифроваться все вновь добавляемые документы, а все добавленные ранее останутся зашфрованы и при получении будет происходить их дешифрация.

Проверял на Domino 9.0.1 FP10 HF.... (с FP9 и другми было тоже самое и ни как не влияло на результат) в Windows Server 2008 R2 Standard x64. Диски SSD.

А так, что только не пробовал, ничего не помогло. Возможно есть какая-то ещё причина и можно этого избежать другим способом, но мной такое решение не было найдено.
Надеюсь это кому-то с экономит дни и часы поиска решения данной проблемы.

Возможно кому-то будет полезна ссылка на руковдство развёртывания DAOS:

Ссылка скрыта от гостей