• Познакомьтесь с пентестом веб-приложений на практике в нашем новом бесплатном курсе

    «Анализ защищенности веб-приложений»

    🔥 Записаться бесплатно!

  • CTF с учебными материалами Codeby Games

    Обучение кибербезопасности в игровой форме. Более 200 заданий по Active Directory, OSINT, PWN, Веб, Стеганографии, Реверс-инжинирингу, Форензике и Криптографии. Школа CTF с бесплатными курсами по всем категориям.

Проблема Медленное скачивание файлов с включенной DAOS

P

pikar05

Был поднят новый сервер с почти той же конфигурацией (блэйд + винда + 9.0.1 FP5 + DAOS) и реплицированы проблемные базы. Там проблем нет. Правда и бэкапа нет. Зато есть антивирь :)
По поводу удаления даоскат. Попробую, когда будет возможность остановить сервак.

службу индекса винды отрубить на..
в перформанс мониторе посмотреть - какая .... шебуршит диском в эти моменты
служба индекса не запущена
Посмотрел повнимательнее - грузится дисковое устройство в целом, а не системный. Шебуршат диском процессы лотуса, ещё $log.
 
  • Нравится
Реакции: Domino-Designer

lmike

нет, пердело совершенство
Lotus Team
27.08.2008
7 933
609
BIT
177
служба индекса не запущена
Посмотрел повнимательнее - грузится дисковое устройство в целом, а не системный. Шебуршат диском процессы лотуса, ещё $log.
можно посмотреть
 

Dmitry_J

Member
05.04.2020
7
0
BIT
0
Всем привет!
Вернусь к проблеме с DAOS.
На сегодняшний день имеем следующее.
Сервер с проблемой перенесен админами на другую среду виртуализации, там пустая Windows 2012 (против бывшей 2008), те же параметры по "железу". Миграция - копирование только папки data на диск с той же буквой + notes.ini + id, папка DAOS вынесена теперь на отдельный диск. Затем накатывание поверх domino. Изменение ip и хоста на те же, что были, выключение старого сервера и запуск. Имеем тот же результат, что и в начале (тормоза аттачей из DAOS и нет тормозов без DAOS). Удаление daoscat.nsf и ресинхронизация не помогло. По-прежнему загрузка файла нагружает на 10% процессор, процесс либо nhttp, либо nserver - в зависимости от того, как открывается файл - из веб, либо из клиента (во втором случае существенно быстрее, но медленнее, чем на втором сервере из реплики с такой же DAOS). Короче, зараза, похоже, где-то в папке data :) Может настройки, но они почти аналогичны второму серверу.
Может, есть у кого мысли какие? Интересно было бы понять внутренние механизмы работы DAOS. Возможно, как-то влияет Transaction Logging?


PS Я=pikar05
 

aameno2

Lotus Team
27.01.2009
730
134
BIT
109
Я бы сказал количество файлов в каталоге даоса. На линухе такой проблемы не наблюдаю, хотя атачей очень много
 

Dmitry_J

Member
05.04.2020
7
0
BIT
0
Я бы сказал количество файлов в каталоге даоса. На линухе такой проблемы не наблюдаю, хотя атачей очень много
Вопрос, почему нагружается http либо server, а не daosmgr? На второй винде, в режиме репликации, файлов совсем ненамного меньше, но там, как на линухе, всё хорошо. Еще момент, по мониторингу нагрузки на диск с каталогом даоса не наблюдаю, только на диск с данными домины. Поэтому интересно, как происходит процесс "внизу" - берется файл из каталога даоса, выкидывается куда-то в темп, преобразуется из nlo в правильный формат (шифрование отключено) и потом вываливается в http? Или как-то иначе? Кстати, по наблюдению, скорость загрузки (по данным браузера) последовательно падает по мере загрузки. Т.е. получение данных с сервера начинается практически сразу, но происходит медленно и с замедлением с некоторой нагрузкой на процессор.
 

rinsk

Lotus Team
12.11.2009
1 151
125
BIT
3
А точно отключены всякие касперы/защитники и т п?
Под Линукс такого не наблюдается...
 

aameno2

Lotus Team
27.01.2009
730
134
BIT
109
Вопрос, почему нагружается http либо server, а не daosmgr?
Ну моншер, это гадание на кофейной гуще.
С окнами слишком много вариантов будет. Процесс индексации, пресловутый суперфетч, скачанные но не установленные обновки.
Отловить все зависимости благородному дону будет не просто. Если у вас один лишь домино, мигрируйте. Тем паче, что перенести на линух данные можно просто копированием, слегка поправив пути
 

Dmitry_J

Member
05.04.2020
7
0
BIT
0
А точно отключены всякие касперы/защитники и т п?
касперов нет никаких, дефендер, вроде, не входит в 2012 r2, но этот вопрос уточню, проверю

Процесс индексации, пресловутый суперфетч, скачанные но не установленные обновки.
Обновок нет, т.к. нет инета. Индексер и суперфетч отключу (если работают), результат сообщу.
Отловить все зависимости благородному дону будет не просто. Если у вас один лишь домино, мигрируйте. Тем паче, что перенести на линух данные можно просто копированием, слегка поправив пути
стандартный совет слезать с винды на линух, может, и хорош, но проблему найти было бы интересно независимо от этого.
 

Dmitry_J

Member
05.04.2020
7
0
BIT
0
Так это решение проблемы, поэтому и советуют стандартно. Однако никто не может помешать благородному дону удовлетворить свое любопытство)
Помешать не могут, да, а помочь? )
Пока пробуем "нестандартно" )

Усё лишнее уже было отключено (или не было включено).
Появилось подозрение, что скорость зависит от содержимого файла.
Конкретно: есть pdf файл. Скорость на серверах разная, весьма существенно.
Действие: перераспознавание в FR, повторное вложение.
Результат: практически одинаково.
Вывод... пока рано, надо еще сделать несколько тестов.
 

Dmitry_J

Member
05.04.2020
7
0
BIT
0
Появилось у меня возможное объяснение. Потестировал, с новыми вложениями проблемы нет. Но она остается, если взять проблемное вложение полуторагодовой давности, сохранить на комп, переименовать, засунуть в тестовую базу с включенным daos на том же сервере - так же тормозит. Обнаружил, что для такого вложения размером несколько мегабайт создался nlo всего на сотню килобайт. Т.е. фактически файл остался старый, а у вложенного что-то типа редиректа, видимо. Ну да, наверное, даос так и должен работать ) Если же вкладывается файл, которого нет ни в одной базе, то размер nlo примерно совпадает с размером вложения. Делаю вывод, что проблема осталась только с достаточно давно вложенными файлами. Могу это объяснить тем, что ранее могло быть включено шифрование daos, а потом, когда пробовал разные настройки, его отключил. А проверял по-прежнему на старых файлах или на их копиях. В связи с этим пара вопросов: можно как-то проверить по nlo, зашифрован ли он? И можно ли как-то отменить шифрование на файлах, где оно уже есть?
 

Мыш

Lotus Team
12.02.2008
1 213
29
BIT
43
DAOSMGR NLOENCRYPTION [ENCRYPT | DECRYPT | VALIDATE] <path to single NLO file>
Вроде, можно ind-файл использовать. Хисель, ессно, советует сделать бэкап DAOS'a перед расшифровкой. Насчет "редиректа": по-моему, "сотня килобайт" для ссылки - перебор. Что-то тут не так....Кстати, а файловая система на Винде какая?
 

Мыш

Lotus Team
12.02.2008
1 213
29
BIT
43
Вообще есть ReFS, типа улучшенная NTFS. Пару раз сталкивался с совершенно невероятными эффектами на этой ФС.
 

lmike

нет, пердело совершенство
Lotus Team
27.08.2008
7 933
609
BIT
177
Вообще есть ReFS, типа улучшенная NTFS. Пару раз сталкивался с совершенно невероятными эффектами на этой ФС.
я недолюбливаю НТФС (там фокусы бывают с MFT, потом "лечись") а ReFS даже и не пытался смотреть
 
  • Нравится
Реакции: Мыш

slangid

One Level
11.08.2021
1
1
BIT
0
В notes.ini сервера добавить параметр "DAOS_ENCRYPT_NLO=0", до включения DAOS на БД и вложения после того, как попадают во внешнее хранилище DAOS? не шифруются сервером, а также при получении нет необходимости в дешифрации. Раньше думал шифрование проиходит только если сам документ, в котором вложения, зашифрован пользователем, но оказалось это не так.
Также важно, если параметр "DAOS_ENCRYPT_NLO=0" прописать в notes.ini, после того как документы БД были отправлены в DAOS, то не будут шифроваться все вновь добавляемые документы, а все добавленные ранее останутся зашфрованы и при получении будет происходить их дешифрация.

Проверял на Domino 9.0.1 FP10 HF.... (с FP9 и другми было тоже самое и ни как не влияло на результат) в Windows Server 2008 R2 Standard x64. Диски SSD.

А так, что только не пробовал, ничего не помогло. Возможно есть какая-то ещё причина и можно этого избежать другим способом, но мной такое решение не было найдено.
Надеюсь это кому-то с экономит дни и часы поиска решения данной проблемы.

Возможно кому-то будет полезна ссылка на руковдство развёртывания DAOS:
 
Последнее редактирование:
  • Нравится
Реакции: VladSh
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!