Когда Сервер Домино Не Получает Всю Дисковую?

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#1
Поясню, часто мне народ жалуется, что дисковая обладает огромной скоростью типа 100mb/s а домино же упорно пишет на неё со скоростью 10mb/s и ни в какую быстрее.
Для примера приводят при работающем домино копирование одного гигового файла, который достаточно шустро копируется, но помещение его в базу происходит уже в 10 раз медленней.

Сам я с такой ситуацией ни разу не сталкивался, так что не сильно то и верю в такие слова, но что-то меня терзает.

Может конечно те админы не понимают что диск всего один и когда его "дёргают" общая скорость падает, а может ему что-то и мешает.

Но всё же интересно, было ли у кого-то из вас ситуация, когда всё вроде бы настроено ИДЕАЛЬНО а домино не юзает диски по полной?
 

rinsk

Lotus team
12.11.2009
900
44
#2
Когда-когда... Тогда когда идет random доступ к ФС... Оно в разы медленней чем потоковая запись...
Меня всегда умиляют админы, которые искренне удивляются, когда им говорят что БД нельзя располагать на шустром-прешустром сетевом диске...
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#4
этот боян мы уже много раз рвали

ответ нашел в своей же утилитке
sh stat platform.log*
Platform.LogicalDisk.1.AssignedName = C
Platform.LogicalDisk.1.AvgQueueLen = 0
Platform.LogicalDisk.1.AvgQueueLen.Avg = 0
Platform.LogicalDisk.1.AvgQueueLen.Peak = 0.01
Platform.LogicalDisk.1.BytesReadPerSec = 68.23
Platform.LogicalDisk.1.BytesWrittenPerSec = 20,629.63
Platform.LogicalDisk.1.PctUtil = 0.14
Platform.LogicalDisk.1.PctUtil.Avg = 0.38
Platform.LogicalDisk.1.PctUtil.Peak = 1.11
Platform.LogicalDisk.1.ReadsPerSec = 0.02
Platform.LogicalDisk.1.WritesPerSec = 2.05
Platform.LogicalDisk.TotalNumofDisks = 1
12 statistics found
 

VladSh

начинающий
Lotus team
11.12.2009
1 260
5
#5
Когда-когда... Тогда когда идет random доступ к ФС... Оно в разы медленней чем потоковая запись...
Меня всегда умиляют админы, которые искренне удивляются, когда им говорят что БД нельзя располагать на шустром-прешустром сетевом диске...
RAID SSD пром. уровня вроде как должны в этом помочь.. или нет?

Добавлено: ToxaRat
Без сравнения эти данные лично мне ни о чём не говорят.
Расшифруй, плз, раз уж тему завёл, в чём дело было?
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#6
Без сравнения эти данные лично мне ни о чём не говорят.
Расшифруй, плз, раз уж тему завёл, в чём дело было?
Да как тебе сказать, была бы проблема у меня или был бы у меня доступ к серверу
я бы быстро раскопал проблему

а так поставили мой тюнер и вроде как проблема сама решилась, - это же со слов админов, может у них там внушение
а может расширение кеша как-то и помогло

в прошлый раз подобное было связана с глючным рейдом в стойке
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 570
263
#7
существуют разные типы стораджей и нек. имеют большую latency ...
каких попугаев намеряли в ФС - хуноуз, а вот как это желательно измерять http://habrahabr.ru/post/154235/
и интерпретировать - тоже важная задача
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#9
существуют разные типы стораджей и нек. имеют большую latency ...
каких попугаев намеряли в ФС - хуноуз, а вот как это желательно измерять http://habrahabr.ru/post/154235/
и интерпретировать - тоже важная задача
и теперь как натянуть это на лотус? :)
вроде всё понятно
я так понимаю без базы по производительности каждой железки врядли что-то удастся сделать?

есть у кого идеи как организоваться "случайную запись"?
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 570
263
#10
сперва пусть померяют не производительность кэша ФС, а правильные попугаи дисковой подсистемы
вот когда получат циферьки - может и домину мерить не захотят :)
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 570
263
#11
вариант случайная запись - создаем большие файлы и пишем данные с поиском по разным офсетам, усредняем
но это очень грубо...
а по ссылке есть утилиты в стандартной поставке дистров, пердуляторов для винды я не знаю...
можно просто сгенерить образ системы в ВМ (с нужным набором), залить его клонезилой на отдельны HDD (да хоть юсб), загрузиться с него и тестить основной диск. Речь идет о линухе (скорее-всего - убунта)
возможные вопросы:
почему не с СиДи - нельзя поставить доп. софт
почему не с флэшки (из iso образа) - софт поставится, но также и отвалится (там squashfs) или будут особенности
почему не на нативный HDD - чтобы не лезть внутрь компа (для доп. диска), не менять конфигу дисковой подсистемы, не снести крышу текущей системе
почему в ВМ- чтобы не перезагружаться лишний раз (и не путать загрузчик)
почему не винда - уйдет куча времени и сил на создание юсабельного образа и загрузки с него
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#12
вариант случайная запись - создаем большие файлы и пишем данные с поиском по разным офсетам, усредняем
но это очень грубо...
я рассматриваю только в среде лотус:
допустим берёт и в 3 ночи создаёт файлик на пару гигов и офсетом бегаем по нему взад/вперёд - померяли

как теперь доказать что ту скорость что мы померяли такая же, если делать это не в лотусе и сервер действительно имеет 100% приоритет

я к тому, что пока мы меряем если вдруг запустится сторонняя софтинка типа SQL она нам корректно померять это дело не даст
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 570
263
#13
вот теперь - не понял :)
доминой создать файл - это что будет?
ну помешает к-л задача - этого как раз и можно избежать создав тестовый диск
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#14
вот теперь - не понял :)
доминой создать файл - это что будет?
ну помешает к-л задача - этого как раз и можно избежать создав тестовый диск
файл будет создаваться и будеть читаться-писаться

как определить что этот конкретный диск дёргает еще какая-то софтинка?
или что лотус дёргает диск не на все 100%?
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 570
263
#15
как определить что этот конкретный диск дёргает еще какая-то софтинка?
или что лотус дёргает диск не на все 100%?
не понял тестовый диск - это полностью сгенеренный образ (описал выше)
в образ ничего боле не включено
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#16
не понял тестовый диск - это полностью сгенеренный образ (описал выше)
в образ ничего боле не включено
если ты сделаешь через образ то ты никогда не узнаешь что творится за пределами образа и на каком диске лежит весь твой образ

идём из простого, заявлено что диски имеют рандомную скорость 40Mb/s и мы хотим средствами лотуса мониторить как диск деградирует
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 570
263
#17
идём из простого, заявлено что диски имеют рандомную скорость 40Mb/s и мы хотим средствами лотуса мониторить как диск деградирует
а домина так умеет !? ;), ты статью с хабра читал?

Добавлено: я предложил загрузится в др. систему, с др. диска, и измерять "проблемный" строрадж, по методике...
может полученные цифры, без домины, ужЕ притупят зуд у виндоодминов, когда они поймут, что писькамерка, использованная в их "экспериментах" не даёт адекватной картины по производительности стораджа
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#18
а домина так умеет !? :mellow:, ты статью с хабра читал?

Добавлено: я предложил загрузится в др. систему, с др. диска, и измерять "проблемный" строрадж, по методике...
может полученные цифры, без домины, ужЕ притупят зуд у виндоодминов, когда они поймут, что писькамерка, использованная в их "экспериментах" не даёт адекватной картины по производительности стораджа
а разве это не умение доминошки? :

sh stat platform.log*
Platform.LogicalDisk.1.AssignedName = C
Platform.LogicalDisk.1.AvgQueueLen = 0
Platform.LogicalDisk.1.AvgQueueLen.Avg = 0
Platform.LogicalDisk.1.AvgQueueLen.Peak = 0.01
Platform.LogicalDisk.1.BytesReadPerSec = 68.23
Platform.LogicalDisk.1.BytesWrittenPerSec = 20,629.63
Platform.LogicalDisk.1.PctUtil = 0.14
Platform.LogicalDisk.1.PctUtil.Avg = 0.38
Platform.LogicalDisk.1.PctUtil.Peak = 1.11
Platform.LogicalDisk.1.ReadsPerSec = 0.02
Platform.LogicalDisk.1.WritesPerSec = 2.05
Platform.LogicalDisk.TotalNumofDisks = 1
12 statistics found
 

lmike

нет, пердело совершенство
Lotus team
27.08.2008
6 570
263
#19
и что это даёт, если также нельзя померять просто общение с диском (без домины)?
попугаи будут в любом случае другими, НО претензии/амбиции одминов можно "срезать" если провести корректный тест стораджа, а не опираться на их эротически фантазии, полученные непонятным путем
повторюсь - нужно провести изначально "правильные" измерения, без домины
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#20
и что это даёт, если также нельзя померять просто общение с диском (без домины)?
попугаи будут в любом случае другими, НО претензии/амбиции одминов можно "срезать" если провести корректный тест стораджа, а не опираться на их эротически фантазии, полученные непонятным путем
повторюсь - нужно провести изначально "правильные" измерения, без домины
ну смотри амин утверждает что копирование файла с одной папки в другую на поряд выше чем когда домино перекладывает этот же файл с одной БД в другую БД