Виртуализация

  • Автор темы Автор темы lmike
  • Дата начала Дата начала
Руки ваши да будут здоровы.
Коллеги вопрос, какие хранилища используете для данных ?
Объективно рейд мертв и опасен для данных)
Остается всяческие сдс. Сейчас смотрю на цеф и вот какая штука. Esx только через iSCSI либо NFS, proxmox поддерживает дополнительно RBD.
Казалось бы, rbd должен быть шустрым но нет. CephFS через NFS выдает на запись в пике терабайт/c, в среднем 700МБ/с. RBD всего лишь окель 300МБ/с.
iSCSI без слез не взглянешь в принципе.
 
aameno2 сказал(а):
Руки ваши да будут здоровы.
Коллеги вопрос, какие хранилища используете для данных ?
Объективно рейд мертв и опасен для данных)
Остается всяческие сдс. Сейчас смотрю на цеф и вот какая штука. Esx только через iSCSI либо NFS, proxmox поддерживает дополнительно RBD.
Казалось бы, rbd должен быть шустрым но нет. CephFS через NFS выдает на запись в пике терабайт/c, в среднем 700МБ/с. RBD всего лишь окель 300МБ/с.
iSCSI без слез не взглянешь в принципе.
Нажмите, чтобы раскрыть...
если софтварные рэйды - то все норм, для proxmox - ZFS 10-тый, ток под дебиан его можно еще потюнить (по памяти по ARC), добавить кэш на чтение (SSD типа Optane PCIe)
частенько в полках и есть к-л реинкарнация зфс, а уж потом в нфс и прочая, iSCSI , если винда - будет отваливаться
если делать с общим стораджем (для HA) - да, нужно что-то типа полки или выделенный сервер для пошаривания
с RBD был такой ишью ZFS low throughput on rbd based vdev · Issue #3324 · openzfs/zfs
т.е. надо крутить настрjйки ZFS, а если они запроприеращены в железку - то тупик
вот в зеф кто-то прикручивал ZFS Ceph в ProxMox на ZFS
 
@lmike
Сегодня в тесте NFS с монтированной CephFS. 6 нод цефа + 6 полок по 12 дисков. При миграции машин, нагрузка на цефе в дашборде (совпадает с iotop на nfs) 800-1024 MB/s
При этом внутри виртуалок не проседает iops....удивительно однако.
Задумываюсь о дополнительных полках под таиринг кэш с ссд
 
Не. Перенос конфигов это текст. Миграция данных.
В общем пока выбор между nfs с монтированной cephfs либо krbd
Скорость клиентских данных. Ub
1584018465876.png
 
небольшое отступление по proxmox
вышла версия 7.х есть описание
Ссылка скрыта от гостей

но это только превая и сама лёгкая часть (там всё без извратов и чудес, если только "сами" не наворочали)
НО сменилась systemd а как известно - "современные!" дистрибутивы на неё опираются ;) и в контейнерах с CentOS 7.x получим тыкву (т.е. домине "конец")
всё из-за
WARN: old systemd (< v232) detected, container won't run in a pure cgroupv2 environment! Please see documentation -> container -> cgroup version.
Нажмите, чтобы раскрыть...
это же произойдёт с контейнерами и для убунты 16.04 и "старого" дебиана...!
со "старыми" контейнерами CentOS можно
Ссылка скрыта от гостей
, типа - с ноды PVE сделать chroot в контейнер, при выключенном оном, и далее по списку, на ZFS контейнеры в subvol каталогах (искать zfs list, по номеру контейнера)
1640170584708.png

ещё не использовать unprivileged: 1 - нерабочий вариант от слова совсем
Др. словами - либо апдейт systemd (где возможно) либо перенос/миграция на контейнеры посвежее ;)
например у Нэшеда есть
Ссылка скрыта от гостей
 
Последнее редактирование:
Боль начинается с большего) С кластером проблема, насколько я читал. Разваливается.
Пишут, что выключает нагруженные машины. С сетью траблы решаемые есть.
В общем пропущу пару трешку релизов :)
 
наверное сюда изложу...

в современных условиях "виртуализация" может пониматься шире ;) т.е. контейнеры - тоже "виртуализируют", но на другом уровне
В нвр есть куча средств развертывания/управления для ВМ и контейнеров
С чем сталкиваются чаще:
- LXD
-
Ссылка скрыта от гостей

-
Ссылка скрыта от гостей
s
все они отличаются по масштабу и уровню применяемости
НО все опираются на линуховые контейнеры, отсюда - винда для "этого" является чуждой средой, там вынужденно вводят доп. слой (щас назвали WSL ;) ) , где всё запускается на HyperV в виде ядра и утилит линукса

ещё момент (я его упоминал)
Привилегированные и нет контейнеры. Формально, без привилегий - root в контейнера не root хоста. Это и + (по безопасности) и - по настройкам. Для привилегированных решают ср-вами контекста безопасности, но - не панацея. Короче - по возможности надо использовать контейнеры без привилегий, но особенности надо учитывать (ограничения по работе с параметрами ядра/памяти/сети/устройств)

вложенность (nested) и прочие особенности практически не затрагивают домину и лучше туда не залезать ;)

ещё sshfs
Удобен универсальностью, в контейнерах (без привилегий) юзать не рекомендуют, т.к. использует fuse и при манипуляциях с контейнерами - могут быть фризы
Выход - монтировать вне контейнера, в контейнер пробрасывать "на время", если процесс позволяет - просто без монтирования ssh (rsync, scp)
 
Последнее редактирование:
Для тех, кто живет с проксом + цеф.
Контейнеры будут использовать krbd, монтируя диск. И тут получится нюанс, krbd не будет распределять нагрузку по нодам цефа. Со всеми вытекающими.
 
aameno2 сказал(а):
Для тех, кто живет с проксом + цеф.
Контейнеры будут использовать krbd, монтируя диск. И тут получится нюанс, krbd не будет распределять нагрузку по нодам цефа. Со всеми вытекающими.
Нажмите, чтобы раскрыть...
а какую выбирать будет?
 
lmike сказал(а):
а какую выбирать будет?
Нажмите, чтобы раскрыть...
Первую, если память не изменяет. Ну и как следствие, хотя krbd быстрее, в результате будет медленно и печально.
Заметно будет уже на 5 контейнерах. Самое не приятное это рост IO delay. Librbd не делает такой пакости, размазывая нагрузку по всем нодам.
Если получится с ним, будет весьма прикольно. Особенно на ссд пулах.
Это помимо остальных забавных приключений с цефом)
С проприентарными сдс не сталкивался.
 
про контейнеры (не знаю как в др. окружении) и установку домины, а особливо ФП
архивы инсталяции под линукс в tar
запуск распаковки в контейнер может вызвать cannot change ownership environment
и это нормально, НО скрипт (например перловый для развертывания ФП) изобилует инструкциями tar -xvf -
чем чревато - скрипт получит ошибку, а там - как кривая выведет (может и прервет выполнение в неожиданный момент)
лечение - задать опцию для tar, перед запуском распаковок и инсталяций export TAR_OPTIONS=--no-same-owner
зачем солянка формировала архивы с правами (которые могут разнится на системах) - хз
 
Последнее редактирование:
Для ответа нужно войти/зарегистрироваться
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!

Верх Низ