Виртуализация

[aameno2]

Руки ваши да будут здоровы.
Коллеги вопрос, какие хранилища используете для данных ?
Объективно рейд мертв и опасен для данных)
Остается всяческие сдс. Сейчас смотрю на цеф и вот какая штука. Esx только через iSCSI либо NFS, proxmox поддерживает дополнительно RBD.
Казалось бы, rbd должен быть шустрым но нет. CephFS через NFS выдает на запись в пике терабайт/c, в среднем 700МБ/с. RBD всего лишь окель 300МБ/с.
iSCSI без слез не взглянешь в принципе.

 

[lmike]

Руки ваши да будут здоровы.
Коллеги вопрос, какие хранилища используете для данных ?
Объективно рейд мертв и опасен для данных)
Остается всяческие сдс. Сейчас смотрю на цеф и вот какая штука. Esx только через iSCSI либо NFS, proxmox поддерживает дополнительно RBD.
Казалось бы, rbd должен быть шустрым но нет. CephFS через NFS выдает на запись в пике терабайт/c, в среднем 700МБ/с. RBD всего лишь окель 300МБ/с.
iSCSI без слез не взглянешь в принципе.

если софтварные рэйды - то все норм, для proxmox - ZFS 10-тый, ток под дебиан его можно еще потюнить (по памяти по ARC), добавить кэш на чтение (SSD типа Optane PCIe)
частенько в полках и есть к-л реинкарнация зфс, а уж потом в нфс и прочая, iSCSI , если винда - будет отваливаться
если делать с общим стораджем (для HA) - да, нужно что-то типа полки или выделенный сервер для пошаривания
с RBD был такой ишью ZFS low throughput on rbd based vdev · Issue #3324 · openzfs/zfs
т.е. надо крутить настрjйки ZFS, а если они запроприеращены в железку - то тупик
вот в зеф кто-то прикручивал ZFS Ceph в ProxMox на ZFS

 

[aameno2]

@lmike
Сегодня в тесте NFS с монтированной CephFS. 6 нод цефа + 6 полок по 12 дисков. При миграции машин, нагрузка на цефе в дашборде (совпадает с iotop на nfs) 800-1024 MB/s
При этом внутри виртуалок не проседает iops....удивительно однако.
Задумываюсь о дополнительных полках под таиринг кэш с ссд

 

[lmike]

При миграции машин,

между полками?
потому как просто миграция - это перенос конфигов между нодами (если это про проксмокс HA)

 

[aameno2]

Не. Перенос конфигов это текст. Миграция данных.
В общем пока выбор между nfs с монтированной cephfs либо krbd
Скорость клиентских данных. Ub

 

[lmike]

небольшое отступление по proxmox
вышла версия 7.х есть описание

Ссылка скрыта от гостей

но это только превая и сама лёгкая часть (там всё без извратов и чудес, если только "сами" не наворочали)
НО сменилась systemd а как известно - "современные!" дистрибутивы на неё опираются и в контейнерах с CentOS 7.x получим тыкву (т.е. домине "конец")
всё из-за

WARN: old systemd (< v232) detected, container won't run in a pure cgroupv2 environment! Please see documentation -> container -> cgroup version.

это же произойдёт с контейнерами и для убунты 16.04 и "старого" дебиана...!
со "старыми" контейнерами CentOS можно

Ссылка скрыта от гостей

, типа - с ноды PVE сделать chroot в контейнер, при выключенном оном, и далее по списку, на ZFS контейнеры в subvol каталогах (искать zfs list, по номеру контейнера)

ещё не использовать unprivileged: 1 - нерабочий вариант от слова совсем
Др. словами - либо апдейт systemd (где возможно) либо перенос/миграция на контейнеры посвежее
например у Нэшеда есть

Ссылка скрыта от гостей

 

[aameno2]

вышла версия 7.х

Рано. Там боль и страдания у всех перешедших

 

[lmike]

Рано. Там боль и страдания у всех перешедших

ну я одну ноду (неответственную) перевел, для пробли

 

[aameno2]

Боль начинается с большего) С кластером проблема, насколько я читал. Разваливается.
Пишут, что выключает нагруженные машины. С сетью траблы решаемые есть.
В общем пропущу пару трешку релизов

 

[lmike]

С кластером проблема

пока норм, но я не переводил остальные ноды

 

[lmike]

наверное сюда изложу...

в современных условиях "виртуализация" может пониматься шире т.е. контейнеры - тоже "виртуализируют", но на другом уровне
В нвр есть куча средств развертывания/управления для ВМ и контейнеров
С чем сталкиваются чаще:
- LXD
-

Ссылка скрыта от гостей

-

Ссылка скрыта от гостей

s
все они отличаются по масштабу и уровню применяемости
НО все опираются на линуховые контейнеры, отсюда - винда для "этого" является чуждой средой, там вынужденно вводят доп. слой (щас назвали WSL ) , где всё запускается на HyperV в виде ядра и утилит линукса

ещё момент (я его упоминал)
Привилегированные и нет контейнеры. Формально, без привилегий - root в контейнера не root хоста. Это и + (по безопасности) и - по настройкам. Для привилегированных решают ср-вами контекста безопасности, но - не панацея. Короче - по возможности надо использовать контейнеры без привилегий, но особенности надо учитывать (ограничения по работе с параметрами ядра/памяти/сети/устройств)

вложенность (nested) и прочие особенности практически не затрагивают домину и лучше туда не залезать

ещё sshfs
Удобен универсальностью, в контейнерах (без привилегий) юзать не рекомендуют, т.к. использует fuse и при манипуляциях с контейнерами - могут быть фризы
Выход - монтировать вне контейнера, в контейнер пробрасывать "на время", если процесс позволяет - просто без монтирования ssh (rsync, scp)

 

[aameno2]

Для тех, кто живет с проксом + цеф.
Контейнеры будут использовать krbd, монтируя диск. И тут получится нюанс, krbd не будет распределять нагрузку по нодам цефа. Со всеми вытекающими.

 

[lmike]

Для тех, кто живет с проксом + цеф.
Контейнеры будут использовать krbd, монтируя диск. И тут получится нюанс, krbd не будет распределять нагрузку по нодам цефа. Со всеми вытекающими.

а какую выбирать будет?

 

[aameno2]

а какую выбирать будет?

Первую, если память не изменяет. Ну и как следствие, хотя krbd быстрее, в результате будет медленно и печально.
Заметно будет уже на 5 контейнерах. Самое не приятное это рост IO delay. Librbd не делает такой пакости, размазывая нагрузку по всем нодам.
Если получится с ним, будет весьма прикольно. Особенно на ссд пулах.
Это помимо остальных забавных приключений с цефом)
С проприентарными сдс не сталкивался.

 

[lmike]

про контейнеры (не знаю как в др. окружении) и установку домины, а особливо ФП
архивы инсталяции под линукс в tar
запуск распаковки в контейнер может вызвать cannot change ownership environment
и это нормально, НО скрипт (например перловый для развертывания ФП) изобилует инструкциями tar -xvf -
чем чревато - скрипт получит ошибку, а там - как кривая выведет (может и прервет выполнение в неожиданный момент)
лечение - задать опцию для tar, перед запуском распаковок и инсталяций export TAR_OPTIONS=--no-same-owner
зачем солянка формировала архивы с правами (которые могут разнится на системах) - хз