ceph - это, по моему, потенциальная проблема. Столько случаев потери данных. Но я в цепх не секу.

нужна хорошая сеть, будет медленно, желательно датаноды держать отдельно от прокса.

Сеть 10g, все в одной стойке, диски планирую ssd. Если валится нода, на сколько проблематично синхронизировать если упала не надолго, и если совсем улетела и надо ставить новую?. Объем примерный 4ТБ

Отдельную не получается пока

и лучше минимум 5 датанод

зайдите в ceph_ru

Сяп

1. Когда захочешь выключить сервер с цепх, то тушить сперва ВМ, которые в цепхе и только потом сервер.
2. Если интенсивная запись, то цепх жрёт цпу

(вставить по вкусу) - это, по моему, потенциальная проблема. Столько случаев потери данных. Но я в () не секу.

Fixed

Планируются БД 1с. Записи будет не много в основном чтение. Сильно спу нагружается?

Не особо. Но на твоём месте я бы проверил, благо цепх там за 5 минут поднимается

не работает ссылка-инвайт туда. К кому это? :)

у админов ссылка на курилку... меня там нет :)

Я читаю их группу и впечатление такое, что накосячить там не просто, а очень просто. Куча вопросов про то почему это кластер развалился на ровном месте, и ответы, что что-то надо было подтюнить, а иначе... Смотрю на это и вспоминаю свой давнишний опыт с цепхом. Всё было в 100 раз медленнее, чем я ожидал (без 10Гбит там делать нечего), неколько раз упало, несмотря на то, что делалось всё по инструкции, которая не везде правильная...

И сейчас пишут, не прл зуйтесь инсталяторами, у вас упадёт и вы не поймете почему.

Объектмвно говоря, цепх надо уметь готовить. Но если в случае с zfs это высказывание про скорость, то в цепх про надёжность и падения. Если бы я сейчас внедрял цепх, я бы попытался "прохавать" все эти неочевидные случаи, которые возникают с новичками.

А вот и ссылка-приглашение: Ceph — русскоговорящее сообщество
Общаемся на темы, посвященные Ceph. Решаем вопросы, обсуждаем идеи и т.д.
Англоговорящая группа тут @ceph_users Флудилка тут @cloud_flood

См. также: @kubernetes_ru, @openstack_ru, @devops_ru

Рекомендуем сразу отключить уведомления
https://t.me/ceph_ru

Насколько помню, он часто изменялся, а инструкции за ним толком не успевали

Судя по всему, такая ситуация была всегда. Но я ставил по официальной инструкции от того выпуска. И потом мне сказали, что надо было пару недокументированных в ней команд запустить. Я уде не помню конкретики, но меня это прям обидело тогда. Сколько ещё таких мест там могло скрываться

Может, только чтение истории коммитов полностью восстановит полноту знаний 😁

Оффтоп.

А потом я поставил speepdog и понял, что это ceph здорового человека. Работает быстрее и есть логичный тонкий тюнинг в стиле sync=disabled :-)

К сожалению, подлержку блочных устройст sheepdog выпилили из qemu, а ceph rbl впилили.

окей, а какие мне огда остаются варианты?
у меня сейчас есть сетевое хранилище, но его уже по производительноти дисковой подсистемы не хватает.
У меня в нодах есть возможность добавить локальных дисков.
Тогда поднимать на каждой файловую систему и просто rsync-ом забирать файлы ВМ на соседнюю ноду?