Size: a a a

2020 October 08

R

Roman in ru_proxmox
Владимир Муковоз
Всем привет, сегодня впервые хочу попробовать сделать ceph и вот задумался, а на нодах нужно ли делать избыточность(рейды) или тут по сути само наличие нод и есть избыточность. Хочу услышать мнение со стороны так сказать. Ну и если есть годный ман который быстро введёт меня в курс дел буду признателен.
Для цеф противопоказан raid.
Из веб интерфейса  можно работать с цеф и это норм и довольно удобно, но он берет под осд весь диск.
Если используешь ssd, то нет смысла выносить  журнал.
Работает на бонде 2х1Г. Не для серьёзных  нагрузок, но работает. У меня получилось около 5000 иопс в тесте вм, параллельно  было запущено 5 таких. Это на 12 осд, 512Г ссд интел.
Цеф жрёт цпу. Больше записи - больше жор.
Готовься читать про dmsetup и сам  цеф собственно.

Для тестов и небольшого прода веб интерфейс удобен
источник

ВМ

Владимир Муковоз... in ru_proxmox
Roman
Для цеф противопоказан raid.
Из веб интерфейса  можно работать с цеф и это норм и довольно удобно, но он берет под осд весь диск.
Если используешь ssd, то нет смысла выносить  журнал.
Работает на бонде 2х1Г. Не для серьёзных  нагрузок, но работает. У меня получилось около 5000 иопс в тесте вм, параллельно  было запущено 5 таких. Это на 12 осд, 512Г ссд интел.
Цеф жрёт цпу. Больше записи - больше жор.
Готовься читать про dmsetup и сам  цеф собственно.

Для тестов и небольшого прода веб интерфейс удобен
а ты выжал 5к с кешем или без?
источник

R

Roman in ru_proxmox
Без
источник

ВМ

Владимир Муковоз... in ru_proxmox
Roman
Для цеф противопоказан raid.
Из веб интерфейса  можно работать с цеф и это норм и довольно удобно, но он берет под осд весь диск.
Если используешь ssd, то нет смысла выносить  журнал.
Работает на бонде 2х1Г. Не для серьёзных  нагрузок, но работает. У меня получилось около 5000 иопс в тесте вм, параллельно  было запущено 5 таких. Это на 12 осд, 512Г ссд интел.
Цеф жрёт цпу. Больше записи - больше жор.
Готовься читать про dmsetup и сам  цеф собственно.

Для тестов и небольшого прода веб интерфейс удобен
ещё вопрос, а у тебя есть под рукой виртуалка на ceph, можешь выполнить одну команду?
источник

ВМ

Владимир Муковоз... in ru_proxmox
ioping /tmp
источник

ВМ

Владимир Муковоз... in ru_proxmox
показать какой отклик у фс
источник

DS

Dark Sky in ru_proxmox
Владимир Муковоз
универсальный ответ)
Стараюсь придерживаться Манов, мало того что после меня там никто не разберётся, да и самому можно забыть что наворотил
источник

I

Ivan in ru_proxmox
там всё очень плохо, даже хоть на nvme
источник

ВМ

Владимир Муковоз... in ru_proxmox
Dark Sky
Стараюсь придерживаться Манов, мало того что после меня там никто не разберётся, да и самому можно забыть что наворотил
не понимаю как это противоречит тому что я делаю
источник

ВМ

Владимир Муковоз... in ru_proxmox
Ivan
там всё очень плохо, даже хоть на nvme
я понимаю, потому и спрашиваю
источник

ВМ

Владимир Муковоз... in ru_proxmox
интересно на сколько плохо
источник

ВМ

Владимир Муковоз... in ru_proxmox
потому как это является основным фактором влияющим на скорость БД
источник

ВМ

Владимир Муковоз... in ru_proxmox
там ведь задержку вносит сеть
источник

ВМ

Владимир Муковоз... in ru_proxmox
НО заказчику это не доказать))
источник

R

Roman in ru_proxmox
Если бд  нагружена - ей в цефе делать нечего
источник

ВМ

Владимир Муковоз... in ru_proxmox
Roman
Если бд  нагружена - ей в цефе делать нечего
я это и без теста на ioping понимаю))
источник

ВМ

Владимир Муковоз... in ru_proxmox
но просто хотелось бы увидеть на сколько там всё плохо
источник

ВМ

Владимир Муковоз... in ru_proxmox
Ребят есть у кого под рукой виртуалка с ceph?, выполните команду плиз)
источник

ВМ

Владимир Муковоз... in ru_proxmox
Переслано от Владимир Муковоз...
ioping /tmp
источник

ВМ

Владимир Муковоз... in ru_proxmox
Roman
Если бд  нагружена - ей в цефе делать нечего
кстати что скажешь если делать локальный кеш на NVME, спасёт ситуацию? и есть ли какие-то риски на твой взгляд?
источник