N
потом импортнуть чекпоинты
ну чет нет, сняла с актива fsimage, закинула в чекпойнт дир, стартанула с флагом чекпойнта с консоли, а оно с той же ошибкой упало :C
Size: a a a
2019 November 26
N
о, но вдруг появилась кнопка ENABLE HA O___O
P
Я недавно узнал что под S3 в русскоязычном сообществе понимают и Ceph с Minio, вас интересует миграция именно на Amazon S3?
миграция на MCS либо я.облако, под капотом у которых, возможно Ceph
UD
Nata
ну чет нет, сняла с актива fsimage, закинула в чекпойнт дир, стартанула с флагом чекпойнта с консоли, а оно с той же ошибкой упало :C
возможно там абмарь добавил в конфиг dfs.namenode.secondary
UD
и в журналах (zk) старая торчала, но вы вроде грохнули курлом
P
мы спарк гоняли и флинк, спарк так себе живет с этим, надо много работать напильником. флинк - показал себя в кубе отлично
подскажите, какая конфигурация флинк кластера?
РА
один мастер 2 воркера
РА
если вопрос про это
P
один мастер 2 воркера
session/job cluster?
РА
мы и так и так пробовали
РА
доя кубера как мы решили job cluster лучше подходит с точки зрения деплоя
P
без ZK, полагаю?
P
и без hdfs
P
для чекпойнтов
AZ
миграция на MCS либо я.облако, под капотом у которых, возможно Ceph
Тут наверное надо спрашивать именно пользователей MCS, каждая реализация S3 немножко отличается от другой)
РА
для чекпойнтов
на сеф складывали
P
на сеф складывали
спасибо
РА
зк вроде реально не было
РА
но особирались прикрутить, потом просто проект зачах по причинам от нас не зависящих, ну и собственно не успели довести его (флинк) до полного продакшина
N
возможно там абмарь добавил в конфиг dfs.namenode.secondary
ну вот короче после пробы запуска с чекпойнтом появилась кнопа enable HA, если указывать только мастера nn, то можно даже войти в safe mode. но требуется полная остановка HDFS 🥶 🙈