Size: a a a

2019 November 13

DM

Daniel Matveev in Data Engineers
не до литературных изысков, ясно
источник

DM

Daniel Matveev in Data Engineers
где вопрос не ясно
источник

S

Stanislav in Data Engineers
Pavel
попахивает студентотой))
я про количество митапов, а не про тупые вопросы
источник

P

Pavel in Data Engineers
Stanislav
я про количество митапов, а не про тупые вопросы
а, ну раз так... ок
источник

P

Pavel in Data Engineers
Pavel
разрабы, привет.
у кого был или есть опыт эксплуатации кафки, хдфс и прочего говна под кубом?
есть кто по делу может ответить, а не бла бла бла, как все вышенаписавшие?
источник

DM

Daniel Matveev in Data Engineers
по делу вопроса не было, а счетчик пользовавшихся можно и через голосовалку сделать
источник

P

Pavel in Data Engineers
Daniel Matveev
по делу вопроса не было, а счетчик пользовавшихся можно и через голосовалку сделать
ппффф. ёёп.... яснопонятно)
источник

AZ

Anton Zadorozhniy in Data Engineers
HDFS на кубере не имеет никакого смысла, а с Кафкой полно опытных, в профильном канале и тут
источник

DM

Daniel Matveev in Data Engineers
Pavel
ппффф. ёёп.... яснопонятно)
👍
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
HDFS на кубере не имеет никакого смысла, а с Кафкой полно опытных, в профильном канале и тут
вам премию надо)) серьёзно. пока единственный кто ответил по теме)) спасибо
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
HDFS на кубере не имеет никакого смысла, а с Кафкой полно опытных, в профильном канале и тут
про отсутствие смысла только не очень очевидно и понятно. но скорее всего, у вас был такой опыт, если так говорите) ок
источник

AZ

Anton Zadorozhniy in Data Engineers
Pavel
про отсутствие смысла только не очень очевидно и понятно. но скорее всего, у вас был такой опыт, если так говорите) ок
вы задайте конкретный вопрос-то
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
вы задайте конкретный вопрос-то
ну, у меня риторика уже с вопросом) почему хдфс на кубе смысла не имеет?
источник

AZ

Anton Zadorozhniy in Data Engineers
Pavel
ну, у меня риторика уже с вопросом) почему хдфс на кубе смысла не имеет?
у вас кубер либо в облаке (и managed, e.g. GKE, EKS) либо какой-то опеншифт или самосбор на своем железе; в облаке есть объектные хранилища которые сами масштабируются и их не надо поддерживать (и хранение дешевое), на своем железе у вас скорее всего Ceph или что-то проприетарное для стораджа, что тоже умеет интерфейс объектного хранилища, уже большое и кем-то поддерживается
источник

P

Pavel in Data Engineers
если конкнетно, то кто во что упирался при использовании хдфс, кафки на кубе? цпу, память, i/o?
может ли это безотказно жить на кубе, если, например, владение кубом у команды только на уровне создать делой, джоб и поменять scale? т.е. не схрен какой продвинутый опыт
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
у вас кубер либо в облаке (и managed, e.g. GKE, EKS) либо какой-то опеншифт или самосбор на своем железе; в облаке есть объектные хранилища которые сами масштабируются и их не надо поддерживать (и хранение дешевое), на своем железе у вас скорее всего Ceph или что-то проприетарное для стораджа, что тоже умеет интерфейс объектного хранилища, уже большое и кем-то поддерживается
MCS
источник

AZ

Anton Zadorozhniy in Data Engineers
Pavel
если конкнетно, то кто во что упирался при использовании хдфс, кафки на кубе? цпу, память, i/o?
может ли это безотказно жить на кубе, если, например, владение кубом у команды только на уровне создать делой, джоб и поменять scale? т.е. не схрен какой продвинутый опыт
кафка другой разговор
источник

РА

Рамиль Ахмадеев in Data Engineers
Pavel
разрабы, привет.
у кого был или есть опыт эксплуатации кафки, хдфс и прочего говна под кубом?
мы спарк гоняли и флинк, спарк так себе живет с этим, надо много работать напильником. флинк - показал себя в кубе отлично
источник

P

Pavel in Data Engineers
Рамиль Ахмадеев
мы спарк гоняли и флинк, спарк так себе живет с этим, надо много работать напильником. флинк - показал себя в кубе отлично
о! спасибо!) как раз флинк в процессе заезда в кластер
источник

РА

Рамиль Ахмадеев in Data Engineers
Pavel
если конкнетно, то кто во что упирался при использовании хдфс, кафки на кубе? цпу, память, i/o?
может ли это безотказно жить на кубе, если, например, владение кубом у команды только на уровне создать делой, джоб и поменять scale? т.е. не схрен какой продвинутый опыт
ну хдфсу точно в кубе не место, как по мне, хотя я думаю он вполне себе там заведется
источник