Size: a a a

2019 November 13

AZ

Anton Zadorozhniy in Data Engineers
стейтлесс сервисы (или стейтфул с временным хранением а-ля флинк) на кубе вполне нормально деплоятся и работают
источник

AZ

Anton Zadorozhniy in Data Engineers
там же есть C3? почему его не хотите использовать?
источник

P

Pavel in Data Engineers
Рамиль Ахмадеев
ну хдфсу точно в кубе не место, как по мне, хотя я думаю он вполне себе там заведется
он завелся без особых проблем. меня немного смущает хождение до nfs
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
там же есть C3? почему его не хотите использовать?
как полная альтернатива хдфс? тоже думали об этом
источник

РА

Рамиль Ахмадеев in Data Engineers
Pavel
он завелся без особых проблем. меня немного смущает хождение до nfs
да заведется - да, но ведь там оверхеды конячие будут и т.д. и т.п.
источник

AZ

Anton Zadorozhniy in Data Engineers
Рамиль Ахмадеев
да заведется - да, но ведь там оверхеды конячие будут и т.д. и т.п.
RF = 3 для данных внутри куберовских волюмов - экономичное решение :)
источник

AZ

Anton Zadorozhniy in Data Engineers
я видел alluxio и недавно один раз minio в кубере как кэш, но чтобы полноценный HDFS - это прям надо быть твердо уверенным в том что вам это нужно
источник

P

Pavel in Data Engineers
ок, спасибо за небольшой отзыв по куб)
источник

O

Oleg in Data Engineers
проблема: hiveserver2 не потребляет весь выделенный heap, в ambari выставил 6Гб, по графикам видно что commited не превышает 2.8, кто сталкивался?
источник

A

Alex in Data Engineers
Ну значит ему хватает
источник

A

Alex in Data Engineers
Почему он должен все съедать?
источник

A

Alex in Data Engineers
Сейчас даже тренд есть: анкомич память если она тебе не надо
источник

O

Oleg in Data Engineers
gc паузы со временем вырастают до минут, и видно что уровнь потребляемой памяти всегда идет впритык к границе 2.8гб, но где и как эта граница выставляется не могу найти
источник

A

Alex in Data Engineers
А вот это уже интересней
источник

A

Alex in Data Engineers
6 это xmx?
источник

A

Alex in Data Engineers
Какие лимиты на еден и тд?
источник

M

Mi in Data Engineers
и какой сборщик
источник

AS

Andrey Smirnov in Data Engineers
Рамиль Ахмадеев
да заведется - да, но ведь там оверхеды конячие будут и т.д. и т.п.
ну не все так плохо, процентов 10-15% будет, но если сравнивать с хостингом машин в aws под хадуп, то s3 в цене выиграешь больше
источник

O

Oleg in Data Engineers
-XX:+UseG1GC
 -Xmx5578m
источник

O

Oleg in Data Engineers
источник