В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1971 membersпожаловаться на группу
2020 September 22

R

Renarde in Data Engineers
Alexandr Vladimirovich
ну есть гипотеза у меня, если не сильно обмазываться hadoop ecosystem, внедрить hdfs + hive и все джобы гонять на k8s, то жить вроде как можно
а зачем вам в bare-metal hdfs? какая такая в нем функциональность особенная, которой нет в baremetal k8s + s3-like storage?
+ к @dartov насчет схлопывания хадуп-менеджед платформ
источник
15:33пожаловаться#1

DZ

Dmitry Zuev in Data Engineers
Alexandr Vladimirovich
ну есть гипотеза у меня, если не сильно обмазываться hadoop ecosystem, внедрить hdfs + hive и все джобы гонять на k8s, то жить вроде как можно
Так хайв на спарке поверх k8s? Такое работает?
источник
15:34пожаловаться#2

AV

Alexandr Vladimirovi... in Data Engineers
Renarde
а зачем вам в bare-metal hdfs? какая такая в нем функциональность особенная, которой нет в baremetal k8s + s3-like storage?
+ к @dartov насчет схлопывания хадуп-менеджед платформ
в облако финансовую инфу не запихнуть, бизнес неразрешает и безопасники
s3 свой внутренний у нас есть, можем и туда, пока оцениваем варианты
просто на hdfs сверху можно много чего накрутить из engine типа Impala
источник
15:35пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
Так хайв на спарке поверх k8s? Такое работает?
hive standalone, работает (ну точнее не падает :))
источник
15:35пожаловаться#4

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
hive standalone, работает (ну точнее не падает :))
да, standalone, не в k8s
источник
15:35пожаловаться#5

DZ

Dmitry Zuev in Data Engineers
Мб престо?
источник
15:35пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
Renarde
а зачем вам в bare-metal hdfs? какая такая в нем функциональность особенная, которой нет в baremetal k8s + s3-like storage?
+ к @dartov насчет схлопывания хадуп-менеджед платформ
у меня есть несколько клиентов которые сидят из-за HTE, аналогичное есть только в Isilon из он-премного
источник
15:35пожаловаться#7

AV

Alexandr Vladimirovi... in Data Engineers
Dmitry Zuev
Мб престо?
или его, тут надо ресерчить, очень много технологий, надо выбрать ту, которая с меньшей болью заведется
источник
15:36пожаловаться#8

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
у меня есть несколько клиентов которые сидят из-за HTE, аналогичное есть только в Isilon из он-премного
что за HTE?
источник
15:36пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
что за HTE?
hadoop transparent encryption
источник
15:36пожаловаться#10

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
hadoop transparent encryption
не, настолько мы пока не хотим упороться
источник
15:37пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
оно позволяет нанимать на опсовую работу контракторов - ты можешь иметь рутовые права но все равно данные не сможешь прочитать
источник
15:37пожаловаться#12

R

Renarde in Data Engineers
Alexandr Vladimirovich
в облако финансовую инфу не запихнуть, бизнес неразрешает и безопасники
s3 свой внутренний у нас есть, можем и туда, пока оцениваем варианты
просто на hdfs сверху можно много чего накрутить из engine типа Impala
это я понял - не запихивайте - делайте все на своих железках.
Сторадж у вас уже есть, hive metastore разверните как БД в k8s, и крутите k8s оператор со спарком для DE, и Presto для BI/etc
источник
15:37пожаловаться#13

DZ

Dmitry Zuev in Data Engineers
Renarde
это я понял - не запихивайте - делайте все на своих железках.
Сторадж у вас уже есть, hive metastore разверните как БД в k8s, и крутите k8s оператор со спарком для DE, и Presto для BI/etc
Во, дико плюсую
источник
15:37пожаловаться#14

AV

Alexandr Vladimirovi... in Data Engineers
Renarde
это я понял - не запихивайте - делайте все на своих железках.
Сторадж у вас уже есть, hive metastore разверните как БД в k8s, и крутите k8s оператор со спарком для DE, и Presto для BI/etc
а presto как вообще? Работоспособное? Типа BI будет коннектиться к нему? Но HDFS штука медленная, а для BI нужен более быстрый стораж
источник
15:38пожаловаться#15

R

Renarde in Data Engineers
Anton Zadorozhniy
hadoop transparent encryption
а разве всякие minio не поддерживают всевозможное encryption (at-rest/in-transit)?
источник
15:38пожаловаться#16

AV

Alexandr Vladimirovi... in Data Engineers
мы предполагаем юзать hdfs как cold storage и крутить там периодически тяжелые запросы
возможно накрутить Kudu для online отчетов различных, либо заюзать Ignite
разделить хранилища на различные слои хранения по потребностям бизнеса
источник
15:40пожаловаться#17

R

Renarde in Data Engineers
Alexandr Vladimirovich
а presto как вообще? Работоспособное? Типа BI будет коннектиться к нему? Но HDFS штука медленная, а для BI нужен более быстрый стораж
я пользовался им, в целом ничего плохого сказать не могу, правда при >>100k партиций в одной таблице оно страдает GC issues, но тут скорее вопрос дизайна
источник
15:41пожаловаться#18

DZ

Dmitry Zuev in Data Engineers
Alexandr Vladimirovich
а presto как вообще? Работоспособное? Типа BI будет коннектиться к нему? Но HDFS штука медленная, а для BI нужен более быстрый стораж
Для быстрых отчётов нужены витрины и сервис леер типа ch
источник
15:42пожаловаться#19

AV

Alexandr Vladimirovi... in Data Engineers
Renarde
я пользовался им, в целом ничего плохого сказать не могу, правда при >>100k партиций в одной таблице оно страдает GC issues, но тут скорее вопрос дизайна
ну так партиционировать данные мы точно не будем, тут любая система сходить сума начнет
источник
15:42пожаловаться#20