A
сам хадуп на 8ке до сих пор
а вот как таски запускать это уже отдельная тема
а вот как таски запускать это уже отдельная тема
Size: a a a
2019 November 07
В
будет больно и дорого (гугл не хочет чтобы вы съезжали), лучший способ который мне известен - экспорт в авро в GCS и уже забирать оттуда
Антон, спасибо. Погуглю в это сторону
ЕГ
Клаудера же ещё сделала импалу и hive LLAP на кубере 🤣
Ллап и так не работает, а тут ещё и в кубере?)
VE
Евгений Глотов
Ллап и так не работает, а тут ещё и в кубере?)
а кстати какой вообще фидбек на Spark Warehouse connector и ACID в целом?
VE
работает или так се?
N
Я просто вендор/пресейлс консультант, и у нас нет возможности сказать заказчику что им другая джава нужна
А где, если не секрет?
VE
А где, если не секрет?
писал уже тут, Ataccama - это чешская фирма для Data Governance/Data Quality/MDM, если кратко то типа чтот вроде информатики или таленда. В основном на америку работаем, но и в России есть бизнес и офис
СХ
Я просто вендор/пресейлс консультант, и у нас нет возможности сказать заказчику что им другая джава нужна
почему?
ЕГ
работает или так се?
Поговаривают, что так себе, лично именно коннектор не юзал, но на 2 хайве спарк-ллап был кривой
ЕГ
Но сама идея, что читать данные будет хайв, так себе
ЕГ
Была б моя воля, мы бы у себя хайв вообще выкинули
ЕГ
Раз уж теперь спарк и хайв разделены)
VE
почему?
ну мы приезжаем на две недели, пока добьёмся чтоб порты до датасорсов открыли, уже неделя пройдёт. С Хадуп тимом тоже обычно комуникация очень медленно происходит
СХ
ну мы приезжаем на две недели, пока добьёмся чтоб порты до датасорсов открыли, уже неделя пройдёт. С Хадуп тимом тоже обычно комуникация очень медленно происходит
azul jvm смотрели?
VE
ща посмотрю
СХ
я ей кучу гемора на кассандре решил
VE
а как вообще сказать спарку чтоб он другую jvm использовать на воркер нодах?
СХ
а как вообще сказать спарку чтоб он другую jvm использовать на воркер нодах?
спарк запускается когда указываешь другую версию jvm в дефолте
UD
azul jvm смотрели?
бохато
VE
слушайте, а вот у AWS есть Crawler который ходит и ищет файлы по S3 и добавляет метаданные в Glue Data Catalog, а есть чтот подобное для Hadoop/HDFS?