Size: a a a

2019 October 29

АЖ

Андрей Жуков in Data Engineers
давайте хайв-метастор на гринпламе поднимать
источник

OP

O. Petr in Data Engineers
А для очереди больших файлов все кроме Кафки, от ребитов до Игнайтов
источник

A

Alex in Data Engineers
Андрей Жуков
давайте хайв-метастор на гринпламе поднимать
не спасёт, там внутри такие запросы генерятся что проще пристрелиться ….
источник

S

Serg Slipushenko in Data Engineers
Старый Хрыч
😐кстати а пробовал кто в кафке хранить файлы
источник

OP

O. Petr in Data Engineers
Oleg Ilinsky
пг - это не модно
Вероятнее всего ещё не сами собрали тем самым нарушив лицензию )0
источник

OP

O. Petr in Data Engineers
А для ci/cd спарков ничо без кубика не придумали, чот свое ток писать ?
источник

СХ

Старый Хрыч in Data Engineers
O. Petr
А зачем гринплам на 1 сервере, не легче было бы пг ?
директору сказали, что кластер в докере и кубере надёжнее, а главное лучше работает))))
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
Scalalaz #72 с гостями из NVidia.

Ребята расскaжут о том, как они используют GPU и Spark и что они на самом деле не из МВидео: https://scalalaz.ru/series-72.html Мы пытаемся немного эксперментировать с форматами и решили завести Discord канал, что бы писаться и общаться по теме эфира: https://discord.gg/RnugmrU
источник

AB

Anton Balagaev in Data Engineers
Старый Хрыч
директору сказали, что кластер в докере и кубере надёжнее, а главное лучше работает))))
Это Pivotal такое придумал?
источник

СХ

Старый Хрыч in Data Engineers
Anton Balagaev
Это Pivotal такое придумал?
не знаю, не уточнял, у них it summa ранее кубер внедряла неудачно
источник

AB

Anton Balagaev in Data Engineers
Старый Хрыч
не знаю, не уточнял, у них it summa ранее кубер внедряла неудачно
Жаль, интересно было бы узнать кто. Пивотал активно обмазывается кубером, но если посмотреть на ограничения сборки под кубер, то сразу желание отпадает: https://greenplum-kubernetes.docs.pivotal.io/1-9/gp4k19ReleaseNotes.html
источник

M

Mikhail in Data Engineers
Grigory Pomadchin
Scalalaz #72 с гостями из NVidia.

Ребята расскaжут о том, как они используют GPU и Spark и что они на самом деле не из МВидео: https://scalalaz.ru/series-72.html Мы пытаемся немного эксперментировать с форматами и решили завести Discord канал, что бы писаться и общаться по теме эфира: https://discord.gg/RnugmrU
Они же питонисты, какая скалка?))
источник

GP

Grigory Pomadchin in Data Engineers
Mikhail
Они же питонисты, какая скалка?))
петон, скала - какая разница?
источник

GP

Grigory Pomadchin in Data Engineers
источник

OI

Oleg Ilinsky in Data Engineers
Mikhail
Они же питонисты, какая скалка?))
и там и там df = spark.read....()
надо только val не забыть в начале строки
источник

OI

Oleg Ilinsky in Data Engineers
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
но у неё есть гридфс
тоже так себе :(
источник

ЕГ

Евгений Глотов in Data Engineers
Oleg Ilinsky
и там и там df = spark.read....()
надо только val не забыть в начале строки
А в пуфоне главное return не забыть)
источник

ЕГ

Евгений Глотов in Data Engineers
После скалы)
источник