Size: a a a

2019 November 19

DM

Daniel Matveev in Data Engineers
но тут надо спрашивать @zuynew
источник

GP

Grigory Pomadchin in Data Engineers
не только у флинка... похоже они вообще в эту большедату ворвались недавно и все заполоняют
источник

A

Alex in Data Engineers
Там али после покупки артисанов в него вкладывается по полной, плюс свои наработки открывает по нему
источник

DZ

Dmitry Zuev in Data Engineers
Daniel Matveev
но тут надо спрашивать @zuynew
Нуууу, за комьюнити не скажу, тк даже в вичате тех кто на английском готов был общаться мало. Но в универах спарк/шторм
источник

A

Alex in Data Engineers
По комитам видно что многие вопросы артисанты лидят а комитят китайцы прямо стримом
источник

GP

Grigory Pomadchin in Data Engineers
Dmitry Zuev
Нуууу, за комьюнити не скажу, тк даже в вичате тех кто на английском готов был общаться мало. Но в универах спарк/шторм
шторм какойто призрак
источник

DM

Daniel Matveev in Data Engineers
призрак твиттеризма гуляет по китайским универам
источник

GP

Grigory Pomadchin in Data Engineers
А что он не взлетел кстати?
источник

A

Alex in Data Engineers
В начале года была же статистика по бигдата проектам апача, самые активные beam/spark/flink по комитам и активностям
источник

DZ

Dmitry Zuev in Data Engineers
Grigory Pomadchin
шторм какойто призрак
У них там кастомные шедулеры были ещё для шторма
источник

DM

Daniel Matveev in Data Engineers
Dmitry Zuev
У них там кастомные шедулеры были ещё для шторма
китайцы могут
они даже решили не жвм в контейнеры пихать, а сделать контейнеры внутри жвм
источник

DM

Daniel Matveev in Data Engineers
но это другая история
источник

A

Alex in Data Engineers
Grigory Pomadchin
А что он не взлетел кстати?
Кто? Шторм?

Свое же сделал, но там были проблемы с зависимостями (все в одном класлоадере, поэтому все или шейдить или системные Jar от самого шторма использовать), вопросы с потерей сообщений при нагрузке и производительностью

Пока апач комьюнити рожали решение и вторую версию

Ali запилил jstorm випилив клоужу
Twitter запилил heron

У обоих апи с оригинальным штормом совместимо

Сейчас когда мне про шторм говорят то хз о какой системе думать (1й шторм, 2й, jstorm, heron, или парни запустили топологии на flink так как тоже как ранер может работать для шторма)
источник

A

Alex in Data Engineers
Daniel Matveev
китайцы могут
они даже решили не жвм в контейнеры пихать, а сделать контейнеры внутри жвм
Так то же популярная тема в Азии с мультитенанси. Мне больше в их jvm впечатлили не контейнеры а онхипный ойфхип по которому gc не ходит
источник

GP

Grigory Pomadchin in Data Engineers
Alex
Кто? Шторм?

Свое же сделал, но там были проблемы с зависимостями (все в одном класлоадере, поэтому все или шейдить или системные Jar от самого шторма использовать), вопросы с потерей сообщений при нагрузке и производительностью

Пока апач комьюнити рожали решение и вторую версию

Ali запилил jstorm випилив клоужу
Twitter запилил heron

У обоих апи с оригинальным штормом совместимо

Сейчас когда мне про шторм говорят то хз о какой системе думать (1й шторм, 2й, jstorm, heron, или парни запустили топологии на flink так как тоже как ранер может работать для шторма)
вот бы флинк для сотонистов ещё апи приятное имел
источник

GP

Grigory Pomadchin in Data Engineers
):
источник

A

Alex in Data Engineers
Grigory Pomadchin
вот бы флинк для сотонистов ещё апи приятное имел
Лезь в аликлауд :) там ui квадратики двигай
источник

A

Alex in Data Engineers
Для ml на флинке
источник

GP

Grigory Pomadchin in Data Engineers
Alex
Лезь в аликлауд :) там ui квадратики двигай
а потом появится flinkza, flikon и flink2
источник

GP

Grigory Pomadchin in Data Engineers
да надо бы кстати сравнить какого будет абстрагировать мне мое барахло от процессинга и что флинк даст
источник