KS
Наш архитектор предложил сделать оркестрацию через step functions, а выполнение через glue pyspark.
Size: a a a
2021 January 14
GP
можно
GP
степ функции стати с кубером работать умеют
KS
смотря что те надо, это (как по мне) дорогой и неудобный тул для етла поверх спарка; хочешь менеджед Спарк пускай на емр или к8с
Как альтернативу предложил запускать контейнеры с golang кодом для тех же целей, но я не уверен насколько там хорошо поддерживается parquet.
λ
fake; читать лучш над чо там закопали они
Это первый шаг, все норм посоны уже давно на други cri реализациях
GP
Это первый шаг, все норм посоны уже давно на други cri реализациях
ну идея в том что докер будет компатнен с ними и все да
GP
Они какой-то старый костыль прост удалять хотят
GP
Это первый шаг, все норм посоны уже давно на други cri реализациях
на каких, расскажи кстати, что они используют
A
вообще неймспейсы скоро из линукс ядра выпилят
GP
Как альтернативу предложил запускать контейнеры с golang кодом для тех же целей, но я не уверен насколько там хорошо поддерживается parquet.
Не знаю как ты пайспарк и голанг сраниваешь но почему бы и нет
KS
Не знаю как ты пайспарк и голанг сраниваешь но почему бы и нет
Я не сравниваю, просто идёт пропихивание голанга как убивца связки спарк+питон. О том, что многопоточность далеко не всё, что нужно для дата пайплайна, игнорируется.
GP
я не знаю как Голанг убивает спарка, если он и правда убивает то может или ты не все рассказываешь или вам пуспарк не нужен
GP
если тебе над на одной машине маленькие паркеты считать чёт сделать с ними и положить куда-то то пайспарк не нужен
GP
А так без понятия что у вас происходит))
λ
на каких, расскажи кстати, что они используют
Я тебе прост напомню что мы например на crio сидим )
KS
если тебе над на одной машине маленькие паркеты считать чёт сделать с ними и положить куда-то то пайспарк не нужен
Ну по идее так и есть, нужно читать и обрабатывать либо Json, либо parquet, либо зипы с вложенными папками и файлами и заливать их в s3 bucket.
GP
Я тебе прост напомню что мы например на crio сидим )
а точно, а чо Гугл тож на крио?
λ
Гугл хз
λ
Но думаю тож не на докере (