DZ
из хорошего там еще есть дельталейк и айсберг коннекторы
Расскажите про айсберг, звучит топово
Size: a a a
2020 September 29
AT
да, надо почитать, вроде как работает через glue catalog только а туда недавно partition indexing завезли
AZ
Расскажите про айсберг, звучит топово
сорян, столько времени нет, но следите за ним, там движуха большая началась летом
DZ
Ну есть прод у кого?
AZ
есть
AT
ну вот и обсудили )
DZ
Просто дейльталейк обсосали уже. А про айсберг тишина какая-то
ME
Просто дейльталейк обсосали уже. А про айсберг тишина какая-то
а есть что почитать про это?
ME
и что именно? oss версию или закрытую?
AZ
у айсберга шикарный дизайн (по сравнению с дельтой ОСС особенно), но довольно сыро пока, пилим фичи
ME
А есть какое-то детальное сравнение? Пару месяцев назад смотрел статьи и поверхностные были все
AZ
я не видел в открытом доступе, но это популярный запрос в консалтинге
ME
Видимо надо почитать и самому написать:)
AZ
если у вас есть ресурсы - конечно сделайте, горячая тема
AZ
через пару лет будет сложно найти просто файлы в объектном сторадже под большими даталейками, все эти дельты/айсберг и худи слишком удобны и миграция относительно дешево стоит
AZ
будете на гребне волны)
PA
Всем хай.
Apache Beam python SDK.
Вопрос.
Как засунуть в файл после окончания срока окна, но чтобы file io или любой другой коннектор писал в файл только по комбинации старт окна конец окна и расширение файла. А то оно мне ещё шарды туда сует, я пытался отключить но что-то не але. Заранее спасибо
Apache Beam python SDK.
Вопрос.
Как засунуть в файл после окончания срока окна, но чтобы file io или любой другой коннектор писал в файл только по комбинации старт окна конец окна и расширение файла. А то оно мне ещё шарды туда сует, я пытался отключить но что-то не але. Заранее спасибо
DZ
Видимо надо почитать и самому написать:)
Го попишем
ME
Го попишем
Да вот тоже думаю, надо от рааботы отвлечься, выполнить маленький проект на стороне:)
ME
Ну и просто разобраться в теме