ПФ
И мне приходится городить всю эту логику на airflow
Size: a a a
2019 October 29
AZ
Но так получается что сабсет дпйствий, который я могу совершить спарком над bq настолько ограничен, что больно.
да, в видении гугла вы и не должны пользоваться датапроцем, переходите на прямые скрипты к BQ и Dataflow
ПФ
да, в видении гугла вы и не должны пользоваться датапроцем, переходите на прямые скрипты к BQ и Dataflow
ну да, они-то в вендорлоке заинтересованы, но тогда не совсем понятно зачем им вообще делать коннектор
AZ
ну да, они-то в вендорлоке заинтересованы, но тогда не совсем понятно зачем им вообще делать коннектор
замануха для миграций :) мы все так делаем
ПФ
А как работает тамошний JDBC кстати? Он поддерживает все эти вайлдкард таблички и так далее?
ПФ
тамошний - SimbaJDBC
AZ
вообще я редко вижу такое операционное взаимодействие dataproc + bigquery, обычно если используется датапроц, то данные в GCS, а bigquery они грузятся уже когда обработаны; а если все изначально живет в BQ то и датапроц не нужен, все на датафлоу
ПФ
Потому тчо если да - то я могу очевидно датафрейм и из JDBC получить
AZ
А как работает тамошний JDBC кстати? Он поддерживает все эти вайлдкард таблички и так далее?
для BI/Reporting норм, но я не использовал (и не рекомендую) его для массовых выгрузок/загрузок
ПФ
вообще я редко вижу такое операционное взаимодействие dataproc + bigquery, обычно если используется датапроц, то данные в GCS, а bigquery они грузятся уже когда обработаны; а если все изначально живет в BQ то и датапроц не нужен, все на датафлоу
ну у нас примерно так: подрядчики льют стату на BQ, это понятно и им так удобно. Но нам конечно удобно и дешевле свой датапроц делать на spark
AZ
ну у нас примерно так: подрядчики льют стату на BQ, это понятно и им так удобно. Но нам конечно удобно и дешевле свой датапроц делать на spark
вы уверены что дешевле с dataproc чем с dataflow?
ПФ
вы уверены что дешевле с dataproc чем с dataflow?
ну как сказать. Я не то чтобы уверен, но мне по сути бы данные перелить в хайв (кторый всё равно есть и в нём много и из него ничего никуда не уйдёт) и потом их ркутить
AZ
ну как сказать. Я не то чтобы уверен, но мне по сути бы данные перелить в хайв (кторый всё равно есть и в нём много и из него ничего никуда не уйдёт) и потом их ркутить
ну то есть легаси, да, для этого датапроц и затевался
СХ
😐кстати а пробовал кто в кафке хранить файлы
СХ
например с расширением mp3
t
t
t
СХ
грубо говоря нужна очередь под mp3 файлы, типа пока плеер не обработает они там хранятся, как обработал - удаляется
РА
😐кстати а пробовал кто в кафке хранить файлы
ты можешь там хранить любые файлы