Size: a a a

2021 April 25

☭S

☭ ⤳ λ Shinkevich... in Data Engineers
Big query - по сути Hive, про табло не скажу, а кафку тоже можно на мощностях клиента разместить
источник

I

Ilya in Data Engineers
Спасибо. Табло второстепенно, мы в нем только совсем фронтенд делаем, весь etl и трансформации не там
источник

SS

Sergey Shushkov in Data Engineers
Еще можно подумвть насчет presto(trello) и iceberg
источник

KS

K S in Data Engineers
Стандартная задачка из курса проф. дата инженера. Там разные сценарии типа он премис - облако - онпремис
источник

KS

K S in Data Engineers
Сейчас уже не помню, но там через защищенный канал пропихиваются данные в облако и обратно.
источник

I

Ilya in Data Engineers
Да? Может я и зря не приходил никаких курсов (кроме института и классических СУБД)
источник

I

Ilya in Data Engineers
Не прокатит. Данные не должны покидать страну. Это арабы и медицина, все строго
источник

I

Ilya in Data Engineers
Спасибо, посмотрю
источник

KS

K S in Data Engineers
Да это не только у арабов, везде так.
источник

KS

K S in Data Engineers
Тогда только местные дата-центры
источник

I

Ilya in Data Engineers
Именно
источник

I

Ilya in Data Engineers
У нас не так. У нас можно на выбор: Гугл, Амазон или Ажур, регион выбрал и вперёд
источник

KS

K S in Data Engineers
Ну экспортируйте данные из BigQuery в арабскую страну и там пусть анализируют
источник

I

Ilya in Data Engineers
У меня есть система. Я ее продать хочу. Не данные продать, данные арабы на месте собирать будут
источник

KS

K S in Data Engineers
В BigQuery дофига функциональности, что конкретно включает ваше решение?
источник

I

Ilya in Data Engineers
Это хороший вопрос. Мы по сути только sql запросы туда делаем, больше ничего сложного не используем, насколько я помню
источник

KS

K S in Data Engineers
Ну тогда то, что выше посоветовали - presto (trino?) и к нему фронтенд
источник

I

Ilya in Data Engineers
👍
источник

SS

Sergey Shushkov in Data Engineers
Можно еще с HBase поиграться или гринплумом, на вкус как говориться.
источник

SS

Sergey Shushkov in Data Engineers
Точно , в трино переименовались, трелло это из другой оперы же )
источник