Size: a a a

2021 March 24

АЖ

Андрей Жуков... in Data Engineers
пущай крутят на гринпламе
источник

ЕГ

Евгений Глотов... in Data Engineers
Андрей Жуков
а там кросс-джоин терабайт на терабайт
Должно быстро работать😆
источник

ЕГ

Евгений Глотов... in Data Engineers
Размер кластера имеет значение)
источник

АЖ

Андрей Жуков... in Data Engineers
Евгений Глотов
Должно быстро работать😆
“в табло летает"!
источник

SO

Simon Osipov in Data Engineers
Андрей Жуков
лучше уж лайв-конект
у нас лайвы/экстракты пополам книг
источник

SO

Simon Osipov in Data Engineers
Vladislav 👻 Shishkov
Вы понимаете, что архитектурно делаете ненужную прослойку ввиде табло?
представь себе, что есть запрос у компаний, готовых платить за получение данных в табло)
источник

SO

Simon Osipov in Data Engineers
Как говорится, лучший код это код который не надо писать.
У Табло есть функция выгрузки данных в csv
Я интересуюсь возможностью использовать эту функцию вместо того, чтобы писать код для выгрузки через API (мимо табло, напрямую подключение к GP)
источник

SO

Simon Osipov in Data Engineers
Поэтому ввиду отстутствия опыта с табло, пытаюсь узнать, как себя табло чувствует с выгрузкой больших данных, где можно железкой забросать, а где реально какаха)
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Simon Osipov
представь себе, что есть запрос у компаний, готовых платить за получение данных в табло)
я переубеждать не буду, скажите название компании только, чтобы я игнорил её
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
а, уже увидел
источник

АЖ

Андрей Жуков... in Data Engineers
Vladislav 👻 Shishkov
я переубеждать не буду, скажите название компании только, чтобы я игнорил её
Х5 жи
источник

NN

No Name in Data Engineers
Vladislav 👻 Shishkov
я переубеждать не буду, скажите название компании только, чтобы я игнорил её
Зачем так резко? Человек же не спорит, а, наоборот, за консультацией пришел к коллегам, так сказать.
источник

АЖ

Андрей Жуков... in Data Engineers
Simon Osipov
Поэтому ввиду отстутствия опыта с табло, пытаюсь узнать, как себя табло чувствует с выгрузкой больших данных, где можно железкой забросать, а где реально какаха)
железкой забросать в теории можно, но, кажется, это дороже, чем писать апи
источник

АЖ

Андрей Жуков... in Data Engineers
мы за csv людей в Dremio посылаем, он хотя бы может размазать по кластеру
источник

SO

Simon Osipov in Data Engineers
Vladislav 👻 Shishkov
я переубеждать не буду, скажите название компании только, чтобы я игнорил её
Попахивает какой-то токсичностью и элитизмом, ну да ладно, мне вас не в чем убеждать)
Я в сообщество пришел спросить чужой опыт прежде чем пытаться что-то проталкивать или сопротивляться, а вы по одному моему вопросу все поняли про компанию с 2к разработчиков/инженеров/ds и несколькими десятками успешных продуктов)
источник

A

Alex in Data Engineers
да,  я тоже не понял за что человека захейтили на ровном месте
источник

s

skatromb in Data Engineers
Поддерживаю Simon Osipov и Alex
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
No Name
Зачем так резко? Человек же не спорит, а, наоборот, за консультацией пришел к коллегам, так сказать.
Ему советуют это не делать, а он продолжает - не вижу "за консультацией пришел"
источник

T

T in Data Engineers
Simon Osipov
Добавлю контекста:
У нас есть часть визуализации данных в табло, а часть данных мы отдаем по API написанному
И вот эта вторая часть с API появилась потому (тут туман войны) что якобы табло не переваривает такие объемы

А моя идея в том, что зачем нам делать API, если в табло есть уже возможности выгрузок
Если возможно сделать это без табло лучше выбрать этот путь. Мы прям сильно с ралали с ним. Тех поддержка уних тоже не очень, не смогла нам помочь с ретраем даже пришлось костылить
источник

A

Alex in Data Engineers
Ну так он вроде как объяснил что это архитектурный констрейнт в их системе
источник