A
а я и не шутил
известная проблема когда рассказываешь чем занимаешься
многие думают что стёб …. но нет
многие думают что стёб …. но нет
Size: a a a
2020 September 10
DZ
Евгений Глотов
Вот вы смеётесь, а бигдата идёт к пользователям. Недавно писал вставку хардкод питоном в нужные ячейки экселя прямо в xml-файлы, потому что стандартными либами 40 листов с фотками и пивот таблицами читаются 10 минут)
эксель бигдата это когда клиент просит парсить гиговые эксльки с фотками в комментах
А
Евгений правильно пишет, что когда xlsx стало возможно парсить без Ole, просто разархивировав и прочитав xml, жить стало значительно проще
N
Всем привет! Какой best practice когда прилетает новое поле в Спарк стриминге ? Как на лету можно изменить витрину данных ?
delta позволяет писать с опцией merge schema
N
To enable schema migration, please set:
'.option("mergeSchema", "true")\'AG
У них ещё своя юайка для спарка, кому нужно https://www.datamechanics.co/blog-post/building-a-better-spark-ui
А я помню они на реддите пиарились, юай этот несвоьодный. Чтобы им пользоваться спарк должен свои ивенты на их сервера отправлять.
AZ
А я помню они на реддите пиарились, юай этот несвоьодный. Чтобы им пользоваться спарк должен свои ивенты на их сервера отправлять.
ну конечно, это их фишка
AG
Как по мне это путь в никуда
AZ
в каком смысле?
AG
Кто в своём уме будет встраивать в продакшен либу которая что-то шлёт 3party серверам?
АЖ
Кто в своём уме будет встраивать в продакшен либу которая что-то шлёт 3party серверам?
датабрикс вроде жив
AG
датабрикс вроде жив
Вы не понимаете это другое
AZ
Кто пользуется databricks, emr и dataflow? на сторонних серверах!
АЖ
Вы не понимаете это другое
AG
Кто пользуется databricks, emr и dataflow? на сторонних серверах!
Датабрикс тут кстати другая песня, вычислительных ресурсы ведь в аккаунте заказчика выделяются
AZ
Датабрикс тут кстати другая песня, вычислительных ресурсы ведь в аккаунте заказчика выделяются
у датамеханикс точно также
AG
у датамеханикс точно также
Это понятно. Но дашборд они пиарили как нечто стандалон от их системы
AG
И чтобы его использовать нужно встроить либу которая будет слать им ивенты. Не понимаю почему сам дашборд в либе не может рисоваться?
AG
Хотя нет, понимаю. Из-за бабла
АЖ
Хотя нет, понимаю. Из-за бабла
любой вендор мечтает о вендорлоке