K
Плюс свой нормальный устойчивый и масштабируемый шафлсервис
они прям свой написали?
Size: a a a
2020 September 10
K
или взяли из того что готово в опенсорсе почти
AZ
нет конечно, у нас не облако к сожалению, но с апи мы работать умеем и координатор добавить не большая проблема
Аккаунтинг у вас сделан уже, вы можете выставить клиенту счёт за потреблённые vcore/mem?
AZ
они прям свой написали?
У них свой, да
K
Плюс свой нормальный устойчивый и масштабируемый шафлсервис
а, ребята из Y Combinator , ну молодцы
K
Аккаунтинг у вас сделан уже, вы можете выставить клиенту счёт за потреблённые vcore/mem?
не не можем, они молодцы , спорну нет
AZ
У них ещё своя юайка для спарка, кому нужно https://www.datamechanics.co/blog-post/building-a-better-spark-ui
K
У них ещё своя юайка для спарка, кому нужно https://www.datamechanics.co/blog-post/building-a-better-spark-ui
да круто, совсем мне радостно стало за них
E
У них ещё своя юайка для спарка, кому нужно https://www.datamechanics.co/blog-post/building-a-better-spark-ui
еще бы они это открыли и было бы хорошо
AS
Какую годноту в кассандру завозят https://www.datastax.com/blog/2020/09/eliminate-trade-offs-between-database-ease-use-and-massive-scale-sai-storage-attached
AZ
Какую годноту в кассандру завозят https://www.datastax.com/blog/2020/09/eliminate-trade-offs-between-database-ease-use-and-massive-scale-sai-storage-attached
обсуждали тут в элитарном чатике СУБДшников вчера, всех позабавил пример таблицы сотрудников с колонкой age )) но так да, больше индексов, хороших и разных
A
Посмотрите лучше на будущее https://www.datamechanics.co/blog-post/video-tour-of-data-mechanics-the-serverless-spark-platform
чем это лучше датафлоу?
тем что спарк?
тем что спарк?
AK
Всем привет! Какой best practice когда прилетает новое поле в Спарк стриминге ? Как на лету можно изменить витрину данных ?
AK
Сейчас Кафка-Спарк стриминг -Hdfs-далее repair table в hive
AZ
чем это лучше датафлоу?
тем что спарк?
тем что спарк?
спарк, на всех облаках работает
ЕГ
я бы еще Excel добавил в навыки дата-помидора
Вот вы смеётесь, а бигдата идёт к пользователям. Недавно писал вставку хардкод питоном в нужные ячейки экселя прямо в xml-файлы, потому что стандартными либами 40 листов с фотками и пивот таблицами читаются 10 минут)
ЕГ
Как выдать результат бигдэйты заказчику, если у него эксель?)
SS
а я и не шутил
SS
второй день не вылезаю из Экселя, сайзинги считаю
ЕГ
