C
Yawer Raza Mendiola IV has been banned! Reason: CAS ban.
Size: a a a
2020 February 03
C
Gabriel Assulayman has been banned! Reason: CAS ban.
VS
Ребята привет, поковырял, в запиненом но не нашел.
Есть тут те кто работают с GCP?
Есть на примете годная литературв?
Есть тут те кто работают с GCP?
Есть на примете годная литературв?
gcp меняется так быстро, что даже их собственная онлайн документация не успевает, не говоря уж про печатную.
вот здесь еще можно всякие интересные мысли потаскать
https://cloud.google.com/blog/
вот здесь еще можно всякие интересные мысли потаскать
https://cloud.google.com/blog/
VS
есть и ютубный канал, но там больше маркетингового бла-бла-бла или просто 100-500 тыщ не понятно к чему 2-х минутных роликов. разве что с google next можно некоторые смотреть
https://www.youtube.com/user/googlecloudplatform
https://www.youtube.com/user/googlecloudplatform
PA
Vasily Surov
есть и ютубный канал, но там больше маркетингового бла-бла-бла или просто 100-500 тыщ не понятно к чему 2-х минутных роликов. разве что с google next можно некоторые смотреть
https://www.youtube.com/user/googlecloudplatform
https://www.youtube.com/user/googlecloudplatform
Спасибо бывают и там и тут.
На Медиуме или Товардсаенсе проскакивают неплохие статьи
На Медиуме или Товардсаенсе проскакивают неплохие статьи
2020 February 04
AL
здравствуйте, подскажите нынче кто как решает проблему с маленькими файлами авро на hdfs?
GP
здравствуйте, подскажите нынче кто как решает проблему с маленькими файлами авро на hdfs?
Руками собирай маленькие авро файлы в большие (относительно) мап файлы и клади
AL
Руками собирай маленькие авро файлы в большие (относительно) мап файлы и клади
это же относится к разряду решений через SequenceFile? И если я захочу потом сверху натянуть хайв, вдруг, то он не умеет такое и мне надо будет создавать что то еще?
Пока задача стоит сделать компакшин по сути, для оптимизации мапредьюса
Пока задача стоит сделать компакшин по сути, для оптимизации мапредьюса
GP
это же относится к разряду решений через SequenceFile? И если я захочу потом сверху натянуть хайв, вдруг, то он не умеет такое и мне надо будет создавать что то еще?
Пока задача стоит сделать компакшин по сути, для оптимизации мапредьюса
Пока задача стоит сделать компакшин по сути, для оптимизации мапредьюса
Да, надо как-то самому индексы поверх таких файлов кинуть что бы чтение осуществлять нужных файлов и нужных записей из них
GP
хайв хз; наверн из коробки не может; сс @krivdathetriewe может знает
AL
Да, надо как-то самому индексы поверх таких файлов кинуть что бы чтение осуществлять нужных файлов и нужных записей из них
а если я захочу потом это дело конвертнуть в parquet, я умру?))
S
проходи раз в день и склеивай эту мелочь в нормальный вид
AL
@pomadchin cпасибо, еще почитаю про SequenceFile
K
а если я захочу потом это дело конвертнуть в parquet, я умру?))
Можно раз в интервал считывать Файлы и перекладывать их в пожатый паркет
K
Но доступ на чтение к архивным данным только там где паркет
K
K
Плюс есть «горячая» таблица
K
Там только последние Файлы в авро
AL
Плюс есть «горячая» таблица
у нас для этого солр)