АЖ
бесшовно ярн-куб не выйдет
Size: a a a
2020 August 10
K
бесшовно ярн-куб не выйдет
почему?
АЖ
еще и с шафлами в эфемерных дисках налюбишься
K
да у меня требований нет по миграции, мне самому просто приятно, что не нужны доп компоненты
АЖ
почему?
потому что ярн и кубы немношк разные даже в отношении к деплою
K
потому что ярн и кубы немношк разные даже в отношении к деплою
да не , я все понимаю, я просто про то, что совсем на низкоуровневые компоненты не хочу завязываться.
2020 August 11
ПБ
Доброе! Коллеги подскажие пожалуйста откуда взять hive.xml ? Core, hdfs я нашел )
A
/etc/hadoop/ лежат core и hdfs
/etc/hive лежит хайвовский
/etc/hive лежит хайвовский
ПБ
/etc/hadoop/ лежат core и hdfs
/etc/hive лежит хайвовский
/etc/hive лежит хайвовский
Спасибо! Я кстати победил клоудеру. Коллеги из инфры фаерыол не отключили.
A
никогда такого не было и вот опять
IK
Ноу тайм ту эксплейн.
@optician_owl а подскажешь как правильно перформанс мерить? есть ли какие-то best practice/инструменты?
сходу приходит только первый .map делать на измерение времени и последний
сходу приходит только первый .map делать на измерение времени и последний
ZM
Смотря что мерить собрались. Начать стоит с точной постановки вопроса.
IK
есть flow, в котором несколько шагов от source до sink
хочется по эксперемнтировать с maAsync и посмотреть, как этот отразиться на работе стрима
хочется по эксперемнтировать с maAsync и посмотреть, как этот отразиться на работе стрима
ZM
Ну если это только внутренний код, то можно для большого упрощения и так. Хотя игры с многопоточностью лучше уже смотреть по данным, попавшим в кафку (если я правильно подхватил контекст). В зависимости от настроек в коде может быть прирост, а по факту нет.
IK
да, контекст правильно подхватили 😌
т.е. на тестовых данных уже проводить эксперименты и смотреть на рейт?
спасибо!
т.е. на тестовых данных уже проводить эксперименты и смотреть на рейт?
спасибо!
AE
https://github.com/PastorGL/outlines-indexes
чтобы никому не пришлось покрывать таймзоны сша компактным h3 (и, сука, тратить на это неделю), думаю, стоит выложить на гх. может ещё кому-нить таки понадобятся.
сделаю отдельные штаты и/или counties — тоже выложу.
картинку добавить не могу, qgis на таком количестве полигонов у меня падает
чтобы никому не пришлось покрывать таймзоны сша компактным h3 (и, сука, тратить на это неделю), думаю, стоит выложить на гх. может ещё кому-нить таки понадобятся.
сделаю отдельные штаты и/или counties — тоже выложу.
картинку добавить не могу, qgis на таком количестве полигонов у меня падает
ДД
подскажите пожалуйста, а почему hdfs snapshotDiff может не показывать файлы в каталогах?
файлы лежат, дата создания как у каталога, а в отчете snapshotDiff только каталоги
файлы лежат, дата создания как у каталога, а в отчете snapshotDiff только каталоги
2020 August 12
AM
коллеги, привет! подскажите...
<data_vault_enabled>
у меня в потоковом режиме прилетают "состояния" некой сущности - например, сущность "абонент". со всеми его атрибутами.
а я хочу разложить в DWH эти "состояния" на "события"
например, сначала прилетело состояние:
id, name, sex, married
1, Petrova, female, 0
потом:
id, name, sex, married
1, Petrova-Vodkina, female, 1
хочу иметь возможность отследить все изменения для абонентов по времени.
мне ведь путь в DataVault?
</data_vault_enabled>
<data_vault_enabled>
у меня в потоковом режиме прилетают "состояния" некой сущности - например, сущность "абонент". со всеми его атрибутами.
а я хочу разложить в DWH эти "состояния" на "события"
например, сначала прилетело состояние:
id, name, sex, married
1, Petrova, female, 0
потом:
id, name, sex, married
1, Petrova-Vodkina, female, 1
хочу иметь возможность отследить все изменения для абонентов по времени.
мне ведь путь в DataVault?
</data_vault_enabled>
SCD2 еще тот гемор. Я так уразумею, что выбор будет hudi или deltalake. Тк в моей шараге спарк 2.3 & hive 1.2, пришлось лепить костыли с hudi😱
ПБ
Добрый! После перезагрузки дата нод они умерли. Я
запустил clousera agent и
сделал recommmision,
сделал fsk delete плохих блоков нет.
Перезааустил hdfs
Ноды все равно мертвы.я что то пропустил?
запустил clousera agent и
сделал recommmision,
сделал fsk delete плохих блоков нет.
Перезааустил hdfs
Ноды все равно мертвы.я что то пропустил?
S
чтение логов