Хайв норм

Только он range join не умеет

Так и спарк не умеет

А как в спарке решаются подобные задачи?

Мне хватало бакетов и поиска внутри них, но возможно есть более правильные вещи

Привет. Я очередной новичек в hadoope)) И столкнулся с такой проблемой что при запуске mapreduce задачи через oozie она зависает в статусе accepted. Запускаю на собственном кластере развернутом через cloudera. Подскажите пожалуйста как решить данную проблему

Может не хватать ресурсов для запуска, учли одно ядро в ярне для драйвера?

Вроде да

Мемори тотал 1 гиг

Возможно мало, нужно смотреть, какого размера контейнер запрашивает приложение

Насколько я помню, меньше, чем на 2 гигах, джава не работает)

Привет. А подскажите, какие есть стандартные таксономии для дата пайплайнов?

Давайте сразу пример приведу, что хочется сделать

Короче есть стек. Данные читаются из кафки спарк стриммингом и раскладываются в HDFS, ELK, Clikhouse, etc. Над данными в HDFS молотят джобы Hive, Spark, MapReduce, которые готовят аналитические витрины, либо датасеты для ML. Отдельно учатся ML-модельки, отдельно инферятся либо тем же спарком, либо кастомными сервисами. Хочется это разложить на понятные группы. Типа data ingestion - kafka + spark streaming, ETL - Spark, Hive, MapReduce, что-то еще Clickhouse, что-то еще обучение моделей, что-то еще - инференс моделей. Нагуглить вменяемую таксономию компонени не смог

Ок. Спасибо. Сегодня попробую поменять total memory

мы обычно называем от архитектуры даталейка/решения: ingestion job/process (иногда landing job/process), curation pipeline, integration pipeline, data product job, product delivery / export job..

о какой-то единой таксономии в отрасли я не знаю, кто во что горазд

А можешь кинуть пример, как вы это раскладываете?

дм