Ребят, привет, вы тут вродь умные люди, подскажите плиз как перевести data warehouse projects and maturity. Сейчас смотрю курс на курсере по dwh и там чувак постоянно рассказывает за какой-то maturity. Я в переводчик вбиваю, а там какая-то зрелость и не совсем понятно как это относится к dwh

кому интересно взяться за задачи, за оплату - пожалуста напишите

все правильно, это зрелость: насколько устоялись процессы, стабильна платформа, довольны пользователи

Вот думаешь что человек научиться хочет, а это какая-то халтура чтобы условный экзамен сдать :(

Не надо так

ок, кому интересно помочь проконсультировать чтоб быстрее закрыть эти задачи - пишите. свого рода - менторство. Спасибо

Привет, а есть возможно как то пошарить закешированый датафрейм между пулами при spark.scheduler.mode FAIR ?

Кстати да, я знаю что спарк может переиспользовать результаты шаффла если условия сходятся, но какой у них скоуп?

Наверное без ковыряния в сорцах ответа не найдешь

Кину молчанку. Неправильно это всё

Ну вот я пробовал с ходу, но выглядит так что он не шарит его без приседаний и все джобы становятся последовательными

привет, в чем не правильность ? мне нужен ментор ?

потому что заход с "решите мне курсач за бабки"

Нет бы с конкретным вопросом

просите, но наверно вы не так меня поняли.

Кстати, такой вопрос, если какой то готовый паттерн или подход к работе с таблицей в хайве у которой одна из колонок должна быть уникальной? У меня такой кейс, что мне нужно на основе факт таблицы, которая постоянно растет, нужно строить таблицу с мапой ключ -> значение, и ключ должен быть уникальным. Каждый раз перечитывать факт таблицу которая постоянно растет кажется неправильным. Можно работать с отдельными партициями фактов, считать мапу по партиции и убирать из нее ключи, которые уже есть в глобальной мапе. Но для этого нужно всю глобальную мапу читать, которая будет хоть и меньше фактов, но тоже будет расти. Я в замешательстве

думаю все верно поняли

Хотелось бы просто аппендить в такую мап таблицу а хайв бы сам создавал уникальность 😇

сурогатный ключ нужен или что?

Нужно сделать колонку, в данном случае строковый айди, который будет всегда уникальным