@pomadchin  тут попки завезли...

Спарк игнорирует правила доступа, которые установлены в рэнжере на хайв таблицы, так как читает данные напрямую из хдфс. Нужно ставить права либо и на хайв, и дублировать на хдфс, либо где-то плагины искать для спарка, может уже кто-то написал и на гитхабе есть

Hwc использовать, и страдать, страдать

Хортоны написали уже 2 года как)

Зачем страдать, если можно забить на секьюрити

Я использовал его 3 года назад)

Он уже тогда был фуфло

Вполне достаточно включить сесуриту hdfs для хайва, прозрачную структуру каталогов баз, настроить обе политики hive/hdfs на доменные группы и просто пихать людей в группы потом.

Ребя, кто с цепелином в живой природе использует спарк 3.1 ?

Работает, но есть нюанс...  А в чем дело то?

Привет, есть тут те, кто работают в одноклассниках?

Узнай, как data-driven компании разрабатывают платформы данных и внедряют их в бизнес-процессы

13 апреля в 19:00 МСК Yandex.Cloud, Леруа Мерлен, Авито и Райффайзенбанк поговорят о методах и инструментах скоринга входных данных, их агрегации и создании единой системы.
Мы расскажем вам, как:
📍в Yandex.Cloud подошли к решению задачи поддержки хранения и обработки данных в СУБД ClickHouse в S3;
📍в Авито упростили и консолидировали работу дата-специалистов с витринами данных;
📍в Райффайзенбанке решили задачу расположения банкоматов с помощью JupyterHub и создали модель оптимизации ценообразования в тендерах при помощи Jupyter на Mac;
📍в Леруа Мерлен обучили модель контролировать качество товара от поставщиков на складах на основе lightGBM.

✅Получить приглашение на мероприятие по ссылке https://clck.ru/TtDCx

Посоны, насколько адекватна следующая архитектура дата пайплайна:

Splunk Heavy forwarder=>Cribl=>Kafka=>HDFS=>Nifi

Я сам ни разу не дата инженер, а девопс, сильно не пинайте

а что за задача ?

Секурити дата лейк для долговременного хранения логов, создания machine  learning  моделей и светлого коммунизма, а спланк не резиновый и соответсвенно в нем настроена автоочистка логов старше 90 дней

Splunk Heavy forwarder=>Cribl=>Kafka=>HDFS=>Nifi

на мой взгляд, связка "Kafka=>HDFS=>Nifi" некорректна/неудобна, быть может, лучше так:
Kafka=>NiFi=>HDFS=>Spark/etc

Почему?

Ну вообще не очень понятно, что нафаня тут делает

оркестратор?

Что он в конце цепочки оркестрирует?