Он очень похож на дистр от хортонворкс. Но у нас стоял старый дистрибутив. Сейчас развернули новый. Там например нет амбари.

У них свой самописный менеджер. Вполне годный

Ок, понятно, спасибо.
Правда, я не совсем понял, керберос, получается, тоже можно этим менеджером "включить"?

По всей видимости - да. Просто мы пока этого не делали. И я ничего не могу по этому поводу сказать

Ога, ясно, спасибо

Керберезация в нашей сборке возможа пока только в Hadoop 2 (ADH 1.6) через Ambari. Для 3го хадупа (ADH 2.1), появится позже, когда завершим перенос управление все security частью в ADCM.

помешались на кубере

Ок, спасибо

Речь не про кубернетис, а про Kerberos 🙂

а да, извиняюсь

А есть смысл самому пытаться  настроить керберос ? Или потом будут проблемы с adcm и управлением кластером оттуда?

Настроить на какой версии ADH? 1.5, 1.6?

Ну как я понял для ADH 1.5..6 это возможно. Интересует для 2.1. Керберос там вообще никак прикрутить не получится?

Да, для 1.5, 1.6 эти возможно. Получится ли у Вас - не знаю. Обычно это процесс не тривиальный, особенно в сложном окружении, как у наших заказчиков.
При переезде на ADH 2.x скорее всего придется все перенастраивать.
Для 2.1 пока никак не получится, т.к. Амбари больше нет.

Добрый вечер. Нужна помощь специалистов по Spark.
Я знаю, что выполняя  spark.read.format("parquet").load(path) сработает lazy и ничего не будет вычитано и рассчитано до материализации.
Но как будет работать load если выполнить его вот так:

Try( spark.read.format("parquet").load(path)) ???

Будет прочитан весь файл или только метаинформация? С наскока не удалось ничего нагуглить по этому поводу и логи ясности не дали. Возможно я еще просто не очень понимаю Sparkовские логи.

Эм эээ

Не лениво будет считана мета

Скоро в докладе чуть чуть покажем как это делать лениво

Ок, спасибо, прояснили картинку.  Я так понимаю автор кода таким нехитрым способом проверял существование файла. У меня просто возникли опасения по поводу производительности.

Я бы не использовал такой подход