вроде нет, кто-то свой пилит. В мире hadoop есть oozie, если так хочется jvm решения

Благодарю, сейчас поэкспериментирую

Всем привет! Есть вопрос, надеюсь вы мне сможете помочь или направите к тем кто сможет. Есть учебное задание, установить Cloudera Quickstart в докере, передать датасеты с Kaggle, и с ними поработать. Первые этапы выполнил, Cloudera установил, через docker cp в командной строке скопировал файлы в контейнер, дальше идет следущее задание: "Put the files in HDFS system through cloudera HDFS/HUE WEB UI / using bash commands (hdfs dfs). Target directory: user/hive/warehouse. Please create separate folder for each file with appropriate name". Не могу выполнить этот шаг, не понимаю что конкретно надо сделать, вроде как использовать комманды hdfs dfs -put, но получается какая то ерунда, мои попытки есть на скриншоте. Файлы датасета в csv формате, внутри контейнера, лежат в директории /home/HW1/. Делаю все на 10 винде, с Docker Desktop.

hadoop fs такую же фигню выдает?

Типа того

А директория-то есть такая? Что, если рутовую посмотреть?

Повысьте свою эффективность работы с данными. Начните осваивать продвинутые инструменты дата инженера 27 сентября на demo-занятии «Приземление данных с помощью Apache Flink».
Вебинар проведет Вадим Опольский, Scala Big Data разработчик в Luxoft. За 1,5 часа вы разберете проблемы чтения и записи данных из Apache Kafka. Познакомитесь с Apache Flink и посмотрите на стенде, как можно эти проблемы решить.

Проходите вступительный тест и забивайте за собой место, а по промокоду hadoopusers  — дополнительную скидку 10% до 30.09.

Demo-занятие входит в программу онлайн-курса «Spark Developer» от OTUS. Для регистрации на вебинар:  https://otus.pw/PHAH/

Слеша вначале пути не хватает
/user/...

В том то и дело что нет такой директории, и что за второй путь в примере задания не понятно

Ну а до hdfs вообще получается достучаться?
Сделай hdfs dfs -ls /

Да

Вначале были проблемы, чинил как здесь сказано: https://stackoverflow.com/questions/42150883/call-from-quickstart-cloudera-172-17-0-2-to-quickstart-cloudera8020-failed-on-c

Окей, теперь открой директорию user

Нет директории user, есть usr

Зачем тебе usr? В условии, которое ты приложил, я вижу /user/hive/warehouse

в hdfs открой /user

Добавь слеш. Все на hdfs есть, и папка user тоже

Не понимаю

Сделай hdfs dfs -ls /user/hive/warehouse