Опять выяснения гендера начались

дата инженер это не профессия, это - половая ориентация

чтобы ответить на этот вопрос для начала нужно определиться с самим понятием data engineer

"запишите эти простые, но, в то же время, великие слова"

именно так. А ваш позорный недуг мы в подвиг определим - в дата инженеры запишем

я ждал этого клише

Народ, привет. Запускаю спарк-приложение через livy. У меня используется библиотека delta.io. Настроил так, что в ливи-контейнере скачиваются зависимости дельта. На спарк-мастере (другой контейнер) ничего не скачивается. Таким образом, при  попытке исполнения файла с использованием функций delta, идет ошибка livy.models.SparkRuntimeError: ('ModuleNotFoundError', "No module named 'delta'", ['Traceback (most recent call last):\n', "ModuleNotFoundError: No module named 'delta'\n"]). Может кто-то сталкивался с такой проблемой и обошел ее? PS Думал над опцией "--py-files", но не решаюсь ее сделать -)

всегда можете на меня рассчитывать

Можно через pyspark virtualenv раскрутить нужную либу

Так. Хорошо. Я поэкспериментирую. -)

Так это ж не во всех версиях можно - насколько я понимаю, нужен или дистрибутив hdp(версию не помню, в которой патч появился), или спарк 3.1

А в 3.1 патч разве вмёрджили? Если нет, то самому корячить придётся)

Не, я где-то на днях прочитал, что они реализовали в последних версиях, ну и я не уверен, что именно этот патч использовали.

У меня 3.0.1 спарк, лайви 0.8.0, хадуп 3.2

Всем привет!
Есть задача скрапить/вытягивать через api, делать препроцессинг и складывать в базу текстовую информацию(новости).
Какой стек технологий сможете посоветовать ?
Это streaming processing.
Спасибо 🙏🏻

А почему streaming processing? Я ровно такое делал на PHP + Mysql 10 лет назад, по cron запускал каждые N минут скрипт :)

Потрясающе

Привет. Как Тимур написал, мне кажется streaming это too much здесь. Я год назад делал на scrapy + хранил все в сиквел сервере