ЕГ
Но ты запускаешь правда не сессию, а спарк-сабмит, возможно он запускается с дефолтным питоном
Size: a a a
2021 October 16
Е
питон в образе почему-то не видит bin, хотя копируется естественно вся папка spark целиком
A
а зачем вы питон в папку спарка пихаете?
ET
Как за 2 суток выучить спарк к собессу?)
Чтобы прям понимать то, что внутри крутится.
Из требований год спарка и кафки.
До этого к спарку только sql запросы писал и препроцессил чуть чуть данные.
Чтобы прям понимать то, что внутри крутится.
Из требований год спарка и кафки.
До этого к спарку только sql запросы писал и препроцессил чуть чуть данные.
ET
GP
мне каежтся за пару суток анрил; ток если ты повторяешь но знаешь / когда-то знал
GP
может есть конечно какие-то консолидированые материалы - яцека полистать
но я не знаю на скок это влияет на понимание внутрянок спарка
но я не знаю на скок это влияет на понимание внутрянок спарка
ЕГ
Написать сложный запрос с джойнами и оконками, посмотреть в spark ui и каждый синий квадратик загуглить
ЕГ
Посмотреть, что делается при этом на вкладке jobs
ЕГ
Там тоже каждое название загуглить
GP
ах я криво читаю ‘из требований год'
Е
не пихаю, папка python уже есть в дистрибутиве наравне с остальными
я просто чекнул что она видна, а bin почему-то не видна
я просто чекнул что она видна, а bin почему-то не видна
A
про pyspark_home не забыли?
ET
Спасибо!
Е
было выше. SPARK_HOME прописан и подхватывается верно, я сделал такой вывод из того, что спарк сессия хочет запуститься из правильного места. Но в процессе ему нужна папка bin, а она не видна в контейнере. Может надо chmod еще после, попробую позже
A
сорян, тупанул, pyspark_python
Е
а что pyspark_python?
GB
Всем привет. Подскажите плиз решение проблемы
Column type: STRING, Parquet schema:
optional int32 <column_name> [i:36 d:1 r:0]
Column type: STRING, Parquet schema:
optional int32 <column_name> [i:36 d:1 r:0]