N
Похоже бан назрел.
Size: a a a
2020 October 13
АЖ
надо его внутри продать
нинада
UD
нинада
чому?
UD
udf на udf udf-ом погоняет
UD
AS
сказал бы мне кто три года тому, во что я ввязываюсь, подумал бы ещё, стоит ли :)
наоборот интереснее, я когда LSH спарковский ускорил в 30 раз был жутко доволен собой, всё лучше перекладывания из одного места в другой
2020 October 14
R
Всем привет, а по какой причине я могу получать пустой результат на такой запрос
SELECT *такое значение есть, проверял на парочке других значений, результат не изменился
FROM table
where part_ts = 1597835585
DZ
Explain в студию
SS
Надо больше контекста, может там каст какой хитрый получается, если колонка как строка лежит к примеру.
SO
Вот тебе и питон для бигдаты...
ME
никаких больше пайспарк стримов с кафкой?
ME
я писал на pyspark с кафкой, все ок
ME
они там так пишут конечно и поддержка python такая себе
ME
но все работает
OI
у меня в кубах pyspark в cluster mode так и не взлетел, пришлось на скалу переписывать
а стримы, да, на скале все
а стримы, да, на скале все
ME
у меня в кубах pyspark в cluster mode так и не взлетел, пришлось на скалу переписывать
а стримы, да, на скале все
а стримы, да, на скале все
а можно подробней, что именно не взлетело?
OI
а можно подробней, что именно не взлетело?
ну он тупо не видил исполняемые файлы и всякие дополнительные джисоны и py библиотеки. Хотя они лежали в tmp директории поднятого spark driver пода.
А со скалой просто указываешь джарник, в котором всё нужное есть и нормально всё резолвится.
А со скалой просто указываешь джарник, в котором всё нужное есть и нормально всё резолвится.
ME
и какой версией пользовались? 0.8 или 0.10?
OI
так это не стримы, это был обычный спарк)
ME
ну он тупо не видил исполняемые файлы и всякие дополнительные джисоны и py библиотеки. Хотя они лежали в tmp директории поднятого spark driver пода.
А со скалой просто указываешь джарник, в котором всё нужное есть и нормально всё резолвится.
А со скалой просто указываешь джарник, в котором всё нужное есть и нормально всё резолвится.
хм, я просто так же джарник указал и все норм