Size: a a a

2019 December 07

A

Alex in Data Engineers
Под драйвер
источник

R

Roman in Data Engineers
Mi
В ярн юае ещё есть количество vcores, которое почему-то всегда втой ситуации равно количеству контейнеров
+
источник

R

Roman in Data Engineers
В ресурс менеджере же прям пишется скоько контейнеров и сколкьо ядер выделено на таск.
источник

R

Roman in Data Engineers
Alex
Поэтому вы там видите 1
Либо я вас не понимаюл
источник

R

Roman in Data Engineers
(
источник

A

Alex in Data Engineers
На главной со списком приложений пишется количество памяти и vcpu

Когда клацае на него то попадаете на страничку и там список атемптов, обычно он первый (если драйвер не рестартли)

Вот когда по нему нажмёте там точно не помню но уже перейдёте туда где сами контейнеры будут показаны
источник

M

Mi in Data Engineers
Скорее всего вы не поняли о чем мы
источник

M

Mi in Data Engineers
Про атемпты тут вообще речи не шло
источник

d

ddre_z in Data Engineers
привет, хм, может, кто знает как схлопнуть строчку с тремя джейсонами в один? Изначально там были три колонки с одной и той же структурой джейсона. Я схлопнул ее в одну, но теперь это struct с тремя джейсонами. Код пригалаю - https://pastebin.com/ygZFKmAS
источник

ME

Max Efremov in Data Engineers
Сделать map, считать json и преобразовать как надо?
источник

d

ddre_z in Data Engineers
df.rdd.map(row=> {    }) ?
источник

d

ddre_z in Data Engineers
пока в голову не идет что писать в скобках
источник

t

tenKe in Data Engineers
ddre_z
привет, хм, может, кто знает как схлопнуть строчку с тремя джейсонами в один? Изначально там были три колонки с одной и той же структурой джейсона. Я схлопнул ее в одну, но теперь это struct с тремя джейсонами. Код пригалаю - https://pastebin.com/ygZFKmAS
строчка с 3 жсонами это как?)
источник

t

tenKe in Data Engineers
приведи пример
источник

ME

Max Efremov in Data Engineers
ddre_z
df.rdd.map(row=> {    }) ?
Распарсить json, потом конвертнуть в нужный формат
источник

d

ddre_z in Data Engineers
tenKe
приведи пример
источник

d

ddre_z in Data Engineers
надо задать на английском стековерфлоу, но в данный момент не могу т.к. кончился лимит -_-
источник

t

tenKe in Data Engineers
ключи известны?
источник

d

ddre_z in Data Engineers
tenKe
ключи известны?
после прочтения tsv один и тот же формат в трех колонках, так что известны
источник

d

ddre_z in Data Engineers
единственное, могут быть пустые джейсоны
источник