Size: a a a

2019 December 31

K

KrivdaTheTriewe in Data Engineers
источник

A

Alex in Data Engineers
У кого-то уже :) даёшь 4й хадуп в этом году
источник

TT

Tsh Tsh in Data Engineers
Облака сожрали хадуп
источник

A

Alex in Data Engineers
А в облаках только у гугла вариант не хадупа есть :)
источник

A

Alex in Data Engineers
Emr тот же хадуп
источник

M

Mi in Data Engineers
С наступающим инженеры
источник

K

KrivdaTheTriewe in Data Engineers
У меня наступил )
источник

AB

Alexander Batyrshin in Data Engineers
У меня как два часа наступил 🍸
источник

K

KrivdaTheTriewe in Data Engineers
У мен почти три
источник
2020 January 06

A4

Anon 43 in Data Engineers
может ли в этом случае  обращение к глобальной переменной тормозить процесс?
источник

A4

Anon 43 in Data Engineers
уж очень долго map выполняется
источник

N

Nikolay in Data Engineers
Anon 43
может ли в этом случае  обращение к глобальной переменной тормозить процесс?
Нет. Это было бы чудо. У вас просто переменная примитивного типа
источник

N

Nikolay in Data Engineers
Anon 43
уж очень долго map выполняется
А вы можете подключится через visualvm и посмотреть что именно тормозит . Или можно через jstack сделать что-то типа семплируюшего профилировка
источник

DM

Daniel Matveev in Data Engineers
Anon 43
может ли в этом случае  обращение к глобальной переменной тормозить процесс?
фиг знает, что за контекст, но по названиям у вас что-то создается и куда то пишется на каждый чих
источник

A4

Anon 43 in Data Engineers
Nikolay
Нет. Это было бы чудо. У вас просто переменная примитивного типа
примитивного типа? IntWritable было бы быстрее?
источник

N

Nikolay in Data Engineers
Anon 43
примитивного типа? IntWritable было бы быстрее?
Не. Лучше зайти с выяснения что другое тормозит. Это не счётчик .
источник

A

Alex in Data Engineers
О какой глобальной вы говорите?
источник

A4

Anon 43 in Data Engineers
int counter. Красным выделено
источник

A

Alex in Data Engineers
Локальная переменная объекта, в каждом мэпере на каждом воркере своя
источник

AE

Alexey Evdokimov in Data Engineers
говнокод какой-то, простите уж.
источник