AK
ага, спасибо. Щас попробую
Size: a a a
2021 October 15
AK
блин такой милый канал, такие все душевные, что-то в DS нет такого
AA
только там телеграмм убрал back ticks ``
AK
ага
AA
а? так вы задачи не изнутри докера запускали? и так даже работало? А не должно было. в Docker NAT сеть и надо все порты пробрасывать.
H
Всем привет, подскажите пожалуйста кто работал c AWS Glue Job. Когда мы стартуем несколько задач параллельно в рамках одной джобы ресурсы делятся между этими задачами или для каждой задачи создается выделенный кластер? Не нашел в доках ответа.
A
у меня подняты два docker контейнера, postgres and cloudera, через java приложение локально через sqoop api пытаюсь мигрировать данные из постгрес в хадуп, данные из постгрес получаю, а вот при записи в хадуп возникает ошибка could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
AA
если кратко и просто: пускайте hadoop job from hadoop nodes. или настраивайте сеть и "edge node". Что в вашем случае дишнее.
AK
так сказали
«job graph-friends считает друзей
возьми его Output»
«job graph-friends считает друзей
возьми его Output»
NN
Ну, теперь осталось только найти аутпут)
AK
а job это же spark получается
N
Вообще не факт. Может тез, может мр.
ЕГ
Джобы исполняют движки
Одним из таких движков является спарк
Есть ещё мапредьюс, тез, ещё миллион
Одним из таких движков является спарк
Есть ещё мапредьюс, тез, ещё миллион
AK
вот mp точно мб
МК
у меня знакомого также учили плавать, выкинули в озере с лодки и говорят плыви)
AK
ну да
ЕГ
Если мапредьюс - то придётся немного пострадать, но в целом можно чё-нибудь разработать
AK
клаудера вот такие штуки показывает
МК
хайвом можно покверять
ЕГ
А где спарк☹️