Size: a a a

2019 December 19

A

Alexander in Data Engineers
Господа, кто-нибудь сталкивался при работе с oozie со следующей проблемой. Есть workflow, в котором параллельно в несколько очередей  запускаются экшены. В каждой очереди больше одного экшена. Проблема в следующем, в рандомный момент времени на рандомном экшене происходит зависание launcher job на 95%, при этом сама джоба отрабатывает. Кто знает, в чем может быть причина и как это победить ?
источник
2019 December 20

S

Stanislav in Data Engineers
Stanislav
если грубо - это один поток ввода/вывода
ну и про это. на каком потоке сжатие в кафке становится проблемой для читателей? ктото достигал?
источник

AZ

Anton Zadorozhniy in Data Engineers
🔐{% ɹoƃǝʎ %}
Драсти, такой вопрос, хочу в докере на виртуалке задеплоить хадуп в учебных целях, хватит ли мне 1RAM + 4 swapfile гигов памяти?
https://github.com/big-data-europe/docker-hadoop самый lean способ что я знаю, там еще можно не поднимать history server, но все равно 1 гиг очень мало, откуда такая ужатость? Raspberry Pi сейчас имеет 4 гига, мб пришло время слегка проапгрейдиться?
источник

🔐

🔐{% ɹoƃǝʎ %} in Data Engineers
Anton Zadorozhniy
https://github.com/big-data-europe/docker-hadoop самый lean способ что я знаю, там еще можно не поднимать history server, но все равно 1 гиг очень мало, откуда такая ужатость? Raspberry Pi сейчас имеет 4 гига, мб пришло время слегка проапгрейдиться?
Базовый инстанс амазона
источник

AZ

Anton Zadorozhniy in Data Engineers
🔐{% ɹoƃǝʎ %}
Базовый инстанс амазона
возьмите тогда лучше GCP, там больше ресурсов (первый год) вам дадут забесплатно
источник

🔐

🔐{% ɹoƃǝʎ %} in Data Engineers
Я могу, конечно на 16гигов-24тб взять, но это влетит в копеечку
источник

🔐

🔐{% ɹoƃǝʎ %} in Data Engineers
Anton Zadorozhniy
возьмите тогда лучше GCP, там больше ресурсов (первый год) вам дадут забесплатно
Его прикроют кстати года через 3 если лидерство не возьмёт, а, ну и там без костылей на физ лицо в рф не зарегаться
источник

AZ

Anton Zadorozhniy in Data Engineers
🔐{% ɹoƃǝʎ %}
Я могу, конечно на 16гигов-24тб взять, но это влетит в копеечку
ну вы не держите ее год поднятой, и будет недорого
источник

🔐

🔐{% ɹoƃǝʎ %} in Data Engineers
Anton Zadorozhniy
ну вы не держите ее год поднятой, и будет недорого
Мне не год надо, но пол бакса в час все равно многовато)
источник

AZ

Anton Zadorozhniy in Data Engineers
🔐{% ɹoƃǝʎ %}
Мне не год надо, но пол бакса в час все равно многовато)
тогда безвыходная ситуация, бигдата вам пока не подходит
источник

RI

Rustam Iksanov in Data Engineers
Коллеги! Подскажите, какая-то странность. Есть стриминг джоба с чтением из кафки. Работает и вдруг завершилась с ошибкой
java.lang.ClassNotFoundException: Failed to find data source: kafka
источник

В

Вадим in Data Engineers
Rustam Iksanov
Коллеги! Подскажите, какая-то странность. Есть стриминг джоба с чтением из кафки. Работает и вдруг завершилась с ошибкой
java.lang.ClassNotFoundException: Failed to find data source: kafka
Стримит какое то время, а потом падает?
источник

В

Вадим in Data Engineers
Или падает когда начинается стриминг?
источник

🔐

🔐{% ɹoƃǝʎ %} in Data Engineers
Anton Zadorozhniy
тогда безвыходная ситуация, бигдата вам пока не подходит
Вообще нет, могу на локалке пробнуть, там у меня 8 гигов озу
источник

GP

Grigory Pomadchin in Data Engineers
Rustam Iksanov
Коллеги! Подскажите, какая-то странность. Есть стриминг джоба с чтением из кафки. Работает и вдруг завершилась с ошибкой
java.lang.ClassNotFoundException: Failed to find data source: kafka
Кафка коннектор точно в депенсях? Как не провайдед
источник

RI

Rustam Iksanov in Data Engineers
Вадим
Стримит какое то время, а потом падает?
стримит и падает, в том числе и продолжительное время. Соседние джобы работают норм. Ошибок по кафке нет.
источник

RI

Rustam Iksanov in Data Engineers
Grigory Pomadchin
Кафка коннектор точно в депенсях? Как не провайдед
тогда бы на старте падал
источник

В

Вадим in Data Engineers
Вот это магия
источник

AZ

Anton Zadorozhniy in Data Engineers
Rustam Iksanov
стримит и падает, в том числе и продолжительное время. Соседние джобы работают норм. Ошибок по кафке нет.
он падает на каких-то экзекьюторах или на всех сразу?
источник

GP

Grigory Pomadchin in Data Engineers
Rustam Iksanov
тогда бы на старте падал
Нет, если он где-то частично в кдасспасе валятся
источник