A
если выключить и протестировать ?
Как раз тестирую этот вариант
Size: a a a
2019 December 11
A
если выключить и протестировать ?
рядом есть другое приложение, которое читает без ssl, и там таких проблем не наблюдается.
VS
Anton
рядом есть другое приложение, которое читает без ssl, и там таких проблем не наблюдается.
там советовали поставить версию jvm поновее, может в ней с ssl получше...
A
Решение оказалось в другом месте. В проекте были несколько OutputChannel, к которым кафка не могла подключиться, и с 30 секундным ретраем она пыталась туда подключиться, и каждый раз сохраняла что-то в памяти. После того как убрали все OutputChannel утечки, вроде, прекратились.
N
А у вас для ssl пароли лежат в конфиге явно ?
A
Nikolay
А у вас для ssl пароли лежат в конфиге явно ?
да
VG
Что мешает разобраться самому?
E
Всем привет! Мне дали тестовое где нужно получить через spark streaming количество трафика с Kafka. Это задание для стажировки, я без опыта, а с данными технологиями вообще не знаком. Плиз помогите пожалуйста разобраться за вознаграждение🙏 Это мой шанс стать джуном.
пытаешься начать карьеру с обмана работодателя - отличное начало
AP
За меня не нужно решать, мне нужно разжевать. У меня время ограничено, но я хочу разобраться. Пожалуйста отвечайте если интересно, без нотации.
ну так задавайте конкретные вопросы что не понятно и где не работает, приведите код, который не работает итд итп
IR
Всем привет! Мне дали тестовое где нужно получить через spark streaming количество трафика с Kafka. Это задание для стажировки, я без опыта, а с данными технологиями вообще не знаком. Плиз помогите пожалуйста разобраться за вознаграждение🙏 Это мой шанс стать джуном.
1-2 дня хватит чтобы разобраться
IR
хотя для джуна сложновато
VS
Всем привет! Мне дали тестовое где нужно получить через spark streaming количество трафика с Kafka. Это задание для стажировки, я без опыта, а с данными технологиями вообще не знаком. Плиз помогите пожалуйста разобраться за вознаграждение🙏 Это мой шанс стать джуном.
с этого начни https://habr.com/ru/post/451160/
Ю
За меня не нужно решать, мне нужно разжевать. У меня время ограничено, но я хочу разобраться. Пожалуйста отвечайте если интересно, без нотации.
Мне нужно, связать kafka, spark на java. Какие классы мне нужно использовать. Я читал про RDD, у меня есть мысль, принимать их и брать вес этих пакетов, правильно ли это будет? Спасибо
Ю
с этого начни https://habr.com/ru/post/451160/
Спасибо
VS
spark на java, если только для стажировки... ..... на хабре пример на питоне, но по второй ссылке есть примеры на скале, джаве и питоне
@
че там щас для cli и кафка самое самое?