Телеграмм чат группы hadoopusers страница 2657

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1918 membersпожаловаться на группу

2020 August 24

AS

Andrey Smirnov in Data Engineers

Запускаю elastic search sink connector для kafka, указал оба .properties, с шела не стартует скрипт: java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableSet
коннектор скачал с https://www.confluent.io/hub/confluentinc/kafka-connect-elasticsearch напрямую. гугл подсказал добавить гуаву к проекту: https://stackoverflow.com/a/18699682/5151861
добавил с dependencies, ошибка не исчезла и потом осознал, что раню с шела, а не мавеном, поэтому чуда и не случается.
Возможно, была у кого такая проблема и знает как ее решать?

www.confluent.io

Kafka Connect Elasticsearch

Confluent, founded by the creators of Apache Kafka, delivers a complete execution of Kafka for the Enterprise, to help you run your business in real time.

так ты потом fat jar собрал (или в classpath подложил jar c guava)?

источник

11:36пожаловаться #1

OA

Oleksandr Averchenko in Data Engineers

https://github.com/oracle/coherence
https://coherence.community/
Глядите чего Оракл заоупенсорсил.

oracle/coherence

Oracle Coherence Community Edition. Contribute to oracle/coherence development by creating an account on GitHub.

источник

14:01пожаловаться #2

E

El-Yaz in Data Engineers

так ты потом fat jar собрал (или в classpath подложил jar c guava)?

сперва добавил guava в lib самого модуля, потом переместил guava в lib самого коннектора, но тоже не взлетело.
запускаю connect-standalone.sh connect-standalone.properties es.properties
в джарник не собираю. а в какой classpath подкладывать, если я стартую с connect-standalone.sh?

источник

15:46пожаловаться #3

AS

Andrey Smirnov in Data Engineers

сперва добавил guava в lib самого модуля, потом переместил guava в lib самого коннектора, но тоже не взлетело.
запускаю connect-standalone.sh connect-standalone.properties es.properties
в джарник не собираю. а в какой classpath подкладывать, если я стартую с connect-standalone.sh?

а что там внутри этого sh, там должно быть подобие java -jar и т.д., какие там пути

источник

15:48пожаловаться #4

E

El-Yaz in Data Engineers

так ты потом fat jar собрал (или в classpath подложил jar c guava)?

заметил, что в confluentinc-kafka-connect-elasticsearch-5.5.1/lib лежат исключительно .jar файлы, а я скачал и подложит обычную папочку, не jar.
здесь https://github.com/google/guava/releases/tag/v29.0 вообще не нашел где джар можно получить

Release 29.0 · google/guava

Maven
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>29.0-jre</version>

...

источник

15:49пожаловаться #5

AS

Andrey Smirnov in Data Engineers

https://howtodoinjava.com/java-examples/set-classpath-command-line/
https://mvnrepository.com/artifact/com.google.guava/guava/29.0-jre

Java - Set classpath from command line - HowToDoInJava

Learn to use the -classpath or -cp option in command prompt to set classpath from command prompt in Windows and Linux OS.

источник

15:50пожаловаться #6

E

El-Yaz in Data Engineers

а что там внутри этого sh, там должно быть подобие java -jar и т.д., какие там пути

https://pastebin.com/zRh46UzR
о java -jar речи нет(

connect-standalone.sh - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

15:54пожаловаться #7

AS

Andrey Smirnov in Data Engineers

https://pastebin.com/zRh46UzR
о java -jar речи нет(

connect-standalone.sh - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

мы так долго будем ходить, а рядом что никакого знающего нет?
kafka-run-class.sh

источник

15:56пожаловаться #8

E

El-Yaz in Data Engineers

мы так долго будем ходить, а рядом что никакого знающего нет?
kafka-run-class.sh

нашел что-то похожее: https://stackoverflow.com/a/62032585/5151861
осталось понять где взять guava.jar, потому что с гитхаба в релизах нет .jar https://github.com/google/guava/releases/tag/v29.0

elasticsearch connector doesn't work - java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableSet

Kafka elasticsearch connector "confluentinc-kafka-connect-elasticsearch-5.5.0" doesn't work on-prem.

"java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableSet\n\tat io.searchbox.client.

источник

16:39пожаловаться #9

АР

Андрей Романов... in Data Engineers

нашел что-то похожее: https://stackoverflow.com/a/62032585/5151861
осталось понять где взять guava.jar, потому что с гитхаба в релизах нет .jar https://github.com/google/guava/releases/tag/v29.0

elasticsearch connector doesn't work - java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableSet

Kafka elasticsearch connector "confluentinc-kafka-connect-elasticsearch-5.5.0" doesn't work on-prem.

"java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableSet\n\tat io.searchbox.client.

вы можете взять нужный вам джарник библиотеки из её maven- репозитория

https://mvnrepository.com/artifact/com.google.guava/guava/29.0-jre

источник

16:40пожаловаться #10

АР

Андрей Романов... in Data Engineers

Андрей Романов

вы можете взять нужный вам джарник библиотеки из её maven- репозитория

https://mvnrepository.com/artifact/com.google.guava/guava/29.0-jre

Files -> View All -> берёте нужный джарник

источник

16:41пожаловаться #11

AS

Andrey Smirnov in Data Engineers

нашел что-то похожее: https://stackoverflow.com/a/62032585/5151861
осталось понять где взять guava.jar, потому что с гитхаба в релизах нет .jar https://github.com/google/guava/releases/tag/v29.0

elasticsearch connector doesn't work - java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableSet

Kafka elasticsearch connector "confluentinc-kafka-connect-elasticsearch-5.5.0" doesn't work on-prem.

"java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableSet\n\tat io.searchbox.client.

я же прислал ссылку
https://mvnrepository.com/artifact/com.google.guava/guava/29.0-jre

источник

16:41пожаловаться #12

E

El-Yaz in Data Engineers

Андрей Романов

Files -> View All -> берёте нужный джарник

спасибо, вот этого не знал, что из mvn repo можно выкачивать .jar 🙂
@smirnov_captain да, я это и сам находил, но как раз момент с .jar не знал, спасибо ребят 🙂

источник

16:44пожаловаться #13

E

El-Yaz in Data Engineers

@smirnov_captain @andrey_romanov подложил .jar в kafka-connector/libs/ - полетело, теперь другая ошибка, разбираюсь. спасибо)

источник

16:46пожаловаться #14

RY

Ruslan515 Y in Data Engineers

Всем привет. меня взяли джуном на инженера. знаком с питоном и ML. Как я понял нужно вспомнить SQL, говорят что М.Грубер с его книжкой хорошо подойдет. Что еще почитать? По NoSQL какие рекомендации? Используется Касандра, по ней какие могут быть рекомендации?

источник

16:57пожаловаться #15

АЖ

Андрей Жуков... in Data Engineers

Всем привет. меня взяли джуном на инженера. знаком с питоном и ML. Как я понял нужно вспомнить SQL, говорят что М.Грубер с его книжкой хорошо подойдет. Что еще почитать? По NoSQL какие рекомендации? Используется Касандра, по ней какие могут быть рекомендации?

А шо тебе сказали твоя команда и лид?

источник

17:00пожаловаться #16

RY

Ruslan515 Y in Data Engineers

Андрей Жуков

А шо тебе сказали твоя команда и лид?

Ω, [24.08.20 19:05]
Да пока ничего. Только сегодня сообщили что я прошел. До этого говорили что используют Касандру и ElasticSearch

источник

17:06пожаловаться #17

RY

Ruslan515 Y in Data Engineers

Андрей Жуков

А шо тебе сказали твоя команда и лид?

хочу что бы сразу в работу влился и не тупил

источник

17:06пожаловаться #18

АЖ

Андрей Жуков... in Data Engineers

хочу что бы сразу в работу влился и не тупил

Так лучше, если тебе скажут фреймворки и используемые продукты. А так можно надрачивать ansi sql, а по приходу ткнут носом в spark dataset api

источник

17:08пожаловаться #19

IK

Irina Kamalova in Data Engineers

Ω, [24.08.20 19:05]
Да пока ничего. Только сегодня сообщили что я прошел. До этого говорили что используют Касандру и ElasticSearch

у Касандры есть бесплатный видео лекции о том, как она устроена
c Elastic можно просто поставить в докере и пононять запросы,чтобы быть френдли с семантикой

источник

17:09пожаловаться #20