Size: a a a

2020 May 08

NK

Nikita Konev in pro.kafka
Vladimir Chernyi
Коллеги, доброе утро. По совету группы Apache Ignite хочу обратиться к @gamussa за советом. Я работаю над прототипом, который будет использовать Ignite и Kafka. Хочется показать руководству success story о применении кафки. Чтобы познакомить с технологией. Уровень директорский, технических деталей минимум. Помогите ссылочкой, если есть
Делал для себя, игрался с транзакциями и персистентным гридгейном(гридгейн vs игнайт - это как как конфлюэнт кафка vs апач кафка), по скорости получилось примерно как монго. может я что-то не докрутил.
https://github.com/nkonev/kafkotest/tree/transactions-gridgain-get-performance

не понравилась интеграция гридгейна со спрингом, убил вечер на подбор правильных имён бинов(sic!). автоконфигурация сделана максимально костляво.
источник

НИ

Николай Ижиков... in pro.kafka
Nikita Konev
Делал для себя, игрался с транзакциями и персистентным гридгейном(гридгейн vs игнайт - это как как конфлюэнт кафка vs апач кафка), по скорости получилось примерно как монго. может я что-то не докрутил.
https://github.com/nkonev/kafkotest/tree/transactions-gridgain-get-performance

не понравилась интеграция гридгейна со спрингом, убил вечер на подбор правильных имён бинов(sic!). автоконфигурация сделана максимально костляво.
Что за автоконфигурацию использовал?
источник

НИ

Николай Ижиков... in pro.kafka
Что именно болело
источник

VG

Vik Gamov in pro.kafka
Николай Ижиков
Что именно болело
я только хотел тебя тэгнуть
источник

NK

Nikita Konev in pro.kafka
Николай Ижиков
Что за автоконфигурацию использовал?
Интеграция со спрингом https://github.com/nkonev/kafkotest/blob/transactions-gridgain-get-performance/pom.xml#L78

Болит это https://github.com/nkonev/kafkotest/blob/transactions-gridgain-get-performance/src/main/java/com/example/kafkotest/IgniteCustomConfig.java
не хочу именовать бины). Хочу автоконфигурацию, как например https://github.com/nkonev/kafkotest/blob/transactions-mongo-ksql/pom.xml#L59 - просто добавил зависимость и забыл. в 99% случаев - там всё сделано правильно.
В мире спринг бут стартер обычно в себя включает автоконфигурацию. Опять пример с монгой )) https://github.com/spring-projects/spring-boot/blob/master/spring-boot-project/spring-boot-autoconfigure/src/main/java/org/springframework/boot/autoconfigure/mongo/MongoAutoConfiguration.java

Соврал, не использовал я автоконфигурацию гридгейна. нет её https://gridgainsystems.com/nexus/content/repositories/external/org/gridgain/
источник

NK

Nikita Konev in pro.kafka
Вот это тоже никогда не пойму
IgniteRepositoryImpl

   @Override public <S extends T> Iterable<S> saveAll(Iterable<S> entities) {
       throw new UnsupportedOperationException("Use IgniteRepository.save(Map<keys,value>) method instead.");
   }

так и не смог сохранить батч без "изворотов".
у монги подобногоо не встречал
источник

НИ

Николай Ижиков... in pro.kafka
Nikita Konev
Интеграция со спрингом https://github.com/nkonev/kafkotest/blob/transactions-gridgain-get-performance/pom.xml#L78

Болит это https://github.com/nkonev/kafkotest/blob/transactions-gridgain-get-performance/src/main/java/com/example/kafkotest/IgniteCustomConfig.java
не хочу именовать бины). Хочу автоконфигурацию, как например https://github.com/nkonev/kafkotest/blob/transactions-mongo-ksql/pom.xml#L59 - просто добавил зависимость и забыл. в 99% случаев - там всё сделано правильно.
В мире спринг бут стартер обычно в себя включает автоконфигурацию. Опять пример с монгой )) https://github.com/spring-projects/spring-boot/blob/master/spring-boot-project/spring-boot-autoconfigure/src/main/java/org/springframework/boot/autoconfigure/mongo/MongoAutoConfiguration.java

Соврал, не использовал я автоконфигурацию гридгейна. нет её https://gridgainsystems.com/nexus/content/repositories/external/org/gridgain/
источник

НИ

Николай Ижиков... in pro.kafka
Я два дня назад зарелизил)
источник

NK

Nikita Konev in pro.kafka
вот оно что) спасибо
источник

NK

Nikita Konev in pro.kafka
а оно дружит с гридгейном ?
источник

НИ

Николай Ижиков... in pro.kafka
Nikita Konev
а оно дружит с гридгейном ?
Должно. По идее ты и для GG тоже делаешь IgniteConfiguration и доп. бины специфичные для GG

Вот примерчик - https://github.com/nizhikov/ignite-spring-boot-autoconfigure-example
источник

НИ

Николай Ижиков... in pro.kafka
источник

НИ

Николай Ижиков... in pro.kafka
Ссылочка на соседний тематический чатик)
источник

NK

Nikita Konev in pro.kafka
я понял)
я просто когда экспериментировал - обнаружил что нельзя клиентом игнайт ходить в гридгейн.
источник

VC

Vladimir Chernyi in pro.kafka
Ну я так и знал, без Николая не обойдется 😁
источник

НИ

Николай Ижиков... in pro.kafka
Vladimir Chernyi
Ну я так и знал, без Николая не обойдется 😁
источник

VC

Vladimir Chernyi in pro.kafka
источник

VC

Vladimir Chernyi in pro.kafka
И тебе привет
источник

A.

Alex .~• in pro.kafka
Кто кафку в докер-компоуз поднимал?
источник

A.

Alex .~• in pro.kafka
Как консьюмеры прокидывать?
источник