Все приветы!
Пока на территории моей исторической Родины отмечают Новый Год и едят оливье, мы тут уже пашем во всю. Поэтому не успеваю обновлять канал.
Выдалась минутка, решил порадовать парой видосиков про Кафку с конференции SpringOne Platform, которая прошла в конце декабря в СФ.

- Что нового в Spring Kafka https://www.youtube.com/watch?v=eiNrzheXH-E - всякие полезные ништяки, если вы используете Spring Framework для своих producers / consumers
- нововведения Kafka Streams и Spring Integration. Как бонус, автор запихнул все это в кубернетес https://www.youtube.com/watch?v=B618M_7RiJg

p.s. Кстати про кубернетес, сегодня пишем Разбор Полетов с гостями и про Devops и контейнеры.
Приходите https://www.facebook.com/razborPoletovPodcast/posts/1663457740377086

Давненько не писал ничего я тут.
Исправляюсь.
Серега Егоров (в миру https://github.com/bsideup) запилил официальный модуль https://github.com/testcontainers/testcontainers-java/pull/546 для TestContainers - библиотеки интеграционного тестирования с использованием Docker.
Подождем, когда этот модуль за акцептят и можно будет нормально писать тесты.
Я тут уже экспериментировал с возможностями TC.
Вот тут можно найти пример использования Docker Compose https://github.com/gAmUssA/testcontainers-java-module-confluent-platform/blob/master/src/test/java/io/confluent/testcontainers/KafkaSingleNodeComposeTest.java
Но это был скорее workaround.
С официальным модулем теперь заживем.
До скорого, постараюсь не делать таких долгих перерывов и писать чаще!

p.s. не забываем заходить к нас в чат https://t.me/proKafka

Всем привет.
Рубрика «По Вашим письмам»

Столкнулся с жутким бадхертом от подхода работы с кафкой в котором используют лишь одну очередь для хранения всех сущностей!
До этого столкновения не небольшом проекте использовалась кафка для хранения в отношении "очередь-сущность" - концептуального отличия от типичного SQL подхода(типичного ибо Event Driven только врываеться в широкие массы насколько я могу судить по своему кругу общения) только в том что данные в памяти всегда, в виде последние версии обьектов. будто очередь это таблица.
 
Но тут появился этот концепт одной очереди с аргументом - гарантировать порядок прихода сообщений(так как тз подразумевало достаточно сильную разбросанность по миру конечной системы). И я понимаю что теоретически и технически это возможно(в конце концов есть конечное время прохождения сигнала даже на физическом уровне, и в масштабах планеты это может сказаться). Но вот кейсы когда конечный пользователь будет создавать сущности в неверном порядке мне не совсем приходят на ум.

или такое

«А какие есть best practices на тему хранения сообщений разного типа в одном Kafka топике?
Например, чтобы все сообщения класть в одно место, а уже Consumer сам разберется.
Или наоборот, деть fine-grained топики - под определенный тип сообщения.

И как вы понимаете, ответ на этот вопрос - it depends (duh).
Давайте подумаем, от чего это может depends:

- Если порядок сообщений важен, сообщения должный попадать в один топик.
Важно помнить - Kafka гарантирует порядок только на уровне partition.
Для этого необходимо указывать правильный ключ (например, если важен порядок банковских транзакций ID аккаунта может использоваться в качестве ключа). Или иметь топик с 1 partition.
- Сообщения разного типа, но связанные бизнес-логикой (как в предыдущем примере, сообщения могут быть разного типа - CreditEvent, DebitEvent, etc)
- Еще такой момент - не надо бояться использовать Kafka для хранения RAW сообщений - порезать, отфильтровать и разделить их можно всегда, а объединять может оказаться не всегда просто / нужно.
Вычитывание сообщений достаточно «легкая» операция, но тут надо иметь меру - не имеет смысла сидеть и слушать сообщения, 90% из которых придется выбросить.
- еще интересный момент с Kafka Streams. API заточен на семантику «один топик - один тип сообщений, что может затруднить использование этого фреймворка в ситуации, когда в топике присутствуют сообщения разного типа.

Кстати, этим вопросом так же озадачился Мартин Клеппманн и накатал добрую портянку текста.
Полную версию (eng) можно прочитать тут
https://www.confluent.io/blog/put-several-event-types-kafka-topic/

Там, кстати, так же затрагивается вопрос «A как же быть со схемами?»
Он даже запилил PR https://github.com/confluentinc/schema-registry/pull/680 для Confluent Schema Registry, который, если вы используете Avro Serializer позволяет работать с разными типа сообщений более проще.

Ребят,
Небольшая напоминалка (особенно те, кто минусует).
У нас есть чат, в котором можно раскрыть свою позицию по тому или иному посту / вопросу
https://t.me/proKafka
Приходите общаться

НА ПРАВАХ РЕКЛАМЫ

Сегодня заканчивается Early Bird цена на Kafka Summit London
https://myeventi.events/kafka18/gb/

Думаю, не стоит объяснять, какое эпичное событие это будет для мира Кафки. Мартин «как его называют в России» Фаулер будет делать пленарный доклад. Джек Крепс тоже будет лично, и наверное можно будет у него подписать книжку.
А еще будут отдельные для тренинга по разработке и администрированию Кафки.

Вот кто еще анонсирован https://kafka-summit.org/kafka-summit-london-2018/speakers/  
Ваш покорный слуга тоже должен присутствовать!

​​Чат, тут такие дела:
В марте буду с лекциями по Kafka и KSQL в России.
4го марта - конференция Jbreak в Новосибирске https://2018.jbreak.ru/talks/2id9xhu9zy6gas2w0g8miq/
6го марта - Moscow Kafka Meetup https://www.meetup.com/Moscow-Kafka-Meetup/events/247589707/
Приходите общаться!

p.s. Пишите в личку, если хотите забронировать немного моего личного времени. С Ваc плюшки, с меня байки про Кафку 😬

Когда-то в нашем чате был разговор про микросервисы на Кафке.
А я тут как раз для одного клиента материальчик подбирал.
Тогда поделюсь с Вами тут.

- Вводный пост по теме переосмысления работы с данными и проектирования сервисов https://www.confluent.io/blog/data-dichotomy-rethinking-the-way-we-treat-data-and-services/ от Ben Stopford.
(in talk form here: https://www.youtube.com/watch?v=6lONG_F76To)
- О деталях имплементации: https://www.confluent.io/blog/building-a-microservices-ecosystem-with-kafka-streams-and-ksql/
- пример из предыдущего поста на github https://github.com/confluentinc/kafka-streams-examples/tree/4.0.0-post/src/main/java/io/confluent/examples/streams/microservices
Наиболее полный доклад по этой темы от того же, Ben Stopford https://www.youtube.com/watch?v=p9wcx3aTjuo

Уважаемые участники , у меня форс мажор. Заболел 39 с лишним. Митап переносится на 2 недели. Извините меня

Митапчик в Москве сегодня отменяется. Сорян. Теперь видимся на jpoint.

Там я, кстати , буду делать 2 доклада на околокафковские темы.
Stay tuned

BREAKING: митап состоится!
Но нужно заполнить форму с данными для службы безопасности

https://goo.gl/forms/DCZPBoMIBjnulhGp1

P.s. из-за того, что новая площадка меньше, вместить не сможем всех.
Поэтому постараемся сделать трансляцию

👆👆👆
Регистрация закрыта 😫
Подтверждение высылаться не будет. Если вы успели, то можете приходить, если нет, то мы постараемся сделать трансляцию.
Скорее всего она будет в FB "Разбора Полётов"
До скорого!

👆👆👆
апдейт: подтверждения будут

Апдейт: подтверждения ушли на почту

РП: Kafka Live! @ Moscow Kafka Meetup

https://www.facebook.com/razborPoletovPodcast/videos/1727332983989561/

Всем приветы.
Выкладываю свои слайды с моих последних презентаций

«Кто там твитит про #KSQL»
Я делал этот доклад на JBreak 2018 и на Moscow Kafka meetup
https://speakerdeck.com/vikgamov/jbreak-2018-eto-kto-tam-tvitit-pro-number-jbreak

«Apache Kafka A Streaming Data Platform»
Доклад я делал на Oracle Code в NYC, DevNexus в Atlanta
https://speakerdeck.com/vikgamov/oraclecode-nyc-2018-apache-kafka-a-streaming-data-platform

«Rethinking Stream Processing with KStreams and KSQL»
Доклад я делал на конференции Oracle Code в NYC, DevNexus в Atlanta
https://speakerdeck.com/vikgamov/oraclecode-nyc-2018-rethinking-stream-processing-with-kstreams-and-ksql

Код Streaming Movie Demo https://github.com/tlberglund/streams-movie-demo
Код Confluent Platform Demo https://github.com/confluentinc/cp-demo

Небольшая полезняшка для тех, кто хочет написать свой коннектор для Kafka Connect.
У Jeremy Custenborder из Confluent есть хобби - писать коннекторы в самолетах.
Когда он летит с митинга или на митинг он пишет коннекторы. У него в github можно найти много разных поделок.
А еще, если вы давно хотели написать свой коннектор, но не знали с чего начать, он сделали Maven archetype, в котором содержится необходимый минимум кода и скриптов, в том числе и для отладки коннекторов!

https://github.com/jcustenborder/kafka-connect-archtype

Michael Noll (PM Kafka Streams) написал отличную статью (первую из серии) про Streams и Tables в Kafka Streams. Очень наглядно, с картинками и анимацией.
Очень рекомендую почитать начинающим в Kafka Streams

http://www.michael-noll.com/blog/2018/04/05/of-stream-and-tables-in-kafka-and-stream-processing-part1/

👆👆👆
Подоспел перевод этой статьи от нашего читателя.
Поддайте лойсов на хабре

https://habrahabr.ru/company/skbkontur/blog/353204/

​​Друзья, раз уж я задержался в района малой Родины, Moscow Kafka Meetup совместно с JUG.MKS https://vk.com/jugmsk решили замутить митап вопросов и ответов про Кафку.
Начнем с вводной части, но я больше жду Ваших вопросов (поэтому комменты тут будут открыты).
Приголашаются не только Джависты, будем рады всем.
В Кроке, как всегда, будет тепло, уютно и будут кормить знаменитыми пирожками.
Регистрация здесь https://jugmsk.timepad.ru/event/702799/