эх ябы перевел как сторож зоопарка

сесурити

коллеги, кто-то пользуется механизмом foreachBatch в Spark Structured Streaming?
как обрабатываете атомарность множественных sink'ов?
(если первый синк внутри foreachBatch отработал, а второй упал - как подчистить результаты первого синка?)

анонс на мероприятие  :)
https://meetup.tinkoff.ru/upcoming/tinkoff-nifi-meetup-2/
Приглашаем разработчиков ETL, архитекторов и всех заинтересованных в работе с NiFi на наш второй NiFi meetup
Рассказываем чем он нас порадует:
20 августа 19:00 мск второй митап, посвященный работе с NiFi. В этот раз обсудим две темы:
Андрей Тренин из Сбербанка расскажет, как упаковать Apache NiFi для продажи внутреннему клиенту и предложит варианты эффективного использования инструмента.
Илья Ковалев  из Тинькофф поделится возможностями, которые предоставляет NiFi для расширения функциональности, и особенностям разработки этой функциональности.

а шо так рано

надо было послезавтра

‼️Самое важное в Data Engineers Group‼️

🔹 20 августа 19:00 мск второй митап, посвященный работе с NiFi.  

https://meetup.tinkoff.ru/upcoming/tinkoff-nifi-meetup-2/  

В этот раз обсудим две темы:
Андрей Тренин из Сбербанка расскажет, как упаковать Apache NiFi для продажи внутреннему клиенту и предложит варианты эффективного использования инструмента.
Илья Ковалев  из Тинькофф поделится возможностями, которые предоставляет NiFi для расширения функциональности, и особенностям разработки этой функциональности.
По вопросам пинать @true_teamlead

🔹20 августа в 20:00 (мск) приглашаем на бесплатный вебинар “Качество данных в DWH - консистентность хранилища данных”.

Запишитесь https://otus.pw/L0bta/

🔹 Spark 3 ⚡️
https://spark.apache.org/releases/spark-release-3-0-0.html

🔹 Spark Kotlin API

Привет всем!
JetBrains рады представить Spark API для Kotlin, над которым мы долгое время работали: https://github.com/JetBrains/kotlin-spark-api.

По вопросам в чате можно пинать @asm0dey

ребят, какие БД посоветуете?
Мне надо подобрать что-то для хранения горячих данных
Сейчас используем aerospike, хотим от неё отказаться, ибо поддерживать её почти некому
Главное - чтобы база была высокодоступной и масштабируемой.Ретеншн в 6 месяцев будет где-то.Паттерн использования - чтение и запись по ключу, не более

посматриваю в сторону redis

ты побольше об объемах текущих планирумеых скажи, типах запросов и тп

сейчас в текущую бд в реальном времени льются данные, порядка 10к рпс
у нас кластер из 9 нод (3 мастера + по 2 реплики)

типы запросов - вроде только выборки по ключам

агрегаций никаких не делаем, разве что full scan можем прогнать, чтобы стату какую-то подсчитать

по ключам храним протобуфы

хотелось бы, чтобы был механизм сохранения консистентности (на основе версионирования, например)

ну и возможность написания своих собственных расширений была бы хорошим дополнением
в aerospike можно использовать свои модули на lua, например

scylla

чё? ты наркоман? нафиг нафиг - забудь о его существовании