так был устроен Camus (и некоторые закрытые разработки которые вдохновились этим дизайном)

но это не совместимо со Spark или Flink джобом

а, ну и Gobblin видимо эта логика также перехала

Спс, попробую так тоже

да, логика взята из гоблина
работает достаточно надежно

а какая логика в самом спарке?
по внешнему виду именно такая, потому что ацкие тормоза, нормальные топики не вычитать

писать партиционно, компактить партицию на следущий день

как вариант писать в хбейз

и потом забирать оттуда, если нужны онлайн данные для запросов

аналитику можно прям в онлайне делать по данным

раз в сутки забирать данные и переносить в табличку  в уложеном виде

Блин, попробовал сделать батчем: val df = spark.read .format("kafka") .option("kafka.bootstrap.servers", kafka_servers) .option("subscribe", kafka_topic) .option("startingOffsets", "{\"" + kafka_topic + "\":{\"0\":13304142,\"1\":-2}}") .option("endingOffsets", "{\"" + kafka_topic + "\":{\"0\":13304143,\"1\":-1}}") .load()  получаю ошибку  java.lang.AssertionError: assertion failed: If startingOffsets contains specific offsets, you must specify all TopicPartitions  вроде же все верно написано?  гугл говорит, что бага , но версия jar org.apache.spark_spark-sql-kafka-0-10_2.11-2.3.0.jar , новее для spark 2.3 ничего не нашел..

Переносы строк съелись..

тут можно код в кавычки брать; типа мд разметки работает в телеге (убери слеши)
\```
<code here>
\```

ctrl-shift-M

а на маке какие хоткеи?

что нибудь в духе command+alt+shift+fn+F11

Партиций сколько в топике?

Баян но все же