а легаси код в моём случае писали какие-то чуваки, которые об этом не думали

Боги спарка помогите советом, пожалуйста. Надо из Кафки прочитать сообщение в protobuf и записать его в hive как string(в читаемом формате) с помощью спарка (batch queries), ну и потом его преобразовать, но это уже мелочи. Думал установить опцию для value.deserializer с нужным классом, но в доках по спарку указано что так нельзя. Пока сломался и не знаю куда копать, может кто сталкивался с подобным и может подсказать. Буду очень благодарен

Мы в таком случае писали udf, который разыорачивал сообщение в нужный формат

Читай бинари и касти к кейс классу, scalapb в помощь

Ребят, там озон вышел 5 сентября, кто уже заюзал?

А чем вы приземляете стандартно потоки из кафки в хдфс?

Спасибо, гляну в эту сторону. UDF-кой парсить из протобава смутно представляю как

Так первый раз с задачей чтения из кафки сталкиваюсь

короче явно указал dmy при приведении типа на уровне pandas.DataFrame

        df['date'] = pd.to_datetime(df['date'], format='%d.%m.%Y')

 и стало по кайфу. спасибо за инфу

тогда нужно будет небольшую архитектурную задачку решить (или попросить архитектора), выбрать решение из спектра от простой программы которая берет топик и кладет в HDFS до больших фреймворков интеграции вроде kafka connect, nifi.. зависит от того как много данных, как много таких джобов надо запускать, какие у вас дистрибутивы и эксплуатационные возможности и так дальше..

самый простой вариант - действительно написать свою программу которая читает сообщения и пишет их партиционированный датасет на HDFS, а дальше парсить хайвами или спарками

но если у вас Confluent Platform 5.5+ то там PB на уровне регистра схем поддерживается, можно переложить kafka connect

Сап чат. Вопрос - кто каким пакетным менеджером для питона пользуется? Я был уверен что conda + pip де-факто стандарт, но вижу что ещё популярен poetry. Кто-нибудь пользуется им в проектах? Чем он лучше/хуже conda+pip?

А зачем конду и пип вместе?

Venv в базе третьего питона

Конду давно не видел

Венв?

хз, по старой памяти pip-команды лучше помню, а энвайроменты проще через conda плодить

это аргумент в пользу poetry, как я понимаю?

Pip в смысле, venv просто для окружений