Был скала дсл кстати

На 3, но в целом ок

мде

два дня потратил чтобы заставить пои корректно сохранять в хмл. у них там flush в паре мест тупо забыт, из-за этого сохраняет битый зип

ну вот как так можно, вообще непонятно

самое смешное, что вызвать из публичного апи этот самый flush нельзя. приходится сохранять копию документа во временный файл (который получается битым), и потом его удалять. и тогда "настоящий" открытый документ сохраняется нормально. а, ну ещё формулы съезжают при вставке строк, но это по ходу давно известный баг, который никто не фиксит

некоторые широко известные опенсорсные либы откровенно вымораживают своим качеством

Это ж опенсорс: каждый может внести свой вклад поправил и написав тесты ;)

время деньги. если проект не спонсирует какой-нить ибм, то это такой вот себе опенсорс :(

Ну так и контрибьють, и будет опенсорс лучше

Коллеги, есть ли в спарке в dataset api аналог cogroup который позволяет дальше работать с датасетами, а не итераторами?

уж больно большие итераторы получаются

Яннп

Все методы у KeyGroupedDataset так или иначе работают с итераторами внутри этих групп, мне бы хотелось как-то вместо итераторов продолжить работать с датасетами чтобы лучше параллелилось

Если вы про KeyValueGroupedDataset то напрямую с ним не надо работать. В доке ж даже написано

Может тогда стоит другой ключ выбрать?

Там по логике не подходит, буду думать

Коллеги, можете, пожалуйста, помочь с AirFlow разобраться?

Не работает вкладка дагов

Настройки:

postgres=# create database airflow_metadata;
CREATE DATABASE
postgres=# CREATE USER airflow WITH password 'airflow';
CREATE ROLE
postgres=# grant all privileges on database airflow_metadata to airflow;
GRANT

$ grep sql_alchemy_conn /home/ubuntu/git/airflow/airflow.cfg
sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost/airflow_metadata

$ grep load_examples /home/ubuntu/git/airflow/airflow.cfg
load_examples = False

Так а scheduler то точно запущен?