Нужен совет, как вы организуете metadata management, каким софтом пользуютись и почему. Мы используем notion.so но уже его переросли, заранее спасибо.

я могу

что такое?

как это нет? а плотливский ДЭШ?

я уже сам разобрался, спасибо

хотя  сам много пилил именно на шайни

интересно что они щас говорят?

Лучше ужасный конец чем ужас без конца

согласен)

я могу много за R сказать по скорости расчетов пайтону не уступает

Тогда вот ещё рмаркдаун, что в питоне является аналогом?

в юпитере же тожно можно херачить

обычный jupyter

маркдаун это не Р технология

только надо все писать векторном формате, любой ручной мап, хана

не совсем понимаю о чем вы?
что конкретно у вас медленно работает?

он по умлочанию все векторизирует

Таки в среду написал такой партишенер, работает

пришлось сделать классы на основе:
org.apache.spark.sql.catalyst.plans.logical.RepartitionByExpression //логический план
org.apache.spark.sql.catalyst.plans.physical.HashPartitioning //физический план
org.apache.spark.sql.execution.SparkStrategy //для инъекции SparkSessionExtensions
org.apache.spark.sql.execution.exchange.ShuffleExchangeExec //выполнение
и еще один impicit class, чтобы вызывать метод, а не оборачивать в функцию
На тестах работает хорошо, проверю на данных

Смотрел ресурс https://www.waitingforcode.com/apache-spark-sql
Там много статей про расширение Spark, но подача не так чтобы очень доходчивая

есть отличные либы dplyr, data.table последняя вообще фигачит как глухонимая потому что по умолчанию использует несколько ядер

Только вот юпитер это json который в гите выглядит страшно (рмаркдаун это текстовый файл), в нем многоязычность через одно место делается, для показа нужен сервер