GP
Можно сделать что то типа пула
да не важно это) тут сама суть что на партициях слишком много у тс объектов мелких
Size: a a a
2021 January 22
AE
так, а zipPartitions это сразу шафл?
AE
щас пока что получается что индекс джойнится сначала к покрытию, потом по ней уже сами сигналы
GP
так, а zipPartitions это сразу шафл?
там есть презерв партишонинг но это слабый презерв
AE
чё будет если я сделаю разложу сигналы по таким же партичиям что и покрытие
GP
можешь даже ордер сенситив сделать
AE
эх. пойду попробую. вернусь через неделю :)
AE
вот как попадается такая задача, я на месяц в неё ныряю. даже блин во сне и то про решение думаю :/
крыша уже скоро съедет.
крыша уже скоро съедет.
GP
да мы решали - упрощением по возможнсоти фигур, и нормальным партицированием
GP
потом еще гц можешь тунить чтоб он не блочил сборку мусора
GP
но это самый последний этап
AE
ну вот на этой задаче видимо до него и доберусь. до сих пор бог миловал в такие кишки лазить
АР
вот ещё сравнение hudi и Delta, если ещё актуально:
https://medium.com/swlh/apache-hudi-vs-delta-lake-295c019fe3c5
GP
вот ещё сравнение hudi и Delta, если ещё актуально:
https://medium.com/swlh/apache-hudi-vs-delta-lake-295c019fe3c5
блин оч неудобно когда ссылки так отправляются)
GP
не кликабельные
АР
ой, чичас
АР
теперь кликабельная
AZ