Я в последнее время думаю, сколько времени у меня займёт сделать в спарке джоин по цене чтения. Естественно, фиксированный. И думаю, что если всё пойдёт хорошо, то к весне могу уложиться, чтобы другие задачи не пострадали.
Весьма возможно, что датабрикс преуспел в этом гораздо раньше