https://databricks.com/blog/2015/04/28/project-tungsten-bringing-spark-closer-to-bare-metal.html

Из старого, там сейчас больше таких вещей в кодогенерации и тд

Вот с этим согласен

Понятно, спасибо за разъяснения. У меня тоже сразу возникло несколько вопросов, например поддержка Хадупа, хайва и т.д.

Это уже другой вопрос :) но думаю они не на ярн а на кубик целят с самого начала

Меня больше смутило java udf
Дёргать сишный код по jni медленно, но ещё более медленней это дёргать java код из нейтива

Хайв бинарные драйвера есть, так что ок

Для hdfs тоже есть апи, libhdfs и в виде когда внутри jvm, и с чисто нативной реализацией hdfs протокола

Вроде бы в арроу уже есть поддержка libhdfs

дергать не особо медленно) медленно его часто дергать а еще более медленно чето копировать

а мне казалось что даж нативная хдфс либа заставляет си процесс стартануть жвм

Та которая libhdfs стартует внутри jvm

Та которая libhdfspp нативная реализация протокола

Да, в эрооу ещё и выбирать можно кого использовать

а она еще поддерживается? вроде ее бросили лет 6 назад

даже так, спс

В основной ветке, фиксы влетают, возможно не все фичи мержат, но сказать что не поддерживается тоже нельзя

Самая жесть была в свое время когда мне надо было из c# постучаться

C# код запускал обертку на плюсах
Cpp обёртка загружала libhdfs  сишную
Libhdfs стартовала внутри jvm и загружала java код
Java код уже подключался

И самая боль что по умолчанию readline из шарпов делала getchar и проверяла на перенос строки

Причём этот 1 сивмвол сразу запрашивался до самой java части (в процессе создавая местами new byte[1])

Как раз недавно смотрел, интересовался. Ballista основана на Data Fusion, это проект Энди Гроува, движок обработки запросов, теперь часть Apache Arrow, и это, конечно хорошо. Что не очень хорошо, так то что тулза в разработке. The main focus now is getting the platform to a level of maturity where users can run real-world ETL workloads (с). Энди Гроув пытается больше задействовать сообщество для развития, но к промышленному применению тулза не готова. Не вижу поддержки джоинов, агрегатных фукнций очень мало, файловых форматов только два (csv и parquet). На будущее (несколько лет) может быть хороший вариант, сейчас можно присоединяться к сообществу, развивать проект, ресерчить
Конечно, с самого начала ориентирована на kubernetes, а не на yarn
От сериализации, по-моему, полностью не избавиться, но arrow всегда заявляют минимальный оверхед

Спасибо за развернутый ответ!

а зачем?