Orhideous
Хотя, между нами, с ним больше мороки, чем толку.

а он точно для хранения?

Orhideous
Нет, он только для вычислений. Выгребать и трансформировать данные. А уже они могут хоть в постгре, хоть в монге, хоть в варпе храниться.

Orhideous
> «У нас было 2 инстанса PostgreSQL, 10 Тб неструктурированных данных, 5 Spark-нод, полкластера DataNodes и целое множество ETL-фреймворков всех сортов и расцветок, HDFS, а также Zookeeper, ClickHouse, Airflow, Oozie, Hue, Hadoop и 2 дюжины репозиториев с SQL-кодом. Не то чтобы это был необходимый запас для работы с большими данными, но если начал выстраивать архитектуру ETL-процессов, становится трудно остановиться. Единственное, что вызывало у меня опасение — это HiveServer 1.2.1. Ничто в мире не бывает более беспомощным, безответственным и порочным, чем несовмесимые версии Hive Metastore и Triftserver. Я знал, что рано или поздно мы перейдем и на эту дрянь.»
> - Страх и ненависть в бигдате

Хоть

Хоть в постгре

Minoru
@fvnever: возможно, я не так прочитал, но мне показалось, что это протокол для последней мили, между пользователем и его провайдерским DNS. А то, что ты говоришь, и правда имело бы смысл между рекурсивными резолверами и авторитетными серверами

И делать фулл-скан сутки

Ох уж эти современные программисты

Которые пишут интерфейс над интерфейсом интерфейсов

Orhideous
Зачем фуллскан, ты чего.

Ааа

Точно

У меня же задача неправильная!

Ну да

Orhideous
Перефразирую: а сколько ж у тебя данных?

Пара терабайт

и абстрагируются от абстракций над абстракциями и возводят фасадики на фасадиками фасадиков

пидоры

Orhideous
Тогда, наверное, и спарк не особо нужен, да.