Если, конечно, это не pet-project/NGO/благотворительность

судя по тому что выбор не привязан к конкретному облаку - люди в самом начале пути

и мб все решится просто RDS инстансом PG пожирнее

Мы на AWS хостимся, но рассматриваем сторонние облака - есть другие факторы всё же

А так да, DWH  нас пока не было, но инстансом пожирнее не решается т.к. цель гонять там аналитику и подключать BI-тулы, в т.ч. некоторые кастомеры могут захотеть на дешборд вывести что-нибудь. Можно было бы сказать, что "всё решится рид репликой" (сорс базы действительно в RDS), но не решится, т.к. данные партиционируются функционально по приложениям, и данные одного кастомера раскиданы по 4-5 разным инстансам постгреса

BQ в означенных объёмах стоит копейки

Хочется высосать данные из всех этих сорс баз и закинуть в одно большое ведро

Попробую его и сноуфлейк, они вроде по моделям прайсинга похожи

даже если аппликуха развёрнута в авс, лить логи в bq и дёргать по ним аналитику получается дёшево

Тут просто наш аналитик, пришедший недавно из другой компании, где они использовали BQ, рассказывал, как они дали кастомеру базу, а кастомер её вывел на дашборд и дергал каждые 5 секунд, и выходило сильно дороже, чем они рассчитывали. Конкретных цифр не смог назвать, правда

я ровно такой кейс делал. в объёмах до единиц тб вообще не заметно по костам. какие-то десятки баксов в месяц

Отлично, тогда и для разработки ок, и в проде потом можно будет зарезервировать капасити, в случае чего

Спасибо 👍

Сноуфлейк тоже похож должен быть по идее, надо посмотреть

synapse еще в azure

Всем привет, переключились со spark-standalone на yarn, все работает, но ярн очень криво балансит нагрузку на одни ноды все, на другие -ничего, под контролем спарка такого не было. Датаноды загружены равномерно. YARN 3.1.1, Spark 2.4.5 . Может у кого есть идеи куда посмотреть?

в сторону data locality. ярн запускает там где данные

Еще из странностей - yarn не отображает реальное количество vcores занятых спарком, чисто по числу контейнеров. Хотя AM спарка пишет все в соответствии.
По locality вроде все норм, на 32 тачки все нормально распределено.

Запускаю pyspark и получаю ворох такого при том, что в папке со спарком в conf лежит hive-site.xml, где все эти настройки прописаны. Не могу найти способ заставить pyspark учесть этот файл при старте. Подскажите, пожалуйста, куда копнуть

У них совсем разные модели прайсинга.