Откатился на X Windows в итоге, не работает нормально, IntelliJ ещё пилить и пилить, а также читать про local-first software до просветления

Не пойму, это ещё мошенничество, или это уже можно считать бигдатой🤔

Ой, да какая там биг, набор мелких справочников)

Но уровень явно растёт😆

Всем добрый день! Никто не сталкивался никогда с ошибкой подобного вида

org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 1 to reach 3 (unavailableStorages=[DISK, ARCHIVE],)

никак не могу понять в чем проблема,все датаноды корректно работают и никаких проблем нет,место на диске есть,директория хранения данных на hdfs сконфигурирована верно

storage типа ARCHIVE точно есть? rack у нод нормально проставлен?

эти параметры даже не трогались

по умолчанию сконфижено на TYPE DISK

Народ, кто работает с DBT, подскажите как управлять трансформациями (моделями)? Сколько читал, смотрел, не нашел ответа. Вроде как в cloud версии есть конфигурирование и установка расписания. Но я хотел бы во первых CLI версию развернуть. А во вторых оркестировать  трансформации (модели) DBT тем же ELT инструментом, которым доставляю данные до S3->redshift. А также запускать модели DBT по конкретному событию скажем из BI или web UI. Можно это сделать без прямой интеграции ELT инструмента с DBT, например построением визуальной цепочки в ELT с вызовом bash скриптов по запуску трансформаций DBT ?  Ну или подскажите best practice по управлению трансформациями в DBT CLI?

Вам нужен Airflow https://docs.getdbt.com/docs/running-a-dbt-project/running-dbt-in-production

@ruairflow заглядывай к нам @Krestoform

Если вы желаете запускать DBT модели через клауд и airflow то можете обвязку вокруг DBT cloud api сделать - на гитхабе есть примеры. Ну или тоже через Airflow но у себя. Мы решили что удобнее все модели положить в докер образ и запускать в контейнере через airflow.

Уважаемые инженеры, увидел картинку по инструментам работы с данными с позиции стартапа, могли бы сказать, дельная или нет?

Симпатичная, хотя и не полная, картинка о современных инфраструктурах данных от Indicative, стартапа по продуктовой аналитике. К ней же публикация у них на сайте [1]

Конечно, надо делать оговорку на то что они рисуют инфраструктуру только по тому рынку в котором существуют, а это рынок облачных решений в работе с данными. С другой стороны, корпоративный рынок данных за пределами России и вокруг корпораций/стартапов примерно такой. Во всяком случае в какой-то его части.  Это полезно помнить в поиске собственной ниши в этих экосистемах.

Ссылки:
[1] https://www.indicative.com/data-warehouse/modern-data-infrastructure/

#data #clouddatamarket

S3 например, почему это "data lake"?

интересные у вас стартапы, я например больше половины названий вижу впервые.

А почему нет? Файлопомойка, на которую можно натравить разные компьюты.

Я сам наверное названий 5 с уверенностью могу сказать что это, остальное 😳. Но я не дата-инженер )