AK
в этой книге нет ничего про: Monix, ZIO, Cats.Effect, зато есть JavaRX и реакторы. И параллельные коллекции, за которые ещё и шеймят
Вот скоко не пытался понять, почему шеймят, так и не узнал.
Size: a a a
2021 March 29
ИК
Вот скоко не пытался понять, почему шеймят, так и не узнал.
Низя их, депрекейтед оказывается в какой-то версии 😕
AS
А вот первые главы про основы считаю очень хорошо
ну так и в том коде что ты выложил этого нет :)
для понимания кода который был приведне выше как раз подойдет, конкретные библиотеки лучше конечно изучать отдельно
для понимания кода который был приведне выше как раз подойдет, конкретные библиотеки лучше конечно изучать отдельно
EK
Вот скоко не пытался понять, почему шеймят, так и не узнал.
Как минимум - в них жестко зашит параллелизм по числу процессоров. Вроде это можно было поменять, но это неочевидно.
В общем, недостаточно интуитивная вещь, чтобы быть в стандартной библиотеке
В общем, недостаточно интуитивная вещь, чтобы быть в стандартной библиотеке
ИК
ну так и в том коде что ты выложил этого нет :)
для понимания кода который был приведне выше как раз подойдет, конкретные библиотеки лучше конечно изучать отдельно
для понимания кода который был приведне выше как раз подойдет, конкретные библиотеки лучше конечно изучать отдельно
Так и есть, не рискнул воспользоваться модными фреймворками. Акка-стримы позволяют написать всё в одну строку, но у меня джарники от них пухнут.
Хотя, это сейчас не причина, биг дате - толстый джар!!!
Хотя, это сейчас не причина, биг дате - толстый джар!!!
MY
мое мнение - лучше на ODI переехать, все остальное будет сильно больнее, ODI архитектурно очень приятный тул
Спасибо, учту. Там и мастер миграции обещают. Может хоть простые маппинги переедут без сюрпризов.
AZ
Спасибо, учту. Там и мастер миграции обещают. Может хоть простые маппинги переедут без сюрпризов.
Как вариант чтобы стать очень модными - можно рассмотреть связку dbt + airflow; будет очень интересно, но долго и больно
P
Как вариант чтобы стать очень модными - можно рассмотреть связку dbt + airflow; будет очень интересно, но долго и больно
Что такое dbt?
AZ
AZ
я уже слышал формулировку "dag stack" - dbt, airflow, great expectations
NN
я уже слышал формулировку "dag stack" - dbt, airflow, great expectations
А если в двух словах - что в нем хорошего?
ЕР
Порекомендуйте, пожалуйста, блоги и полезные информационные ресурсы по big data.
AZ
А если в двух словах - что в нем хорошего?
Он есть и у него открытая лицензия :) дальше уже смотря с чем сравнивать
NN
Он есть и у него открытая лицензия :) дальше уже смотря с чем сравнивать
Ясно)
R
А если в двух словах - что в нем хорошего?
плюсану за dbt - оч нравится, great expectations неплохие, но для scala проектов deequ поприятнее имхо
NN
плюсану за dbt - оч нравится, great expectations неплохие, но для scala проектов deequ поприятнее имхо
А почему с deequ идёт сравнение, это ж вроде как библиотека для тестирования спарк джобов?
R
я имел в виду deequ и great expectations. Оба - DQ фреймворки (хотя почему-то deequ называет себя "unit test for data").
NN
я имел в виду deequ и great expectations. Оба - DQ фреймворки (хотя почему-то deequ называет себя "unit test for data").
А, понял
NN
плюсану за dbt - оч нравится, great expectations неплохие, но для scala проектов deequ поприятнее имхо
А dbt чем нравится? Для чего он нужен, что заменяет?)
AZ
А dbt чем нравится? Для чего он нужен, что заменяет?)
ELT инструмент, для описания трансформаций на SQL, с параметрами и прочим