A
например если данные нужно по разным стейджам перегонять в пределах одного Redshift - dbt хороший кандидат для этого?
Size: a a a
2020 October 16
A
тоесть смысл dbt в том, что она берет на себя всю рутину по созданию таблиц и вьюх а инженер фокусируется только на бизнес логике трансформаций которую описывает чередой селектов?
А
подскажите, если через spark.jdbc запущена долгая выгрузка в 1 сессию, то где можно посмотреть, сколько уже скачалось? Может в hdfs tmp целевой таблицы где то файл создается?
вот если я хочу разобраться в какой то части спарка (https://github.com/apache/spark), а ответа в гугле не нахожу. Как мне сориентировать в исходниках спарка, чтобы посмотреть это там? К примеру, как тут, интересует часть, где происходит запись данных из jdbc
N
подскажите, если через spark.jdbc запущена долгая выгрузка в 1 сессию, то где можно посмотреть, сколько уже скачалось? Может в hdfs tmp целевой таблицы где то файл создается?
в хистори сервере.
А
в хистори сервере.
это в spark application ui? у меня там показывается объем и число строк, только после завершение, но не во время работы
SS
вот если я хочу разобраться в какой то части спарка (https://github.com/apache/spark), а ответа в гугле не нахожу. Как мне сориентировать в исходниках спарка, чтобы посмотреть это там? К примеру, как тут, интересует часть, где происходит запись данных из jdbc
склонировать github-репозитории себе.
открыть репозиторий в Idea.
сделать чекаут интересующей версии/тега
прошаривать код
(опционально прошаривать Scala)
открыть репозиторий в Idea.
сделать чекаут интересующей версии/тега
прошаривать код
(опционально прошаривать Scala)
ME
склонировать github-репозитории себе.
открыть репозиторий в Idea.
сделать чекаут интересующей версии/тега
прошаривать код
(опционально прошаривать Scala)
открыть репозиторий в Idea.
сделать чекаут интересующей версии/тега
прошаривать код
(опционально прошаривать Scala)
Можно прям на гитхабе даже
А
склонировать github-репозитории себе.
открыть репозиторий в Idea.
сделать чекаут интересующей версии/тега
прошаривать код
(опционально прошаривать Scala)
открыть репозиторий в Idea.
сделать чекаут интересующей версии/тега
прошаривать код
(опционально прошаривать Scala)
А как понять в который файл смотреть, если нет эксепшена с именем класса?
А
Стек трейс чтоли во время работы снимать?
SS
Можно прям на гитхабе даже
а как без Control-B быстро бегать между классами/методами?
ME
а как без Control-B быстро бегать между классами/методами?
Мышкой тыкать файлики))
SS
А как понять в который файл смотреть, если нет эксепшена с именем класса?
сделайте сами эксепшон - пишите в несуществующую таблицу, предварительно выставив
sc.setLogLevel("DEBUG")
sc.setLogLevel("DEBUG")
SS
и я очень советую прошаривать спрак через его тесты
А
и я очень советую прошаривать спрак через его тесты
Это как? Не очень понял
GP
вот если я хочу разобраться в какой то части спарка (https://github.com/apache/spark), а ответа в гугле не нахожу. Как мне сориентировать в исходниках спарка, чтобы посмотреть это там? К примеру, как тут, интересует часть, где происходит запись данных из jdbc
интуиция по ключевым словам
SS
Это как? Не очень понял
да я сам залетный тут, просто читал как "отцы" говорили по тестам изучать функциональность
А
Спасиб, в общем понял, что серебряной пули нет
GP
нету ни для какого проекта
АЖ
да и в жизни