VS
Я могу ошибаться, но вроде hbase не обязателен. Мне кажется, мы его в постгрес завернули 🤔
Size: a a a
2021 October 17
VS
Но в целом, да, зависимости геморройные
A
ну он там через какую-то графовую прослойку работает (Gremlin и что-то подобное), возможно как-то и можно было в постгрес запихнуть. но для функционала каталога - как много геммороя. Удобно, когда у тебя уже HDFS есть с этим вот всем - тогда нет особого смысла на начальном эпате использовать более функциональные каталоги.
М
Господа и дамы, можете покритиковать сборку?
На что сместить акценты, с цего их убрать?
+ я ещё не придумал, что в него по памяти втыкать лучше, и каким количеством ватт питать, так что если что подскажите - буду благодарен.
Цель: домашняя машина для компьютерного зрения;
Бюджет: 160к руб;
gpu: https://www.e-katalog.ru/GIGABYTE-GEFORCE-RTX-3060-EAGLE-OC-LHR-12G.htm ( 74.960 руб)
cpu: https://www.e-katalog.ru/AMD-RYZEN-5-MATISSE.htm ( 17.190 руб )
ram: https://www.e-katalog.ru/CRUCIAL-BL2K16G32C16U4B.htm ( 12.329 руб )
mb: https://www.e-katalog.ru/ASROCK-B450M-PRO4-F.htm ( 5.301 руб )
box: https://www.e-katalog.ru/ZALMAN-I3.htm ( 3.880 руб )
На что сместить акценты, с цего их убрать?
+ я ещё не придумал, что в него по памяти втыкать лучше, и каким количеством ватт питать, так что если что подскажите - буду благодарен.
Цель: домашняя машина для компьютерного зрения;
Бюджет: 160к руб;
gpu: https://www.e-katalog.ru/GIGABYTE-GEFORCE-RTX-3060-EAGLE-OC-LHR-12G.htm ( 74.960 руб)
cpu: https://www.e-katalog.ru/AMD-RYZEN-5-MATISSE.htm ( 17.190 руб )
ram: https://www.e-katalog.ru/CRUCIAL-BL2K16G32C16U4B.htm ( 12.329 руб )
mb: https://www.e-katalog.ru/ASROCK-B450M-PRO4-F.htm ( 5.301 руб )
box: https://www.e-katalog.ru/ZALMAN-I3.htm ( 3.880 руб )
h
Ребята
Глупый вопрос, но спрошу
Скалу с чего начинать учить?
Есть базовое понимание джавы, с питоном получше намного
Возможно курсы, книги?
Спасиб заранее
Глупый вопрос, но спрошу
Скалу с чего начинать учить?
Есть базовое понимание джавы, с питоном получше намного
Возможно курсы, книги?
Спасиб заранее
h
Одерски на курсере норм?
Курсы на RockTheJVM?
Курсы на RockTheJVM?
R
Такие вопросы лучше задавать сюда: https://t.me/scala_learn
Там вам всё подскажут.
Там вам всё подскажут.
h
Спс
2021 October 18
DZ
DZ
А что не тянет то? UI не открывается? DagBag не строится?
DZ
И как верно заметили, в общем Даг должен уметь обработать что-то за один период. Если его нужно запустить/перезапустить за какие-то периоды то нужен бекфил/кетчап
DZ
Использовать сабдаги например
DZ
Взять calcite и сделать самому linage
I
Допустим у меня около 5к таблиц. На заполнениe каждой таблицы есть отдельный py скрипт. Каждый скрипт я оборачиваю в Task. Как правило у каждого таска от 1 до 5 зависимостей на другие таски. Мне все сувать в один даг? А он не треснет? И как допустим отдельно перегрузить ветку из 10 тасков, если я в одном из скриптов найду ошибку, которая затронет еще 9 скриптов по зависимостям?
DZ
Не понимаю проблемы.
DZ
Есть несколько способов завязаться на результаты работы других тасок:
1. Через один большой Даг
2. Через сенсор на появление данных
3. Через таск сенсор (самый плохой вариант)
1. Через один большой Даг
2. Через сенсор на появление данных
3. Через таск сенсор (самый плохой вариант)
DZ
Что такое треснет?
Вообще не треснет
Вообще не треснет
DZ
Перегрузить ветку легко. Но даг запускается за какой период.
Если у вас ошибка, то вам нужно перезапустить эти ветки за все даты.
И вот здесь скорее всего тривиально не будет
Если у вас ошибка, то вам нужно перезапустить эти ветки за все даты.
И вот здесь скорее всего тривиально не будет
NN
А почему через таск сенсор хуже всего?