ДН
С шедулером какие-то проблем не было.
А сколько параллельно тасок шедулер ворочает?
И какие ресурсы даёте если не секрет
И какие ресурсы даёте если не секрет
Size: a a a
2020 September 16
DZ
Скок у вас джоб в час?
Да я какт не считал даже. У нас около сотни дагов, некоторые оооочень жирные.
Возможно эти ресурсы избыточны немного, но оно всё равно на большом общем пуле запускается.
Возможно эти ресурсы избыточны немного, но оно всё равно на большом общем пуле запускается.
DZ
Ну у нас тож сотни. Шедулер обычно не жрал ничего толком.
DZ
А сколько параллельно тасок шедулер ворочает?
И какие ресурсы даёте если не секрет
И какие ресурсы даёте если не секрет
В пике думаю сотни
DZ
Ресурсы не скажу, лень лезть
ДН
Ну раз вы сказали оратору выше, что 6 ядер это много, видать у вас не больше 4
DZ
NAME CPU(cores) MEMORY(bytes)
abby-airflow-569bdd57f8-77nc9 6543m 5645Mi
abby-airflow-569bdd57f8-77nc9 6543m 5645Mi
DZ
Потребление в моменте ☝️
DZ
Надо посмотреть скок у нас в пике
DZ
NAME CPU(cores) MEMORY(bytes)
abby-airflow-569bdd57f8-77nc9 6543m 5645Mi
abby-airflow-569bdd57f8-77nc9 6543m 5645Mi
Ну ядра выше реквеста даже. А памяти явно не 64гб
ДН
Да я тут анкорную модель исследую, т.к. каждый атрибут считается сам по себе, отвожу каждый в отдельную таску (пока не хочется лепить все в одну).
Прикинул так, что у меня на 10 дагах уже под 2 сотни параллельных тасок.
А это только кусок одного источника, коих несколько десятков.
Прикинул так, что у меня на 10 дагах уже под 2 сотни параллельных тасок.
А это только кусок одного источника, коих несколько десятков.
DZ
Проще запустить и замерить, чем гадать
ДН
И если говорить о том, что тасок наверно минимум 1000 будет параллельно, а то и больше, то шедулер в кубике с 4 ядрами и 8 гигами памяти просто не рабочее решение
DZ
И если говорить о том, что тасок наверно минимум 1000 будет параллельно, а то и больше, то шедулер в кубике с 4 ядрами и 8 гигами памяти просто не рабочее решение
А считаете на чем?
ДН
Ну вот щас на 200+ тасках 4 ядра в полку.
+ Троттлинг 80%.
Конечно он сбавится, когда сами таски с локал экзекутора куда-то съедут, но предвкушая сколько их будет в итоге,такое чувство что шедулеру надо будет сильно больше
+ Троттлинг 80%.
Конечно он сбавится, когда сами таски с локал экзекутора куда-то съедут, но предвкушая сколько их будет в итоге,такое чувство что шедулеру надо будет сильно больше
DZ
Что за таски то?
У нас на аф ничего не считается, ток запускаем
У нас на аф ничего не считается, ток запускаем
ДН
Таски из разряда залезть в файл (прочитать конфиг) и собрать запрос для вертики, все elt, никакой логики в аф нет
ДН
Честной нагрузки на шедулер пока не знаю к сожалению, у меня пока все внутри 1 пода живет
ДН
А почему селери? В kubernetes executor нет необходимости?
DZ
А почему селери? В kubernetes executor нет необходимости?
Когда катили не было еще