В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Python для анализа данных

2024 membersпожаловаться на группу
2021 February 10

AD

Artemiy Dubovoy in Python для анализа данных
Tishka17
Вообще не понимаю. Я воспринимал это всё как способы собрать пайплайны. А оно вон как
Хз, всё равно без шедулера как будто теряется смысл. Написать пачку операторов и без дополнительных инструментов можно как будто, и крутить их каким-нибудь своим планировщиком с легковесным гуём на werkzeug
источник
13:56пожаловаться#1

AD

Artemiy Dubovoy in Python для анализа данных
Крутить сами пайплайны. Ну или тем же Celery. Airflow кажется крутым тем, что он — all in one решение
источник
13:57пожаловаться#2

SP

Sergey Postanogov in Python для анализа данных
Смотрите какой апдейт у Dagster подкатил: https://dagster.io/blog/dagster-0-10-0-the-edge-of-glory

- Exactly-once, Fault-Tolerant Scheduling (прям в Airflow 2.0)
- Sensors (event-based schedules)
- Mature Kubernetes Execution Engine

Здоровая конкуренция среди workflow менеджеров прям радует 💪
dagster.io
Dagster 0.10.0: The Edge of Glory | Dagster Blog
In 0.10.0, we introduce unique event-based scheduling capabilities, hardened deployments on Kubernetes, and new primitives for persistence.
источник
18:36пожаловаться#3

SP

Sergey Postanogov in Python для анализа данных
Посмотрите dagster.  Есть интеграция с airflow, есть движок celery, работает из windows 10
источник
18:37пожаловаться#4

SP

Sergey Postanogov in Python для анализа данных
Можно делать параметрические Даги. Но документация сыровата.
источник
18:38пожаловаться#5

I

Igor in Python для анализа данных
Sergey Postanogov
Можно делать параметрические Даги. Но документация сыровата.
Что значит параметрические! даги в данном контексте?)
источник
18:53пожаловаться#6

AD

Artemiy Dubovoy in Python для анализа данных
Sergey Postanogov
Посмотрите dagster.  Есть интеграция с airflow, есть движок celery, работает из windows 10
Выглядит прикольно. Вы юзали уже?
источник
18:56пожаловаться#7

SP

Sergey Postanogov in Python для анализа данных
ETL with Dagster | Dagster
https://docs.dagster.io/0.7.16/docs/tutorial/basics
docs.dagster.io
ETL with Dagster | Dagster
Dagster is a system for building modern data applications.
источник
18:58пожаловаться#8

SP

Sergey Postanogov in Python для анализа данных
Parametrizing Solids with Config¶
источник
18:58пожаловаться#9

SP

Sergey Postanogov in Python для анализа данных
Пока руки не дошли. Airflow с винды не работает без докера. Prefect требует докер для web ui. Поэтому остановился на dagster.
источник
18:59пожаловаться#10

I

Igor in Python для анализа данных
Sergey Postanogov
Parametrizing Solids with Config¶
Я такий же конфиг файл создавал для дагов airflow и параметризировал по dag id))
источник
19:16пожаловаться#11

AD

Artemiy Dubovoy in Python для анализа данных
Igor
Я такий же конфиг файл создавал для дагов airflow и параметризировал по dag id))
Так это не параметризация получается. Аналог в Airflow — контекст. Например, оттуда можно было тянуть dt для использования в коде
источник
19:30пожаловаться#12

AD

Artemiy Dubovoy in Python для анализа данных
Igor
Я такий же конфиг файл создавал для дагов airflow и параметризировал по dag id))
Ага, всё, я понял. Не на тот параграф посмотрел
источник
19:34пожаловаться#13

I

Igor in Python для анализа данных
Artemiy Dubovoy
Ага, всё, я понял. Не на тот параграф посмотрел
Блин, писал-писал, а потом удалять))))
источник
19:35пожаловаться#14

AD

Artemiy Dubovoy in Python для анализа данных
Igor
Блин, писал-писал, а потом удалять))))
Я успел увидеть)) Почему-то изначально подумал, что под параметризацией @Tishka17 подразумевал именно уровень отдельных дагранов, а не дагов
источник
19:37пожаловаться#15

VR

Vasily Rozhkov in Python для анализа данных
Егор Овчинников
Всем привет! Решите плиз задачку)
Бросаем монетку 4 раза, какова вероятность того, что хотя бы один раз нам выпадет решка?
1 - (1/2) ^4 = 15/16
источник
20:17пожаловаться#16

С

Светлячок in Python для анализа данных
Всем привет. Я пытаюсь нарисовать Gaussian kernel в 3D. Но что-то пошло не так: "ValueError: Argument Z must be 2-dimensional." Я понимаю, в чем ошибка, но не понимаю, как я могу исправить эту ошибку? Помогите, плиз
источник
22:24пожаловаться#17

С

Светлячок in Python для анализа данных
Вот формула для Gaussian kernel
источник
22:26пожаловаться#18

I

Igor in Python для анализа данных
Светлячок
Всем привет. Я пытаюсь нарисовать Gaussian kernel в 3D. Но что-то пошло не так: "ValueError: Argument Z must be 2-dimensional." Я понимаю, в чем ошибка, но не понимаю, как я могу исправить эту ошибку? Помогите, плиз
Не совсем понимаю, зачем ты вычисляешь норму матрицы? Она же возвращает просто число и Z у тебя тоже выйдет одним числом
источник
22:53пожаловаться#19

С

Светлячок in Python для анализа данных
Светлячок
Вот формула для Gaussian kernel
@ibeliuha ну по формуле же норма. Или?
источник
22:55пожаловаться#20