Size: a a a

2020 May 06

E

Eugene in PiterPy Meetup
Sasha Brud
нойс, нойс
а чего за бот?
Но суть бота в том, что он отправляет пользователю некоторые уведомления по некоторому расписанию.
Основная функциональность там была реализована через arq - очередь на редисе для asyncio.
либа от создателя pydantic
https://github.com/samuelcolvin/arq
источник

SB

Sasha Brud in PiterPy Meetup
прек
источник

VA

Vladimir Ageev in PiterPy Meetup
Виктор Титов
ну вот я наверное могу что-то про airflow рассказать, но хз насколько это вообще кому-то будет нужно
Про airflow оч нужно, в сравнении с luigi, например.

В идеале на примере какого-нибудь проекта.
источник

ВТ

Виктор Титов... in PiterPy Meetup
Vladimir Ageev
Про airflow оч нужно, в сравнении с luigi, например.

В идеале на примере какого-нибудь проекта.
ой, это прям наш случай
источник

ВТ

Виктор Титов... in PiterPy Meetup
переходим с луиджи
источник

VA

Vladimir Ageev in PiterPy Meetup
надеюсь, ты заполнишь форму
источник
2020 May 07

А4

Андрей 42 in PiterPy Meetup
Vladimir Ageev
Про airflow оч нужно, в сравнении с luigi, например.

В идеале на примере какого-нибудь проекта.
+
источник

AO

Alexander Ovchinniko... in PiterPy Meetup
Есть альтернативы, например, Argo
источник

AO

Alexander Ovchinniko... in PiterPy Meetup
Оптимальный вариант с Airflow - ограничиться тем, что связано с K8s
источник

ВТ

Виктор Титов... in PiterPy Meetup
Alexander Ovchinnikov 🦁
Есть альтернативы, например, Argo
Ну да, есть еще prefect, или кроном можно обойтись
источник

IS

Irina Saribekova in PiterPy Meetup
Всем привет!
Помогите мне плиз, можете ответить анонимно на 6 вопросов про сообщество?
Собираю сегодня до 22:00 мск.
Если интересно, потом поделюсь статистикой =)
https://forms.gle/WEUWig4C6bKDqk9L7
источник

Б

Боброний in PiterPy Meetup
А можно ли как-то сделать этот код валидным для mypy, не трогая ничего, кроме Called?

from functools import partial
from typing import TypeVar, Callable

T = TypeVar('T')


class Called:
   def __class_getitem__(cls, callback: Callable[..., T]) -> T:
       return callback()


def get_bar() -> str:
   return 'bazilik'


def check_bar(bar: Called[get_bar]) -> bool:
   return bar.startswith('baz')
источник

Б

Боброний in PiterPy Meetup
источник

YV

Yuliya Volkova in PiterPy Meetup
Виктор Титов
Ну да, есть еще prefect, или кроном можно обойтись
Ну про крон шутки шуткам, но 3 года назад это был основной тренд «у меня логи в эластике, дашборд на кибане и весь пайплайн на баше, кому нужен ваш аирфлоу». Потом была фаза - «это вообще не продакшен реди, тут одни баги», теперь фаза - «мы сделали Perfect потому что не захотели контрибьютиьь в аирфлоу и сделать масштабирование для шедулера, а решили написать свою тулу с 0 по этой причине» ))
источник

DB

Dima Boger in PiterPy Meetup
Боброний
А можно ли как-то сделать этот код валидным для mypy, не трогая ничего, кроме Called?

from functools import partial
from typing import TypeVar, Callable

T = TypeVar('T')


class Called:
   def __class_getitem__(cls, callback: Callable[..., T]) -> T:
       return callback()


def get_bar() -> str:
   return 'bazilik'


def check_bar(bar: Called[get_bar]) -> bool:
   return bar.startswith('baz')
А как ругается?
источник

YV

Yuliya Volkova in PiterPy Meetup
Виктор Титов
Ну да, есть еще prefect, или кроном можно обойтись
Я 2 года назад на spb python читала доклад про внутри аирфлоу. Было забавно, тк в зале практически никто не знал что это, а я давай рассказывать как компоненты там внутри вместе живут и кто за что отвечает. Сильно промазала с аудиторией) были ощущение что все и так в курсе что это и зачем
источник

DB

Dima Boger in PiterPy Meetup
Yuliya Volkova
Я 2 года назад на spb python читала доклад про внутри аирфлоу. Было забавно, тк в зале практически никто не знал что это, а я давай рассказывать как компоненты там внутри вместе живут и кто за что отвечает. Сильно промазала с аудиторией) были ощущение что все и так в курсе что это и зачем
У нас сейчас чуть попроще с соединением аудитории-докладчика потому что предпрогоняем доклады и можем соориентировать + в онлайне можно нагонять публику на конкретные доклады)
источник

ВТ

Виктор Титов... in PiterPy Meetup
Yuliya Volkova
Я 2 года назад на spb python читала доклад про внутри аирфлоу. Было забавно, тк в зале практически никто не знал что это, а я давай рассказывать как компоненты там внутри вместе живут и кто за что отвечает. Сильно промазала с аудиторией) были ощущение что все и так в курсе что это и зачем
Я на ютубе нашел два доклада и они оба для новичков (те, кто не сталкивался с эирфлоу или etl) и рассказывают про основные концепции и как с ними работать. Один из двух докладов вообще «ну я нашел в интернете прикольную штуку и почитал доку, сейчас вам расскажу»)
источник

Б

Боброний in PiterPy Meetup
Dima Boger
А как ругается?
called.py:16: error: "Called" expects no type arguments, but 1 given
called.py:16: error: Function "scratch_24.get_bar" is not valid as a type
called.py:16: note: Perhaps you need "Callable[...]" or a callback protocol?
called.py:17: error: "Called" has no attribute "startswith"
источник

DB

Dima Boger in PiterPy Meetup
Виктор Титов
Я на ютубе нашел два доклада и они оба для новичков (те, кто не сталкивался с эирфлоу или etl) и рассказывают про основные концепции и как с ними работать. Один из двух докладов вообще «ну я нашел в интернете прикольную штуку и почитал доку, сейчас вам расскажу»)
я, кстати, обожаю такие доклады, без шуток
источник