Q
я думал на загрузку
если бы файл большим очень оказался, то скорее всего выдало бы, что памяти не хватает
Size: a a a
2021 February 10
AK
понял
AK
почему в pandas не меняет?
h
Доброй ночи.
Кто нибудь занимался выгрузкой данных по RestApi из sendpulse ?
Кто нибудь занимался выгрузкой данных по RestApi из sendpulse ?
VO
Переведите данные в строку?
A
https://medium.com/@srishti_56/found-it-e31ef1bbba4
тут есть решение, но как этот file_шв взять, да и сложно всё так оказалось если файл больше 10мб, а у меня 11)))
тут есть решение, но как этот file_шв взять, да и сложно всё так оказалось если файл больше 10мб, а у меня 11)))
Я с джейсонинами особо дел не имею, но ограничение на 10 мегов выглядит странно. Ексель\csv в 500 МБ в колабе импортируются без проблем.
Возможно, стоит посмотреть что-то вместо io
Возможно, стоит посмотреть что-то вместо io
JF
display(expdata['sigma'].str.replace(',', '.'))AZ
Если у вас там уже строки, то надо не
Series.replace() использовать, а Series.str.replace(), т.к. первое заменяет целые элементы в колонке, а второе внутри строк подстрокиAZ
А, ну вот, написали выше
AK
Понял. Спасибо
AZ
Вообще там очень забавно можно делать срез по строкам или другим коллекциям так же:
Series.str[1:3], напримерT
Хай. Я тут решил вернуться к Airflow и не пойму как мне отслеживать запуски дагов.
Вот у меня в системе появляются объекты. В день хз сколько штук в неопределенное вермя. Мне было бы удобно при их создании через api триггерить запуск дагов для обработки этих объектов. Но как я понимаю, единственный параметр рана - дата.
Как правильно организовать обработку объектов? Чтобы с ретраями и отслеживание статусов
Вот у меня в системе появляются объекты. В день хз сколько штук в неопределенное вермя. Мне было бы удобно при их создании через api триггерить запуск дагов для обработки этих объектов. Но как я понимаю, единственный параметр рана - дата.
Как правильно организовать обработку объектов? Чтобы с ретраями и отслеживание статусов
AD
Хай. Я тут решил вернуться к Airflow и не пойму как мне отслеживать запуски дагов.
Вот у меня в системе появляются объекты. В день хз сколько штук в неопределенное вермя. Мне было бы удобно при их создании через api триггерить запуск дагов для обработки этих объектов. Но как я понимаю, единственный параметр рана - дата.
Как правильно организовать обработку объектов? Чтобы с ретраями и отслеживание статусов
Вот у меня в системе появляются объекты. В день хз сколько штук в неопределенное вермя. Мне было бы удобно при их создании через api триггерить запуск дагов для обработки этих объектов. Но как я понимаю, единственный параметр рана - дата.
Как правильно организовать обработку объектов? Чтобы с ретраями и отслеживание статусов
Мне кажется, концептуально правильнее опрашивать дагом базу на предмет появления новых объектов, и триггерить для них какой-то процессинг. Airflow это всё-таки шедулер
Тем не менее, в API есть методы для триггера дагов. Но тут понадобится какой-то сервис для этого
Тем не менее, в API есть методы для триггера дагов. Но тут понадобится какой-то сервис для этого
T
Мне кажется, концептуально правильнее опрашивать дагом базу на предмет появления новых объектов, и триггерить для них какой-то процессинг. Airflow это всё-таки шедулер
Тем не менее, в API есть методы для триггера дагов. Но тут понадобится какой-то сервис для этого
Тем не менее, в API есть методы для триггера дагов. Но тут понадобится какой-то сервис для этого
А как тогда мне отследить обработку конкретного объекта?
AD
А как тогда мне отследить обработку конкретного объекта?
Либо логгировать, либо делать пайплайны идемпотентными. Второй вариант, кмк, опять же предпочтительнее
T
Ну то есть, вот у меня юзер взаимодействует с системой, загружает туда данные. Дальше даг каким-то образом находит эти данные. Как юзеру понять, это сейчас его данные в обработке или нет? И как быть когда сразу много объектов найдено при таком прогоне?
AD
Хай. Я тут решил вернуться к Airflow и не пойму как мне отслеживать запуски дагов.
Вот у меня в системе появляются объекты. В день хз сколько штук в неопределенное вермя. Мне было бы удобно при их создании через api триггерить запуск дагов для обработки этих объектов. Но как я понимаю, единственный параметр рана - дата.
Как правильно организовать обработку объектов? Чтобы с ретраями и отслеживание статусов
Вот у меня в системе появляются объекты. В день хз сколько штук в неопределенное вермя. Мне было бы удобно при их создании через api триггерить запуск дагов для обработки этих объектов. Но как я понимаю, единственный параметр рана - дата.
Как правильно организовать обработку объектов? Чтобы с ретраями и отслеживание статусов
Ретрай-логика реализуется аргументами retries и retry_delay
T
Про ретраи тоже надо понимать - это ретраи обработки чего именно?
AD
Ну то есть, вот у меня юзер взаимодействует с системой, загружает туда данные. Дальше даг каким-то образом находит эти данные. Как юзеру понять, это сейчас его данные в обработке или нет? И как быть когда сразу много объектов найдено при таком прогоне?
Зачем юзеру это в каждый момент времени понимать? Если пайплайны идемпотентные, то можно просто задать on_failure_callback на тот случай, если что-то упало и не может заретраиться
T
Зачем юзеру это в каждый момент времени понимать? Если пайплайны идемпотентные, то можно просто задать on_failure_callback на тот случай, если что-то упало и не может заретраиться
Например для того, чтобы понять когда завершится обработка