Телеграмм чат группы hadoopusers страница 2748

Всем привет. Подскажите пожалуйста, как мне задеплоить тестовый проект с помощью google cloud functions? У меня будет страница index.html с одной формой для загрузки изображения. После загрузки она будет запускать python-скрипт. Подскажите пожалуйста, как это реализовать?
Я разобрался с тем, как создать cloud function с python-скриптом. По умолчанию сейчас загружается он. Но как сделать так, чтобы по умолчанию загружалась html-ka которая бы вызывала пайтон скрипт необходимости? Где лучше хранить фронт и как он должен взаимодействовать с cloud функцией?

Я бы реализовал это следующим образом:

1. Раздавать статику лучше через Google Storage (G аналог S3). Нужно смотреть в сторону how to serve static site.
2. Дальше я бы поставил Gateway с прямой загрузкой в storage, либо через cloud function. Тут нужно аккуратно с правами, чтоб чужие не залили лишнего. Нужно смотреть в сторону fire base auth, gcp cognito analog.
3. Можно подписаться на появление файлов в хранилище, по этому триггеру запускать cloud function с полезной нагрузкой

источник

13:41пожаловаться #11

A

Artem in Data Engineers

T

Привет, можете поделится годной статьей про костомизацию плана запросов в спарке. Мне интересно как его правильно распараллелить

Такого не встречал, но у stanford'а есть хороший курс от Matei Zaharia (CS245 Principles of Data-Intensive Systems). Там есть лекция по оптимизации плана и домашка к ней - http://web.stanford.edu/class/cs245/slides/07-Query-Optimization-p1.pdf http://web.stanford.edu/class/cs245/assignments/assignment2.pdf

источник

16:16пожаловаться #12

AL

Alexandra Lisenok in Data Engineers

Ребят, привет. Подскажите, кто-нибудь сталкивался с прогнозированием временных рядов с нестабильным трендом (рост в исторических данных с падением в прогнозном периоде) и непостоянной сезонностью (как во времени так и в масштабе)? Какие методы, модели есть, в какую сторону лучше копать? Может есть ссылки на статьи/проекты?
Буду рада помощи🤞

источник

16:37пожаловаться #13

T

T in Data Engineers

Artem

Такого не встречал, но у stanford'а есть хороший курс от Matei Zaharia (CS245 Principles of Data-Intensive Systems). Там есть лекция по оптимизации плана и домашка к ней - http://web.stanford.edu/class/cs245/slides/07-Query-Optimization-p1.pdf http://web.stanford.edu/class/cs245/assignments/assignment2.pdf

о супер! погляжу, большое спасибо

источник

16:44пожаловаться #14

R

Renarde in Data Engineers

Alexandra Lisenok

Ребят, привет. Подскажите, кто-нибудь сталкивался с прогнозированием временных рядов с нестабильным трендом (рост в исторических данных с падением в прогнозном периоде) и непостоянной сезонностью (как во времени так и в масштабе)? Какие методы, модели есть, в какую сторону лучше копать? Может есть ссылки на статьи/проекты?
Буду рада помощи🤞

от Facebook есть prophet, там под капотом ARIMA с вероятностной моделью - https://facebook.github.io/prophet/

Prophet

Prophet is a forecasting procedure implemented in R and Python. It is fast and provides completely automated forecasts that can be tuned by hand by data scientists and analysts.

источник

16:50пожаловаться #15

ME

Max Efremov in Data Engineers

Alexandra Lisenok

Ребят, привет. Подскажите, кто-нибудь сталкивался с прогнозированием временных рядов с нестабильным трендом (рост в исторических данных с падением в прогнозном периоде) и непостоянной сезонностью (как во времени так и в масштабе)? Какие методы, модели есть, в какую сторону лучше копать? Может есть ссылки на статьи/проекты?
Буду рада помощи🤞

https://aws.amazon.com/forecast/

Amazon Web Services, Inc.

Time Series Forecasting | Machine Learning | Amazon Forecast

Accurate time-series forecasting service, based on the same technology used at Amazon.com. No machine learning experience required.