Size: a a a

2020 September 09

K

KrivdaTheTriewe in Data Engineers
Ребят, как сейчас принято органзиовать доступ к результатам расчетов джобов внешним заказчикам, он премис
нужно что то типа S3+доступ по http + авторизация
источник

K

KrivdaTheTriewe in Data Engineers
ceph же такое умеет ?
источник

K

KrivdaTheTriewe in Data Engineers
или нужно сервис мутить поверх
источник

K

KrivdaTheTriewe in Data Engineers
то есть нужна именно авторизация
источник

AZ

Anton Zadorozhniy in Data Engineers
Буквально вот на днях был случай, сатанист делал просто разовый эксперимент в проприетарном софте  (фотограмметрия) и сохранял проект на эфемер, без экспорта в код,, увлёкся на неделю, потом случайно дропнул инстанс, и все — Амазон съел мою домашку
источник

S

Stanislav in Data Engineers
KrivdaTheTriewe
то есть нужна именно авторизация
minio
источник

K

KrivdaTheTriewe in Data Engineers
ну минио, оно умеет в авторизацию поверх http
источник

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
Буквально вот на днях был случай, сатанист делал просто разовый эксперимент в проприетарном софте  (фотограмметрия) и сохранял проект на эфемер, без экспорта в код,, увлёкся на неделю, потом случайно дропнул инстанс, и все — Амазон съел мою домашку
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Ребят, как сейчас принято органзиовать доступ к результатам расчетов джобов внешним заказчикам, он премис
нужно что то типа S3+доступ по http + авторизация
Смотря какие требования по авторизации и аутентификации, из коробки можно много, в крайнем случае - маленький сервис и генерить signed ссылки
источник

N

Nikita Blagodarnyy in Data Engineers
Rodion
а чем пандас плох для такого кейса?
- питон интерпретатора может банально не быть (да, в госухе да и вообще в крупном корпорате, особенно в банках, не все и не всем можно иметь на машине, если VDI - можно вообще вешаться).  
- пандас надо знать.
- это изобретение велосипеда заново.
- на одноразовую задачу надо налабать кучу кода.
- вам надо конвертировать чей-то эксель в пандас.
- таскание колонок по экрану прощу и понятнее, чем пере-/дописывание

Это частное мнение, не претендую на истину в последней инстанции.
источник

AZ

Anton Zadorozhniy in Data Engineers
Минио, сеф, даж s3proxy
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Смотря какие требования по авторизации и аутентификации, из коробки можно много, в крайнем случае - маленький сервис и генерить signed ссылки
поподробнее про сервис
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Смотря какие требования по авторизации и аутентификации, из коробки можно много, в крайнем случае - маленький сервис и генерить signed ссылки
а сигнед ссылки экспайрить можно?
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
а сигнед ссылки экспайрить можно?
Ну вы там задаёте время жизни, потом она сама экспайрится
источник

K

KrivdaTheTriewe in Data Engineers
отл
источник

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
или нужно сервис мутить поверх
мы свой сервис пилим поверх минио. у нас, правда, ещё функционал по заказу выгрузок, приоритеты, очереди и все такое.
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
мы свой сервис пилим поверх минио. у нас, правда, ещё функционал по заказу выгрузок, приоритеты, очереди и все такое.
расскажите подробнее пожалуйста
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
Буквально вот на днях был случай, сатанист делал просто разовый эксперимент в проприетарном софте  (фотограмметрия) и сохранял проект на эфемер, без экспорта в код,, увлёкся на неделю, потом случайно дропнул инстанс, и все — Амазон съел мою домашку
а что флаг на дроп протекшен не выставлен был у инстанса?
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
а что флаг на дроп протекшен не выставлен был у инстанса?
А он его снял
источник

AE

Alexey Evdokimov in Data Engineers
бу гу га
источник