Size: a a a

2021 January 05

i

inqfen in AWS_RU
Sander 🕶
1. я настроил сейчас aws lambda без контейнеров, нужен ли мне контейнер? только ради s3fs я так понимаю
2.
- файлы размером 512мб, сомневаюсь что будут больше но кто знает,
- файл один большой от 4-500мб,
- сохранять в папку /mnt/ - потому что файл надо шарить между lambdas
- файлы временные, файл переноситься в другое хранилище и больше он нам не нужен, и мы его удаляем (я поэтому в efs использовал настройку хранить 7дней и потом удалять)
3. размер одного файла 4-500мб, интересно как хорошо с этим работает s3fs
---
вроде максимально подробно описал, может теперь больше подсказок будет куда мне копать
1. да, ну и для удобства переносимости, но может у вас и не надо
2.  Это будет качаться быстро
3. Можно протестить хоть на boto3 с загрузкой файла, но для бакета в том же регионе - больше гигабита скорее всего
источник

DZ

Dmytro Zavalkin in AWS_RU
я бы унес эту программу в отдельную лямбду, сделал загрузку файла в основной лямбде в S3 и повесил триггер на добавление нового файла в S3 на запуск лямбды с этой странной программой, где кусочек кода на том же питоне скачивает файл из S3, кладет в /tmp и запускает программку
источник

S🕶

Sander 🕶 in AWS_RU
inqfen
1. да, ну и для удобства переносимости, но может у вас и не надо
2.  Это будет качаться быстро
3. Можно протестить хоть на boto3 с загрузкой файла, но для бакета в том же регионе - больше гигабита скорее всего
1. компилю в ts -> js и мне кажется тут все равно, он скомпилинный уже, разве что версию nodejs использовать строго ту что я хочу
источник

S🕶

Sander 🕶 in AWS_RU
inqfen
1. да, ну и для удобства переносимости, но может у вас и не надо
2.  Это будет качаться быстро
3. Можно протестить хоть на boto3 с загрузкой файла, но для бакета в том же регионе - больше гигабита скорее всего
2. а что по цене?
источник

S🕶

Sander 🕶 in AWS_RU
Dmytro Zavalkin
я бы унес эту программу в отдельную лямбду, сделал загрузку файла в основной лямбде в S3 и повесил триггер на добавление нового файла в S3 на запуск лямбды с этой странной программой, где кусочек кода на том же питоне скачивает файл из S3, кладет в /tmp и запускает программку
у меня и так все разбито на много много lambdas
источник

S🕶

Sander 🕶 in AWS_RU
Dmytro Zavalkin
я бы унес эту программу в отдельную лямбду, сделал загрузку файла в основной лямбде в S3 и повесил триггер на добавление нового файла в S3 на запуск лямбды с этой странной программой, где кусочек кода на том же питоне скачивает файл из S3, кладет в /tmp и запускает программку
дело в том что, я не хотел вначале заливать в s3, потом снова скачивать с s3 в /tmp - трафик туда сюда гонять,
я думал что я залью все в efs в одну директорию и все, один раз залил и радуешься, а в этом решении надо еще с s3 -> /tmp переместить,
поэтому и смотрю какое решение есть, чтоб можно было просто замаунтить storage, куда я буду складывать всякое.
источник

i

inqfen in AWS_RU
Sander 🕶
2. а что по цене?
Все зависит от того как много и часто запрашиваешь, ну и откуда
источник

i

inqfen in AWS_RU
Это уже на странице с прайсами S3
источник

S🕶

Sander 🕶 in AWS_RU
закачивание 90gb и скачвание так же 90gb получается
источник

S🕶

Sander 🕶 in AWS_RU
около 5$ кажется
источник

S🕶

Sander 🕶 in AWS_RU
ну я вижу два решения:
1. заливать на s3 используя aws-sdk, и потом для перекачивание в другое место, мы закачиваем в /tmp хранилище у lambda и заливаем файл туда куда надо.
2. lambda container с s3fs
источник

i

inqfen in AWS_RU
Sander 🕶
закачивание 90gb и скачвание так же 90gb получается
А ты не по размеру а по запросам смотри
источник

S🕶

Sander 🕶 in AWS_RU
inqfen
А ты не по размеру а по запросам смотри
они разве за размер не берут $?
источник

i

inqfen in AWS_RU
за хранение и запросы отдельные прайсы
источник

S🕶

Sander 🕶 in AWS_RU
0,0054 USD за 1к запросов - это ничто тогда
источник

S🕶

Sander 🕶 in AWS_RU
так s3 стоит копейки не стоит париться
источник

S🕶

Sander 🕶 in AWS_RU
еще один вопрос про трафик, чтоб убедится что я правильно понимаю:
1) вот когда я закачиваю к себе файл по ссылке на s3fs, это трафик платный? (тут закачали в filestorage)
2) когда я закачиваю файл на нашу новую систему, этот трафик платный? (тут выкачали в отдельный проект)
3) платный только когда с моих сервисов, кто-то из клиентов ко мне обращается и вытягивает данные, например rest-api GET
@inqfen
источник

i

inqfen in AWS_RU
Sander 🕶
еще один вопрос про трафик, чтоб убедится что я правильно понимаю:
1) вот когда я закачиваю к себе файл по ссылке на s3fs, это трафик платный? (тут закачали в filestorage)
2) когда я закачиваю файл на нашу новую систему, этот трафик платный? (тут выкачали в отдельный проект)
3) платный только когда с моих сервисов, кто-то из клиентов ко мне обращается и вытягивает данные, например rest-api GET
@inqfen
1,2 - да
3 - нужен клаудфронт тогда, по дефолту да
источник

i

inqfen in AWS_RU
это сильно базаово, мы не говорим про одну vpc etc
источник

DZ

Dmytro Zavalkin in AWS_RU
Sander 🕶
еще один вопрос про трафик, чтоб убедится что я правильно понимаю:
1) вот когда я закачиваю к себе файл по ссылке на s3fs, это трафик платный? (тут закачали в filestorage)
2) когда я закачиваю файл на нашу новую систему, этот трафик платный? (тут выкачали в отдельный проект)
3) платный только когда с моих сервисов, кто-то из клиентов ко мне обращается и вытягивает данные, например rest-api GET
@inqfen
внутри региона траффик бесплатный, по крайней мере между EC2 и S3, но для лябд должно быть также по идее
источник