на роли где нужно архитектурить - однозначно флажок

ADLSv2?

Еще загвоздка. Мне нужно сделать executable контейнер для питоновской аппликации с cli аргументами, поскольку внутри аппликации есть парсер аргументов. Код такой:

PYTHONPATH=optimizer_viewability
python3 -m optimizer_viewability --model-name Viewability --vendor-name IAS --environment staging --running-folder 2020_10_06_18

В докерфайле мне нужно написать вот так? :

ENV PYTHONPATH=optimizer_viewability
ENTRYPOINT [ "python3", "-m", "optimizer_viewability"]
CMD ["--model-name", "Viewability", \
   "--vendor-name", "(VENDOR_NAME)", \
   "--environment", "(ENVIRONMENT)", \
   "--running-folder", "(RUNNING_FOLDER)"]

Или это неправильно? Docker run должен включать новые значения для этих аргументов

Пробовал другие варианты - не переводит значение с docker run - e в сам контейнер😞

там вообще все интересно

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

судя по их же таблике по работе с метаданными они матчатся на file system, в отличии от других сторейджей =)

цель ADLSv2 - сделать такой объектный сторадж который можно использовать как drop-in replacement для HDFS ))

У меня на 2х проектах со спарком только питон используется)

признаю что с adls не работал
поэтому не скажу ничего

опыт работы ограничивается с ceph/manta/s3/gs
и вот их ограничения совсем по другому смотрятся на фоне хдфс

возможно в adls и сделали вменяемый =) раз ты регулярно к нему апеллируешь

он хороший, да

так как работа с метаданными у вышеперечислинных при попытке натянуть на структуру фс смотрятся грустно

настолько что некоторые вещи в min.io не работают, так как они больше следовать posix подходу пытаются
а в aws s3 работают (тот же слеш на конце у “директорий”)

потому что это не файловые системы)

но я понял что если разложить карточки с надписями сephfs, glusterfs, efs, azure files, s3, adls и попросить разделить на два класса, то сторонники "HDFS это файловая система" положат hdfs вместе с cephfs, gluster, efs

для меня на собесе это точно будет красным флажком

скала и питон в основном. питон для прототипирования, а продакшн приложения в основном на скала и джава

это ещё всё это знать надо) На практике у нас только с3 и был))

да, но в тоже время эти же операции норм на hdfs натягиваются

зачем по больному-то!

так у тебя первый критерий - это локальность и  POSIX-compliance