Size: a a a

2021 July 22

AZ

Anton Zadorozhniy in Data Engineers
Берите gRPC, просто по факту адопшена и сообщества
источник

R

Renarde in Data Engineers
посмотрите еще в сторону протокола Apache Arrow Flight - судя по бенчмаркам там очень хорошо со скоростью передачи данных
источник

AZ

Anton Zadorozhniy in Data Engineers
Технических деталек много, трифт вроде http/2 не умеет, нет родного flow control, но это все не по теме чата
источник

AZ

Anton Zadorozhniy in Data Engineers
Флайт это gRPC протокол под конкретные задачи, мы не знаем что там человеку надо
источник

R

Renarde in Data Engineers
согласен, да и с адопшеном самого флайта немного тяжко (но вроде последние релизы улучшили ситуацию)
источник

R

Roman in Data Engineers
так вот пытаюсь понять есть ли у grpc преимущество в скорости, трифт вроде работает на своем бинарном протоколе. Мне просто нужно организовать быструю и удобную коммуникацию между микросервисами, сорян что это не совсем по теме чата, но в джава чате вообще никто не откликнулся на такой вопрос)) По теме комьюнити, просто на проекте есть человек который уже работал с трифтом, а по грпц все полный ноль, так что выбор сложный…
источник

АБ

Артемий Богданов... in Data Engineers
Ну gRPC вроде как стандарт для общения микросервисов, только его встречал
источник

Ik

Ilia ksen in Data Engineers
а как же просто асинхроное общение через очередь?)
источник

АБ

Артемий Богданов... in Data Engineers
Ну еще кафка была, а так все, больше ничего не использовалось
источник

Ik

Ilia ksen in Data Engineers
Н у я и говорю очередь)
источник

AS

Andrey Shevchenko in Data Engineers
добрый вечер)
наверное оффтопик для этого чата, но мало ли, может быть кто то сталкивался:
экспериментирую с azure и пытаюсь настроить аудит всех операций с данными в adls gen2
но, видимо, я чего то не понимаю, либо оно в принципе не очень хорошо поддерживается для этого типа сторэджа.
в общем, проблема в том, что в аудит логах нет имен аккаунтов пользователей совершивших операцию. при этом само логирование работает - есть все данные об операции, есть какой то tenantId (не совпадающий с tenantid тестового AD user совершающего операцию)
но на этом все, гугление тоже не помогает
источник

AG

Arsen Gumin in Data Engineers
Добрый день, подскажите, airflow достаточно будет win сервера на котором свободно 4Гб памяти? Учитывая что планируются простые задачи на rest запросы (не больше 100 мб json’ы)
источник

AG

Arsen Gumin in Data Engineers
Да, другого нет, может позже переезд оформлю, пока утилизирую ресурсы
источник

AG

Arsen Gumin in Data Engineers
А для airflow использовать mssql server сильно изврат?)
источник

N

Nikita Blagodarnyy in Data Engineers
какая разница, sql субд, такая же как пг и мускуль. только за денежку.
источник

AZ

Anton Zadorozhniy in Data Engineers
флайт не всем подходит, мне надо было в одном проекте, но нужно было больше динамики, пришлось сделать свой протокол на gRPC (можно расширять через DoAction, но это тоже оказалось больно)
источник

AZ

Anton Zadorozhniy in Data Engineers
gRPC вылизан очень прилично, а если у вас семантика стриминговая, то в gRPC оно из коробки, а в трифте придется руками делать
источник

AG

Arsen Gumin in Data Engineers
Имею ввиду базу которую использует airflow, там вроде SQLite по дефолту или что
источник

N

Nikita Blagodarnyy in Data Engineers
а хотя он не поддерживается. так что не выйдет.
источник

AG

Arsen Gumin in Data Engineers
Не, там експерементальная поддержка
источник