И таки передавать по https

ну, т.е. протокол protobuf

большие - это сколько?

мы под делфей по 2-3 гига забираем от юзеров по http периодически

или терабайты? :)

http если что тоже вполне умеет передавать данные в gz

заголовков много и данные текстовые

HTTP is perfectly capable of handling binary data: images are sent over HTTP all the time, and they're binary. People upload and download files of arbitrary data types all the time with no problem.

Just give it a mime type of "application/octet-stream" -- which is basically a generic mime type for binary data with no further specification of just what sort -- and any proxies along the way should leave it alone.

мы как раз как octet-stream и гоним, насколько помню

если это датасет из фото возможно лучше rsync использовать

надо исходить от задачи, конечно. варианты есть

но по http задача тоже может быть решена на размерах порядка гигабайт

Псс, у нас там несколько новых годных вакансий на любой вкус появилось в @datasciencejobs

#events : PyData Moscow Meetup #11
Когда: 1 (суббота) февраля 2020, 13:00 - 17:20 (сбор в 12:00)
Место: Mail.ru Group, Москва, Ленинградский проспект, 39, стр. 79
Язык докладов - русский

Одиннадцатая PyData Moscow Meetup пройдет в офисе Mail.ru Group
PyData Moscow Meetup - это события, посвященные Сбору, Хранению, Обработке, Анализу и Визуализации данных на Python. Все как Вы любите.

Программа докладов:
- Павел Клеменков "RAPIDS: ускоряем Pandas и scikit-learn на GPU"
- Николай Маслович "CV в пайплайне распознавания ценников товаров: трюки и хитрости"
- Александр Бельских "Почему вам стоит использовать свой велосипед и почему не стоит"

Программа воркшопов:
- Михаил Трофимов "Рекомендательная система на коленке"
- Михаил Свешников "Эбонитовый воркшоп: заворачиваем свою модель в ebonite"

Обязательна регистрация, закончится через пару часов: http://xxtt.ru/pydata11

В следующий раз пожалуйста перед тем как форварды такие делать, напишите хоть :) А то у нас суровая нейросеть, может за спам посчитать и в бан ведь

ох уж суровые нейросети)

Они захватят этот мир! Это только начало :)

надо делать сети ваши немного почеловечнее)

Или заранее писать перед форвардами мне, чтобы всё выглядело не как спам :) Мы ж только за такого рода мероприятия! Тем более бесплатные и нацеленные на популяризацию нашей тематики :)