В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scalability Camp — чат про распределенные системы (и про HPC)

288 membersпожаловаться на группу
2020 July 09

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Смотря сколько данных перегонять и что с ними в процессе делать
Потенциально нужно будет гонять много данных
источник
13:33пожаловаться#1

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
Потенциально нужно будет гонять много данных
Потоковых? Или, скажем, датафреймы батчами пересылать с обработкой в процессе?
источник
13:34пожаловаться#2

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
а настарте будет много  или потом @kirillzharov  ?
источник
13:34пожаловаться#3

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Aleksandr Borgardt
а настарте будет много  или потом @kirillzharov  ?
На старте не так много, планировал процессить файлы в JSON на стороне фронта
источник
13:36пожаловаться#4

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
И дальше отправлять в апишку, вместо скриптов в ноутбуках, сами ноутбуки напрямую работают с файлами
источник
13:38пожаловаться#5

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
На старте не так много, планировал процессить файлы в JSON на стороне фронта
А зачем на стороне фронта вообще что-то процессить? Просто интересно
источник
13:39пожаловаться#6

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Я бы такое, честно сказать, писал на го. Он для этого очень хорошо подходит
Го хорош, с этим не поспоришь 🔥
источник
13:39пожаловаться#7

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
А зачем на стороне фронта вообще что-то процессить? Просто интересно
Подумал, что так должно быть быстрее, чем гонять файлы, по сути "процесинг", это парсинг CSV файлов, для примера
источник
13:40пожаловаться#8

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Потоковых? Или, скажем, датафреймы батчами пересылать с обработкой в процессе?
Скорее датафреймы
источник
13:41пожаловаться#9

EM

Evgeniy Moiseev in Scalability Camp — чат про распределенные системы (и про HPC)
Aleksandr Borgardt
советую не использовать  asyncio   и маштбаироватся  процессмами
Так себе рекомендация. Юзайте ProcessPool и будет вам счастье. Мало того можно замутить reusable processpool-ы, чтобы сэкономить на времени инициализации.
источник
16:08пожаловаться#10

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Process pool твоя придумка
источник
16:09пожаловаться#11

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Evgeniy Moiseev
Так себе рекомендация. Юзайте ProcessPool и будет вам счастье. Мало того можно замутить reusable processpool-ы, чтобы сэкономить на времени инициализации.
Смотря какая версия питона :) в 3.8 имеет смысл, раньше - uwsgi будет таки побыстрее и понадежнее
источник
16:09пожаловаться#12

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Aleksandr Borgardt
Process pool твоя придумка
Он про concurrent.futures.ProcessPoolExecutor, как я понимаю. В целом норм
источник
16:10пожаловаться#13

EM

Evgeniy Moiseev in Scalability Camp — чат про распределенные системы (и про HPC)
именно
источник
16:10пожаловаться#14

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Таких советов я не давал
источник
16:10пожаловаться#15

EM

Evgeniy Moiseev in Scalability Camp — чат про распределенные системы (и про HPC)
я потерял нить дискуссии
источник
16:11пожаловаться#16

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Смотря какая версия питона :) в 3.8 имеет смысл, раньше - uwsgi будет таки побыстрее и понадежнее
Etl + процессы идея разумная
источник
16:12пожаловаться#17
2020 July 11

RS

Roman Sakal in Scalability Camp — чат про распределенные системы (и про HPC)
Карчое, в любой непонятной ситуации рассказывай про CAP теорему.
Пускай подумают, что ты её понимаешь.
источник
01:06пожаловаться#18
2020 July 16

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Всем привет! У нас новый выпуск подкаста, нам нужны ваши лайки и репосты :) https://soundcloud.com/scalability-camp/scalability-podcast-3
SoundCloud
Scalability Podcast #3
Гость выпуска, Вениамин Гвоздиков, занимается разработкой нагруженных систем и запуском контейнеров c GPU.
источник
01:25пожаловаться#19

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
sticker.webp
(18.67 Кб)
источник
01:25пожаловаться#20