it: Iterator[Future[T]]  - список тасок. Большинство из них не запущены.

it.sliding(batchSize - 1) слайдинг итератор. Когда читают его элемент, это заставляет "материализоваться" несколько следующих. Не понимаю, правда, зачем нужен "-1".

В данном случае "материализоваться" значит запустить таск.

Далее на следующем шаге, перед тем как запустить новый таск, нужно дождаться предыдущего. Таким образом, ограничено максимальное к-во одновременных тасков.

Вдохновляться этим кодом не надо

мое мнение - лучше на ODI переехать, все остальное будет сильно больнее, ODI архитектурно очень приятный тул

Скорее пример, как можно на коленке что-то собрать, когда лень импортировать либу

it.sliding(batchSize - 1) слайдинг итератор. Когда читают его элемент, это заставляет "материализоваться" несколько следующих. Не понимаю, правда, зачем нужен "-1".
они разбивают на head and tail, и таски из следующего батча начну поступать после выполнения head текущего

по мне хороший код, мы где-то застряли на блокирующем вызове для всего батча, тут готовое решение как обойти это

вроде понял, спасибо!!!

Как я понимаю, если одна таска сильно затормозит, то это не поможет: запустятся 2 следующие. Но дальше все равно нужно будет дождаться тормозящей, чтобы запустить третью

ага, сохраняется упорядоченность тасков, просто какие-то из tail-части будут раньше запускаться и отрабатывать быстрее, но затыки по каким-то таскам возможны на время таймаута

я тоже так понимаю, возможно решение на очередях было бы лучше, но кода понадобилось бы больше

А, ну да, упорядоченность бывает важна, и подругому не сделать без потенциальных спейс-ликов

еще вопрос: чтобы сходу такие конструкции понимать - это какие книги надо читать, на какие курсы записываться? или только с опытом с промышленной разработке на Скале?

Ну вот это тот момент, когда лучше импортировать fs2, zio-stream или тот же akka-stream

есть книга про https://www.packtpub.com/product/learning-concurrent-programming-in-scala-second-edition/9781786466891
но если постоянно с этим не сталкиваешься, то забывается (по крайней мере я)

спасибо! здоровья вам )

Когда отказывался от параллельных коллекций, спрашивал совета, сам Олег )) ответил, что можно взять AkkaStreams (так я понял его код), но я не рискнул и в итоге пользуюсь вот чем:
https://scastie.scala-lang.org/MHDziFqeS16igTNmWvdKIw

Это конкарренси из говна и палок. Имеет право на жизнь и есть в любом проекте. Но понимать это не надо

akka-stream все-таки тяжеловато в каждый первый проект тащить (про остальные не знаю), вот такой код вполне имеет право на жизнь, опять же ИМНО

в этой книге нет ничего про: Monix, ZIO, Cats.Effect, зато есть JavaRX и реакторы. И параллельные коллекции, за которые ещё и шеймят

А вот первые главы про основы считаю очень хорошо

мне тоже показалось что книжка старовата, но я и не эксперт в этом деле