V
Штука в том, что каждая карта занимает одно ядро и время сильно зависит от размера карты. Таким образом, если запускать сразу много карт, то оптимально используются все ядра и общее время сборки сокращается.
Size: a a a
2020 February 02
V
То есть , если запускать одну Москву, то это условно занимает два часа, а брянская область полчаса. А если одновременно Москву, две Московских области и Брянскую область на 4 ядрах, то займёт те же два часа.
ВТ
Хитро
V
Как вариант, ещё есть сервер с 32 ядрами и 768ГБ ОЗУ... Но там свои заморочки.
ВТ
i
PG
Штука в том, что каждая карта занимает одно ядро и время сильно зависит от размера карты. Таким образом, если запускать сразу много карт, то оптимально используются все ядра и общее время сборки сокращается.
А автоматизировать, чтобы запускалось одновременно параллельно N процессов и если очередной завершился, то запускался бы следущий - никак? А по хрону запускать всю эту чёртову мельницу.
PG
Надо посмотреть, наверняка есть bash-скрипт для этой цели, задача-то типовая.
V
А автоматизировать, чтобы запускалось одновременно параллельно N процессов и если очередной завершился, то запускался бы следущий - никак? А по хрону запускать всю эту чёртову мельницу.
Никак, поскольку надо скачивать данные с геофабрик. А там один файл на один федеральный округ.
V
То есть можно одновременно запустить все карты, входящие в один ФО, но потом надо ждать завершения прежде чем запускать новые карты.
PG
Не очень понял суть проблемы. Скачивается файл на несколько областей - параллелишь запуск сборки на каждую область. По завершени последнего из процессов скачать следующий файл и снова параллелить сборку.
PG
Ну т.е. да, надо подумать, но мне кажется, что такую схему можно сделать.
V
Не очень понял суть проблемы. Скачивается файл на несколько областей - параллелишь запуск сборки на каждую область. По завершени последнего из процессов скачать следующий файл и снова параллелить сборку.
Я подумаю, но там это скачивание автоматизировано и при запуске надо в конфиг-файле менять имя файла с геофабрик.
V
Либо делать несколько инстансов полных репозиториев omim, а это по 4ГБ на харде на каждый.
PG
Главный затык - это организация цикла sleep в основном процессе, который бы проверял и подсчитывал завершения дочерних процессов.
V
У них это внутри. Лезть в питонячий код я не хочу и не умею.
V
У меня обёртка на bash.
PG
Я как раз только про обертку. Если процесс скачивания ФО и процесс сборки части ФО запускаются отдельными процессами, можно их параллелить в нужных местах.
V
Я как раз только про обертку. Если процесс скачивания ФО и процесс сборки части ФО запускаются отдельными процессами, можно их параллелить в нужных местах.
Нет, это один процесс.
AI
building with ~12 edges... built up of about ~260 nodes O.o