A
pandarallel или multiprocessing? Не уверен, что dask здесь нужен
Size: a a a
2021 July 23
IS
старт параллельных процессов — штука не моментальная, тоже требует времени. Может надо с целевого показателя времени начать?
IS
во что метиться?
h
погуглю щас
A
5 млн строк на 8 секунд вроде
h
5 секунд все таки
h
на Р
IS
на инициализацию многопотока может уйти 2-3 секунды (зависит от ОС). А потом на сборку и очистку.
Великоваты накладные будут
Великоваты накладные будут
A
Ого! Про инициализацию не знал, что так долго!
IS
это внутренности ОС+ создание контекста + передача окружения
ee
спасибо за дельный совет👍
PZ
Потому что это брехня.
PZ
Распространяемая адептами так называемого асинхронного программирования
h
Так а что по вопросу?
Знает кто то Р?
Для того чтобы помочь достичь в питоне время выполнения задачи, с фреймом в 5 млн строк, за 5 секунд?
Знает кто то Р?
Для того чтобы помочь достичь в питоне время выполнения задачи, с фреймом в 5 млн строк, за 5 секунд?
ee
AD
очень
очень смелое заявление
есть какие-нибудь факты подтверждающие данный тезис?
при мультипроцессе у тебя фактически стартуют несколько питонов со всеми потрохами
с подгрузкой и инициализацией всех либ включая нампи пандас и т.д.
что само по себе небыстро
мультитридинг немного быстрее
про адептов т.н. асинхронного программирования посмеялся
ИО-баунд, ЦПУ-баунд...
при чем тут оно?
очень смелое заявление
есть какие-нибудь факты подтверждающие данный тезис?
при мультипроцессе у тебя фактически стартуют несколько питонов со всеми потрохами
с подгрузкой и инициализацией всех либ включая нампи пандас и т.д.
что само по себе небыстро
мультитридинг немного быстрее
про адептов т.н. асинхронного программирования посмеялся
ИО-баунд, ЦПУ-баунд...
при чем тут оно?
IS
Может поясните? Ос, как минимум должна создать форки, потоки или процессы. Мастер процесс должен раздать задание и данные, а потом собрать и сделать reduce.
Не говоря уж о теоретических лимитах и законах, например, законе амдала. И при чем здесь асинхронность?
Лучше стереть свой ответ, он выглядит слишком компрометирующим
Не говоря уж о теоретических лимитах и законах, например, законе амдала. И при чем здесь асинхронность?
Лучше стереть свой ответ, он выглядит слишком компрометирующим
PZ
Компрометирующим вкатывальщиков, которые не знающих что такое профилирование? Нет, пусть висит
IS
Ну пусть висит, категоричность очень часто присуща неофитам. Время правит.
Только уж от хамства и панибратства воздержитесь. Пятница, трудная неделя, все понятно. Но не оправдывает.
Только уж от хамства и панибратства воздержитесь. Пятница, трудная неделя, все понятно. Но не оправдывает.
AD
а при чем тут инструмент для оценки и мониторинга производительности к оверхеду на старте мультипотоков?
есть скриншоты/замеры доказывающие что оверхеда не существует?
есть скриншоты/замеры доказывающие что оверхеда не существует?