KM
а оно должно скорости прибавить? Треды для IO bound операций, а обработка датафрейма - CPU bound
Size: a a a
2021 September 30
KM
Вы точно так же обрабатываете данные, только не за 1 раз, а кусками и по очереди
KM
Если хотите скорость для больших данных, рекомендую Dask посмотреть https://dask.org/
МК
А как-нибудь можно ускорить процесс?
KM
На чистом pandas ускорение даст только приведение к нужным данным. Не string, а integer, не int64, а int8 (просто пример)
KM
если есть категории - то вынести в словарь и заменить значения на 0/1/2
KM
или Dask
PZ
да это io bound и есть, но непонятно как сервер работает.
KM
не вижу, где там io. вычисление, выборка данных, вычисление.
Тут нет чтения/записи на диск, запроса по сети и тд
Тут нет чтения/записи на диск, запроса по сети и тд
PZ
это попытка протестить сервер маршрутизации OSM, который таки на c++
KM
Тогда дайте знать, если треды дадут прирост
AD
м...
а точно треды для ИОбаунд?
я чет всю жизнь думал что для этого асинхронщина больше подходит...
а точно треды для ИОбаунд?
я чет всю жизнь думал что для этого асинхронщина больше подходит...
KM
асинхронщина это замена тредов. Если грубо, то тредами управляет система, а асинхронностью разработчик и интерпретатор
AD
да?
я думал что треды это замена мультипроцесса, где дороже оверхед на старт
ну и в мультитреде общее адресное пространство, а оно оказывается во как...
я думал что треды это замена мультипроцесса, где дороже оверхед на старт
ну и в мультитреде общее адресное пространство, а оно оказывается во как...
KM
T
Не путать асинхронность и asyncio
PZ
Если инжинирить по комментариям на хабре, можно еще и не то узнать
YP
Салют
А кто нибудь проходил курс от proglib "математика для data science"?
А кто нибудь проходил курс от proglib "математика для data science"?
AM
друзья, подскажите плиз, можно ли обернуть sql-запрос в функцию, чтобы вызывать ее из другого файла (делать import)?