EZ
Крайний раз чтение из файла (около 200к файлов с содержимым 100к строк внутри каждого) + concat всех этих файлов отрабатывало около 20-30 минут
Size: a a a
2021 July 23
K
Хренасе нынешнее поколение!!! Я помню, как 10 лет назад у меня Эксель в принципе не мог обработать 10 тысяч строкю
EZ
Ну перепишите код, избавься от лишних действий и будет быстрее
AD
это нормально на таком объеме
h
остальное сделал быстрее чем было
вот пока именно эту функцию надо преобразовать)
дальше буду заново все смотреть
вот пока именно эту функцию надо преобразовать)
дальше буду заново все смотреть
EZ
Убери лукап, преобразуй к дате уже после объединения строк
h
вот, это по делу
спасибо
Сейчас попробую
спасибо
Сейчас попробую
I
Обидно, что я это написал несколько сообщений назад, но никто не отреагировал 😐)))
EZ
Согласен👌
EZ
Так быстрее может будет, но 5 млн строк это не мало, не жди супер ускорения.
h
сори, не привык когда так часто не отвечаю)
вам тоже спасибо
вам тоже спасибо
h
ну я просто сравниваю со скоростью на другом языке
EZ
🤣
Можешь не сравнивать, а выполнить действие сразу на другом языке
Можешь не сравнивать, а выполнить действие сразу на другом языке
RP
Можно ещё попробовать то, что в скобках, заменить на df[‘date’].astype(str).values + ‘ ‘ + df[‘time’].astype(str).values
SS
Если есть повторы "дата+время", то можно ускориться не вычисляя эти повторы.
h
нормик короче
уложился в 25 секунд на всю задачу
П.С( не правильно засекал время)
уложился в 25 секунд на всю задачу
П.С( не правильно засекал время)
h
спасибо за помощь
h
Ребята, а тут Р кто то понимает?
Просто всё таки функция выполняется 25 секунд
Хочу скинуть код в Р, и время его выполнения
И попросить помочь достичь таких же показателей в питоне
Хочется написать нормальный код, а не так чтобы отстали
Просто всё таки функция выполняется 25 секунд
Хочу скинуть код в Р, и время его выполнения
И попросить помочь достичь таких же показателей в питоне
Хочется написать нормальный код, а не так чтобы отстали
A
А нельзя параллелизировать вычисления?
h
с помощью dask?