AD
Ужасно долго, более 10 сек?)
Size: a a a
2021 July 23
h
Питон
h
ну да, одна строчка более 10 секунд долго
h
В Р я всю задачу решил за 8 секунд
AD
Киньте решение сюда
AD
5 лямов строк в чем?
в панде / в базе / в цсв?
в панде / в базе / в цсв?
h
в пандасе
AD
Не то что то делаете
AD
и как делаешь?
h
Последнее примененное решение обьединения столбцов - на скрине
были испробованы уже многие способы, все сейчас не вспомню
(смотреть строку создание столбца df[‘datetime’]
были испробованы уже многие способы, все сейчас не вспомню
(смотреть строку создание столбца df[‘datetime’]
AD
я не самый настоящий сварщик, но
1 может попробовать разбить на более простые операции и посмотреть в каком месте самые большие тормоза?
2 попробуй вынести pd_series_unique за скобки
ну в смысле чтоб оно не каждый раз по всей таблице пробегало, один раз вычисли и дальше передавай в виде переменной
1 может попробовать разбить на более простые операции и посмотреть в каком месте самые большие тормоза?
2 попробуй вынести pd_series_unique за скобки
ну в смысле чтоб оно не каждый раз по всей таблице пробегало, один раз вычисли и дальше передавай в виде переменной
h
самые большие тормоза на функции обьединения столбцов
сейчас вам замеряю время
сейчас вам замеряю время
h
да, я преуменьшил
42 секунды
42 секунды
AD
42 секунды на таблицу с 5 миллионами строк?
могу порекомендовать разве что модные процессоры и жидкий азот
могу порекомендовать разве что модные процессоры и жидкий азот
I
А почему сначала не объединить столбцы, а потом уже to_datetime делать с форматом дата+время? А то ты сначала переводишь два отдельных столбца в datetime, потом в строку, объединяешь, потом преобразовываешь обратно в datetime?
EZ
Нормальное время, абсолютно, для стандартного метода
I
Ф-ия lookup вообще не имеет смысла
h
а есть не стандартный метод но с нормальным временем?)
h
То есть это стандарт?