GE
Ну на большом датасете такое долго будет работать просто
Предложи свое решение, пожалуйста.
Size: a a a
2020 September 18
RY
Забыл сказать - там порядка миллиона строк). Нужна скорость
GE
Забыл сказать - там порядка миллиона строк). Нужна скорость
Попробуй
RY
пока на 100к в 40 секунд уклаывается
ДВ
Так вроде должно быстро сработать
df['len_text'] = list(map(len, df['text']))
A
df['len_text'] = df['text'].apply(lambda x: len(str(x)))
Это решение по идее быстрее
GE
Так вроде должно быстро сработать
df['len_text'] = list(map(len, df['text']))
map - генератор. при преобразовании в list будет цикл. Если в text будет не str - будет ошибка
GE
```df['len_text'] = list(map(len, df['text'].astype(str)))```
ДВ
Это решение по идее быстрее
Да, реально его решение быстрее работает.. 🤔
GE
пока на 100к в 40 секунд уклаывается
Можно еще pandas в dusk перекинуть - он умеет в несколько потоков. Но если не знаешь как им пользоваться - помучаешься.
RY
Так вроде должно быстро сработать
df['len_text'] = list(map(len, df['text']))
ок. буду тестить. Спасибо!
RY
Можно еще pandas в dusk перекинуть - он умеет в несколько потоков. Но если не знаешь как им пользоваться - помучаешься.
а если использовать joblib&
GE
а если использовать joblib&
или так - mp решает
IG
Можно еще pandas в dusk перекинуть - он умеет в несколько потоков. Но если не знаешь как им пользоваться - помучаешься.
вот в этом свифтере, что я скидывал - грят что он(свифтер обходит даск)
IG
ну еще можно поднять кластер с хадупом, записать в паркетник, и посчитать спарком
GE
ну еще можно поднять кластер с хадупом, записать в паркетник, и посчитать спарком
Проше все же запустить код как есть - попить чайку и все будет готово даже на 10 Миллионах записей
IG
это точно, за время чая может поймешь, что и не нужно все это