v
И по моим ощущениям он все равно быстрее чем если табличку делать на ванильных списках.
Size: a a a
2021 November 14
v
Про R я не заикаюсь вообще.
IS
Пандас — угу. Это архитектурное дно
v
Недавно скидывали мне проект с датафреймами на либе polars, как он там?
IS
Хорошая замена
T
Если только с числами работать - возможно.
v
Ага, все что можно в сам массив засунуть вместо ссылки на значение. Со строками уже не выйдет.
PZ
О, проектирование jsonмешалок по ощущениям. Наше любимое.
v
Но в любом случае - те же матплотлиб с сиборном завязаны на нампи + пандас и пока не будет достойной альтернативы, фиг я от них уйду.
v
Ну я пытался недавно переписать куски кода, работающие со строками из таблицы, чтобы хранились в массивах. Так и не вышло ускорить, плюнул и оставил просто на ванильных итераторах. И это даже без пандас, там совсем шансов не было.
PZ
И это все чтобы я в Пятерочке должен каждый экземпляр молочка пробивать? Раньше то нормально было. А сейчас qr-коды уникальные.
Тьфу.
Тьфу.
AG
Посмотрел про polars, ждём релиза, интересно
2021 November 15
IS
вопросик есть:
Как быстро прийти от списка вида
- количество элементов в исходном словаре ~100K
- количество элементов в списке в каждой позиции словаря ~50 (плавает от строки к строке)
- целевое временное окно преобразования ~1-3с
Как быстро прийти от списка вида
data = {'A' : ['X','Y','Z'], 'B' : 'X', 'C' : ['X','Z']}
К датафрейму видаdf = pd.DataFrame({
'id': ['A', 'A', 'A', 'B', 'C', 'C'],
'var': ['X', 'Y', 'Z', 'X', 'X', 'Z']})
Целевые количественные показатели:- количество элементов в исходном словаре ~100K
- количество элементов в списке в каждой позиции словаря ~50 (плавает от строки к строке)
- целевое временное окно преобразования ~1-3с
M
на производительность не проверял, лень данные генерить
IS
важно соблюдение количественных показателей
основной вопрос именно к ним
основной вопрос именно к ним
AD
пуэ пайтон
производительность не мерял
производительность не мерял
M
данные входные жёстко в виде дикта?
IS
можно переформатировать.
по сути это файл в котором каждая строка вида:
по сути это файл в котором каждая строка вида:
A=X;Y;Z
если это как-то упрощает ситуациюIS
1-3 секунды — жёстко