Size: a a a

Python для анализа данных

2021 March 11

AK

Aleksei Komissarov in Python для анализа данных
ничего себе, а stop_dates - это куда?
источник

AK

Alex K in Python для анализа данных
в твоём случае
.loc[’2021-02-03’:]
источник

AK

Aleksei Komissarov in Python для анализа данных
ну это как-то чересчур
источник

IS

Ivan Samorukov in Python для анализа данных
кстати, да, часто datetimeindex бывает неудобен в работе.  никто не встречал нормальный туториал по работе с такими индексами? в книжках, которые читал, эта тема только вскользь описывалась
источник

3

3ldar in Python для анализа данных
Ivan Samorukov
кстати, да, часто datetimeindex бывает неудобен в работе.  никто не встречал нормальный туториал по работе с такими индексами? в книжках, которые читал, эта тема только вскользь описывалась
Да а чего с ним играться, просто reset_index и вперёд
источник

s

ssv in Python для анализа данных
Привет! Подскажите, как корректно узнать тип данных элемента фрейма (все эл-ты столбца имеют одинаковый тип) ? Dtypes выдаёт object, но type(df[x][0]) - decimal. Как бы порешать без обхода фрейма по первому элементу столбца?
источник

3

3ldar in Python для анализа данных
ssv
Привет! Подскажите, как корректно узнать тип данных элемента фрейма (все эл-ты столбца имеют одинаковый тип) ? Dtypes выдаёт object, но type(df[x][0]) - decimal. Как бы порешать без обхода фрейма по первому элементу столбца?
Как по первому элементу столбца узнать, что в колонке смешаны типы?
источник

3

3ldar in Python для анализа данных
источник

s

ssv in Python для анализа данных
3ldar
Как по первому элементу столбца узнать, что в колонке смешаны типы?
Нет, они не смешаны. Разница в представлении типа столбца фрейма и фактического.
источник

s

ssv in Python для анализа данных
Спасибо, гляну
источник
2021 March 12

AK

Aleksei Komissarov in Python для анализа данных
ssv
Привет! Подскажите, как корректно узнать тип данных элемента фрейма (все эл-ты столбца имеют одинаковый тип) ? Dtypes выдаёт object, но type(df[x][0]) - decimal. Как бы порешать без обхода фрейма по первому элементу столбца?
Посмотреть бы на это
источник

s

ssv in Python для анализа данных
Aleksei Komissarov
Посмотреть бы на это
Вторая попытка сошлась на цикле по столбцам с  pandas.api.types.infer_dtype. Производительностью не интересовался пока)
источник

s

ssv in Python для анализа данных
Мне главное было сдетектить decimal, byte. Что себя оправдывает и исключает сюрпризы, в виде левых типов в серии.
источник

VM

Valerii Mamontov in Python для анализа данных
ssv
Привет! Подскажите, как корректно узнать тип данных элемента фрейма (все эл-ты столбца имеют одинаковый тип) ? Dtypes выдаёт object, но type(df[x][0]) - decimal. Как бы порешать без обхода фрейма по первому элементу столбца?
Здравствуйте!
Решений несколько.
1. Проверить на NaN. Потом сделать to_numeric к столбцу и снова посмотреть nan. Грохнуть nan.
2. Преобразовать данные в столбце к категории и посмотреть, что внутри. df['name'].astype('category')
3. Посмотреть, что за данные в столбце - df['name'].value_counts().
Через .apply() преобразовать в нужный тип.
источник

s

ssv in Python для анализа данных
Valerii Mamontov
Здравствуйте!
Решений несколько.
1. Проверить на NaN. Потом сделать to_numeric к столбцу и снова посмотреть nan. Грохнуть nan.
2. Преобразовать данные в столбце к категории и посмотреть, что внутри. df['name'].astype('category')
3. Посмотреть, что за данные в столбце - df['name'].value_counts().
Через .apply() преобразовать в нужный тип.
Спасибо за идею) в моем случае Типов много, и под 'O' может быть от byte/string до того же decimal. А вопрос преобразования типов тоже хитер, т. К. Не все нормально конвертят серию целиком. Например int from byte - у меня получилось через лямбду, что медленно.
источник

VM

Valerii Mamontov in Python для анализа данных
ssv
Спасибо за идею) в моем случае Типов много, и под 'O' может быть от byte/string до того же decimal. А вопрос преобразования типов тоже хитер, т. К. Не все нормально конвертят серию целиком. Например int from byte - у меня получилось через лямбду, что медленно.
Не видя данные, сложно советовать.
Когда Вы покрутите данные, посмотрите, что внутри столбца, тогда станет ясно каким путем их обрабатывать.
И то, что в столбце присутствуют разнородные данные должно иметь какое-то объяснение.
источник

s

ssv in Python для анализа данных
Valerii Mamontov
Не видя данные, сложно советовать.
Когда Вы покрутите данные, посмотрите, что внутри столбца, тогда станет ясно каким путем их обрабатывать.
И то, что в столбце присутствуют разнородные данные должно иметь какое-то объяснение.
Я знаю что там должно быть, но не факт что именно в таком же виде все и придёт)
источник

KM

Konstantin Mohov in Python для анализа данных
Панда - зверь умный. Если он сразу не задетектил тип столбца , значит правильно говорят выше - там разнородные данные или пропуски. И в таком случае проверять по первому элементу максимально некорректно.
источник

s

ssv in Python для анализа данных
Тогда укажите, где ошибка
https://paste.ofcode.org/bNEPRYThu25eMZYFHWPbFb
источник

s

ssv in Python для анализа данных
блин.. как в код сформатить?
источник