Size: a a a

Python для анализа данных

2020 December 19

M

Mikhail in Python для анализа данных
[
(df1, ["col1", "col2"]),
(df2, ["col3", "col4"]),
...
]
источник

M

Mikhail in Python для анализа данных
и потом
источник

M

Mikhail in Python для анализа данных
for df, cols in dfs:
   df.loc[:,cols] = pd.to_datetime(df[cols])
источник

D

Dmitriy in Python для анализа данных
Mikhail
for df, cols in dfs:
   df.loc[:,cols] = pd.to_datetime(df[cols])
Спасибо, да, тоже подумал, что надо просто структуру данных другую сделать.
источник

СИ

Сергей Ильин... in Python для анализа данных
всем добрый вечер
кто-то имел дело с геопандас?

в общем, задача тривиальна:

есть несколько разбросанных по москве больших отделов, в которых ребята сдавали тест на ковид, хочу все это дело визуализировать.

как это проще сделать?
была идея засунуть адрес в геопандас, но, похоже, он так не умеет.
Может быть есть возможность его как-то подружить с чем-то в духе geopy?

в общем, буду благодарен за советы
источник

VR

Vasily Rozhkov in Python для анализа данных
мне кажется проще в какое нибудь tableau выгрузить.
источник

СИ

Сергей Ильин... in Python для анализа данных
Vasily Rozhkov
мне кажется проще в какое нибудь tableau выгрузить.
черт, думал, что “код в три строчки” (

типа “взяли адрес из датафрейма” - “запихнули в геопандас” (тут адрес с помощью геопанд превращается в шейпы) - “оттуда - в потли” ну или как-то так
источник

VR

Vasily Rozhkov in Python для анализа данных
может такое и есть, я просто предложил вариант)
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Сергей Ильин
черт, думал, что “код в три строчки” (

типа “взяли адрес из датафрейма” - “запихнули в геопандас” (тут адрес с помощью геопанд превращается в шейпы) - “оттуда - в потли” ну или как-то так
Ну там и есть три клика. Надо попробовать может уже российские адреса текстом переводит в координаты
источник

PZ

Pavel Zheltouhov in Python для анализа данных
С англоязычными точно работало
источник
2020 December 20

СИ

Сергей Ильин... in Python для анализа данных
итак, господа, если кому интересно:

проблема решена без геопанд:

пандас плюс сумасшедше красивая библиотека folium
источник

D

Daria in Python для анализа данных
Сергей Ильин
итак, господа, если кому интересно:

проблема решена без геопанд:

пандас плюс сумасшедше красивая библиотека folium
ох, геопанда такая громозкая, как по мне. для одного города тем более. фолиум хорош. плотли экспресс тоже отлично и быстро делает карты, я в ней запилила даже  посуточную анимацию по мировой ковидле за 2020 год. Plotly - one love 😍
источник

STM32F04 и анамнезис... in Python для анализа данных
Переслано от STM32F04 и анамнезис...
источник

AO

Andrey Ostrovsky in Python для анализа данных
Zurab
Доброго времени суток!
Разбираю кроссвалидацию в  fb Prophet для прогнозирования.
по этой ссылке https://facebook.github.io/prophet/docs/diagnostics.html#parallelizing-cross-validation
Не могу понять что значат термины.
Horizon - период, на котором я хочу проверить точность прогноза,
Initial - период, на котором модель будет обучаться
Period - уже не очень понимаю что. Что значит интервал между датами отсечения.
и что такое отсечки?
Статью раз 20 перечитал и на калькуляторе пересчитывал периоды, но не очень понял.
Привет, если еще актуально, то можешь вот эту статью прочитать) они про это здесь тоже пишут. Тут также в целом рассказывается, как происходит валидация в прогнозах. Если коротко, то (в твоем примере) он строит прогноз по историческим данным много раз (с каждого cutoff, которые расположены на period друг от друга) на продолжительность horizon и сравнивает с фактом

https://peerj.com/preprints/3190.pdf
источник

AO

Andrey Ostrovsky in Python для анализа данных
А, там даже на эту же статью ссылка и идет

Они в ней в частности еще пишут как раз, что обычно берут period равный половине horizon
источник

Z

Zurab in Python для анализа данных
Andrey Ostrovsky
Привет, если еще актуально, то можешь вот эту статью прочитать) они про это здесь тоже пишут. Тут также в целом рассказывается, как происходит валидация в прогнозах. Если коротко, то (в твоем примере) он строит прогноз по историческим данным много раз (с каждого cutoff, которые расположены на period друг от друга) на продолжительность horizon и сравнивает с фактом

https://peerj.com/preprints/3190.pdf
да, актуально, разбираю инструкцию по строчкам, спасибо.
не подскажете что значит предложение
"If you pass in historical dates, it will provide an in-sample fit."
это про датафрейм forecast = m.predict(future)
будущие даты это прогноз в столбце yhat, а прошлые даты что-то не понял что за соответствие  по выборке?
источник

Z

Zurab in Python для анализа данных
Andrey Ostrovsky
Привет, если еще актуально, то можешь вот эту статью прочитать) они про это здесь тоже пишут. Тут также в целом рассказывается, как происходит валидация в прогнозах. Если коротко, то (в твоем примере) он строит прогноз по историческим данным много раз (с каждого cutoff, которые расположены на period друг от друга) на продолжительность horizon и сравнивает с фактом

https://peerj.com/preprints/3190.pdf
и еще вопрос, если статистика за 4 года, и нужен прогноз на 30 дней.нужно натренировать модель, и по лучшим параметрам сделать этот прогноз.
в таком случае horizon - 30 дней,
initial - 1095 дней
perid -15 дней
а cutoff я не указываю?
источник

AO

Andrey Ostrovsky in Python для анализа данных
Zurab
да, актуально, разбираю инструкцию по строчкам, спасибо.
не подскажете что значит предложение
"If you pass in historical dates, it will provide an in-sample fit."
это про датафрейм forecast = m.predict(future)
будущие даты это прогноз в столбце yhat, а прошлые даты что-то не понял что за соответствие  по выборке?
источник

IS

Ivan Samorukov in Python для анализа данных
С этим тоже поигрался. Работает криво
источник

Z

Zurab in Python для анализа данных
очень клево, большое спасибо, приятно когда читаешь и становится понятнее о чем речь))
источник