Size: a a a

Python для анализа данных

2021 January 07

А

Алексей in Python для анализа данных
Pavel Zheltouhov
А это зря. Вам же весь процесс важен.
у меня конкретная задача, при каком времени будет такая то вероятность и вычислить величину ошибки определения этого времени
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
у меня конкретная задача, при каком времени будет такая то вероятность и вычислить величину ошибки определения этого времени
И не забывайте что это тестовое на аналитика. Они ожидают применение нужных им навыков.
источник

А

Алексей in Python для анализа данных
@PavloZ знание scipy это необходимый навык у аналитика данных?
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
@PavloZ еще надо посчитать ошибку в определении времени
Может подразумевалось, что данные времени изначально содержат ошибку, а реальный физический процесс красиво-логистический ?
источник

А

Алексей in Python для анализа данных
Pavel Zheltouhov
Может подразумевалось, что данные времени изначально содержат ошибку, а реальный физический процесс красиво-логистический ?
эти данные это замеры времени, когда засыпал человек
источник

А

Алексей in Python для анализа данных
судя по графику ошибки в данных нет. Видно, что после определенного времени он всегда спит, но иногда ложится пораньше
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
@PavloZ знание scipy это необходимый навык у аналитика данных?
Ну Табло тоже может подогнать это. Без scipy.
Я просто не пытался имитировать резюме аналитика. Но вроде в sklearn нет подгонки функций общего назначения
источник

А

Алексей in Python для анализа данных
тут же не линейная регрессия нужна?
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
эти данные это замеры времени, когда засыпал человек
Тогда все выглядит красиво.
Ну может кто посоветует что там в sklearn
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Вот тут наверное максимально общий путь описан . Исходят из того, что фунциональные законы можно свести к линейной модели

https://scikit-learn.org/stable/auto_examples/compose/plot_transformed_target.html

Но мне кажется это слишком громоздким в сравнении с scipy
источник

I

Igor in Python для анализа данных
Pavel Zheltouhov
Ну Табло тоже может подогнать это. Без scipy.
Я просто не пытался имитировать резюме аналитика. Но вроде в sklearn нет подгонки функций общего назначения
curve_fit в scipy. Используется нелинейный МНК
источник

А

Алексей in Python для анализа данных
источник

А

Алексей in Python для анализа данных
По идее у меня есть значение вероятности до 0.9 и после 0.9, т.е. нам известно, что при вероятности 0.873 сдвиг по времени был 45 минут, а при значении 0.904, стал 46 минут. Где то между 45й и 46 минутой лежит вероятность со значением 0.9. Можно же предсказать значение сдвига используя именно линейную регрессию?
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
По идее у меня есть значение вероятности до 0.9 и после 0.9, т.е. нам известно, что при вероятности 0.873 сдвиг по времени был 45 минут, а при значении 0.904, стал 46 минут. Где то между 45й и 46 минутой лежит вероятность со значением 0.9. Можно же предсказать значение сдвига используя именно линейную регрессию?
Можно. Но некруто.
Вам же уже написали специальную крутую аббревиатуру МНК чтобы вселить уверенность в крутости scipy
источник

А

Алексей in Python для анализа данных
@PavloZ, первым аргументом curve_fit это функция, какую функцию нужно подставить?
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
@PavloZ, первым аргументом curve_fit это функция, какую функцию нужно подставить?
Эээ. Ну ее надо написать. 1/exp() или как-то так.
Обычную функцию на питоне, но с аргументами . Лишь бы форма на графике была похожа.
curve_fit будет ее подгонять и выдаст конкретные аргументы
источник

I

Igor in Python для анализа данных
Алексей
По идее у меня есть значение вероятности до 0.9 и после 0.9, т.е. нам известно, что при вероятности 0.873 сдвиг по времени был 45 минут, а при значении 0.904, стал 46 минут. Где то между 45й и 46 минутой лежит вероятность со значением 0.9. Можно же предсказать значение сдвига используя именно линейную регрессию?
Я сейчас не совсем вообще понимаю что предсказывается) Значения времени по вероятности???
источник

А

Алексей in Python для анализа данных
Igor
Я сейчас не совсем вообще понимаю что предсказывается) Значения времени по вероятности???
в определенном интервале времени на протяжении нескольких дней замерялось спит человек или нет. Нужно указать время с точностью до секунды, когда человек с вероятностью 0.9 уже спит
источник

А

Алексей in Python для анализа данных
данные были в виде время с точностью до минуты, сдвиг по времени в минутах (относительно 22-00) и результат наблюдения (1 - человек спит, 0 - бодрствует)
источник

А

Алексей in Python для анализа данных
я сгруппировал данные времени и вычислил вероятность того, что человек спит в определенную минуту наблюдаемого периода
источник