Size: a a a

Python для анализа данных

2021 January 11

OO

Oleg Omelchenko in Python для анализа данных
тут уже помогли, но я тоже поделюсь своим вариантом
источник

AK

Alex K in Python для анализа данных
from sklearn.metrics import mean_absolute_error
источник

AK

Alex K in Python для анализа данных
ну это не совсем разность, тут она ещё поделена на кол-во элементов
источник

VO

Valentin Osadchii in Python для анализа данных
Oleh
привет!
Помогите пожалуйста разобраться, как я могу применить векторизацию. В рамках саморазвлечения и самообразования пытаюсь с нуля написать на питоне вычислительное решение n-body problem (для простоты — в двухмерном пространстве).
Есть numpy-array Nx5, который представляет координаты, массу и вектор движения N точек. Чтобы рассчитать, какие силы влияют на каждый объект в данный момент времени, мне нужно поэлементно произвести математические операции каждого элемента с каждым.  если это делать “в лоб”,  то при N=300 просчет “каждый для каждого” на моей машине занимает почти две секунды. А поскольку мне нужно провести много итераций этой функции, возник вопрос как можно оптимизировать следующий код:
obj = np.array(<Nxm>) # исходный объект содержащий координаты и т.д.
       results = np.zeros((len(obj), 2)) # объект, в который будут записываься результаты вычислений
       for i, pt_i in enumerate(obj):
           for j, pt_j in enumerate(obj):
               if i <= j:
                   continue
               iter_res = calculate_forces(pt_i[0:3], pt_j[0:3]) # функция производит несколько математических операций над двумя массивами 1х3, результат вычисления для пары элементов — array 1x2
               results[i] += list(iter_res)
               results[j] -= list(iter_res)

быстрый гугл дал очень много разных вариантов встроенных функций numpy, и я не вполне могу быстро разобраться какой из них мне может подойти а какой нет. Заранее спасибо!
А обертка типа np.vectorize не поможет?
источник

А

Александр in Python для анализа данных
Всем привет!
У меня данные из API My Tаrget: https://prnt.sc/wl4f5d. И нужно их привести в нормальный датафрейм.
Делаю так: https://prnt.sc/wl4h8i и теряю id объявления, потому что id вне элемента rows. Как сделать правильно? Готов мириться с названиями через точку, а id объявления хотелось бы выводить в датафрейм. Есть представление, как засунуть id в rows, но это прямо костыль.
источник

А

Алексей in Python для анализа данных
Александр
Всем привет!
У меня данные из API My Tаrget: https://prnt.sc/wl4f5d. И нужно их привести в нормальный датафрейм.
Делаю так: https://prnt.sc/wl4h8i и теряю id объявления, потому что id вне элемента rows. Как сделать правильно? Готов мириться с названиями через точку, а id объявления хотелось бы выводить в датафрейм. Есть представление, как засунуть id в rows, но это прямо костыль.
stat_dict = {'sitename': [], 'pad_id': [], 'date': [], 'shows': [], 'clicks': [], 'money': []}

for elem in result['items']:
   sitename = elem['sitename']
   pad_id = elem['pad_id']
   for day in elem['detailed_stat']:
       stat_dict['sitename'].append(sitename)
       stat_dict['pad_id'].append(pad_id)
       stat_dict['date'].append(day['date'])
       stat_dict['shows'].append(day['shows'])
       stat_dict['clicks'].append(day['clicks'])
       stat_dict['money'].append(day['amount'])
       
stat_df = pd.DataFrame(stat_dict)
источник

А

Алексей in Python для анализа данных
примерно так, тоже работаю с my target
источник

А

Александр in Python для анализа данных
Ну вот циклом тоже получается, но мне как-то не нравилось то, что у меня получилось. Искал что-то оптимальнее.
источник
2021 January 12

D

Dima🐼 in Python для анализа данных
Oleh
привет!
Помогите пожалуйста разобраться, как я могу применить векторизацию. В рамках саморазвлечения и самообразования пытаюсь с нуля написать на питоне вычислительное решение n-body problem (для простоты — в двухмерном пространстве).
Есть numpy-array Nx5, который представляет координаты, массу и вектор движения N точек. Чтобы рассчитать, какие силы влияют на каждый объект в данный момент времени, мне нужно поэлементно произвести математические операции каждого элемента с каждым.  если это делать “в лоб”,  то при N=300 просчет “каждый для каждого” на моей машине занимает почти две секунды. А поскольку мне нужно провести много итераций этой функции, возник вопрос как можно оптимизировать следующий код:
obj = np.array(<Nxm>) # исходный объект содержащий координаты и т.д.
       results = np.zeros((len(obj), 2)) # объект, в который будут записываься результаты вычислений
       for i, pt_i in enumerate(obj):
           for j, pt_j in enumerate(obj):
               if i <= j:
                   continue
               iter_res = calculate_forces(pt_i[0:3], pt_j[0:3]) # функция производит несколько математических операций над двумя массивами 1х3, результат вычисления для пары элементов — array 1x2
               results[i] += list(iter_res)
               results[j] -= list(iter_res)

быстрый гугл дал очень много разных вариантов встроенных функций numpy, и я не вполне могу быстро разобраться какой из них мне может подойти а какой нет. Заранее спасибо!
Попробуйте использовать numba
источник

АИ

Александр Игнатенко... in Python для анализа данных
Друзья, всем привет. Очень ищу людей, в последнее время занимавшихся на курсах веб-аналитики. Откликнитесь пожалуйста, нужна ваша помощь.
источник

SI

Stas Ivanov in Python для анализа данных
Александр Игнатенко
Друзья, всем привет. Очень ищу людей, в последнее время занимавшихся на курсах веб-аналитики. Откликнитесь пожалуйста, нужна ваша помощь.
Я занимаюсь на yandex практикум на аналитика данных. С веб аналитикой тоже дружу
источник
2021 January 14

Аa

Александр Марковский... in Python для анализа данных
Ребятушки, кто-нибудь занимался машинным обучение в сейсморазведке или нефтегазовой сфере?  Отпишите в лс если такие есть,  интересно пообщаться.
источник

NB

Nikita Baburov in Python для анализа данных
Александр Марковский antiner
Ребятушки, кто-нибудь занимался машинным обучение в сейсморазведке или нефтегазовой сфере?  Отпишите в лс если такие есть,  интересно пообщаться.
Делаем сейсмику, но обработкой только полевой занимаемся. Попробуй написать в компанию Пангея. Ну либо уже сразу в Газпромнефть выходи
источник

NB

Nikita Baburov in Python для анализа данных
Александр Марковский antiner
Ребятушки, кто-нибудь занимался машинным обучение в сейсморазведке или нефтегазовой сфере?  Отпишите в лс если такие есть,  интересно пообщаться.
Если так же есть какие-ть MVP рабочие по ML-ю в нефтегазе - сохрани контакт. Готовы партнерится на различных условиях.
источник

DG

Dafman Grey in Python для анализа данных
Всем привет!
С помощью какой библиотеки преобразовать формат данных столбца в датасете?
источник

DG

Dafman Grey in Python для анализа данных
И вообще редактировать
источник

РЧ

Руслан Черненко... in Python для анализа данных
Pandas попробуй 🤨
источник

A

Andrey Denisov in Python для анализа данных
Не, тут Гугл нужен
Раз уже на ТАКОМ этапе вопросы)
источник

S

Slavik in Python для анализа данных
Andrey Denisov
Не, тут Гугл нужен
Раз уже на ТАКОМ этапе вопросы)
😸
источник

DG

Dafman Grey in Python для анализа данных
Andrey Denisov
Не, тут Гугл нужен
Раз уже на ТАКОМ этапе вопросы)
Первый раз буду вертеть датасет в пайтоне. Так что не серчайте, джедаи)
источник