Там все детали раскрываются в комментариях к статье. Можно связаться с автором. Он очень открыто и активно отвечал на все вопросы.

это публикация гуляет уже давно.
самый жгучий вопрос — авторские права.
но это всего-лишь граббер.
смысловой анализ он не делает.

т.е. это круто, но решает совсем иную задачу.

Да. Там мельком просматривается следующий подход - не нужно пытаться объять необъятное (распарсить и проанализировать всё), достаточно сделать допущения. Принцип Паретто.

Это уже называется постановкой задачи.
Наиболее сложная и интересная часть проектов.

Она делается в т.ч. с образцами и инструментами в руках.
Но этот вопрос выходит далеко за рамки настоящего чата.
В целом, он малоинтересен аналитикам среднего уровня.

Здравствуйте. Может вот это подойдёт - https://github.com/miptgirl/kinopoisk_data/blob/master/kp_all_movies.csv

спасибо👍 старенькая конечно, но тоже супер

Раньше можно было спарсить фильмы с оф.сайта, сейчас не знаю.

Добрый день. Решают задачу fraud detection. Данные - временные ряды + текст.
Интересует сейчас кусок с текстом.

Проблема фрода - это дикий дисбаланс классов. Просто отрезать "не фродовые" сообщения, чтобы уравнять классы кажется плохой идеей.

Можно ли в склерне или в имблерне (imbalanced) сделать такую штуку: с помощью какой-нибудь K-fold брать данные из обоих классов "с возвращением"?

Типа, взяли по 10 записей из каждого класса - это первая выборка, вернули в кучки, перемешали, потом взяли еще по 10 записей - и так k раз.

И еще, чтобы два раза не вставать, можно ли так:
- взять фродовые тексты, превратить их в вектора, затем с помощью SMOTE посчитать дополнительные синтетические вектора внутри "фродового" класса, чтобы уравнять??

Спасибо заранее.

Что за заморочка, если sample даже в pandas есть?

sample - понятно.

"стандартный" k-fold бьет датафрейм на k частей и обучается на k-1, на 1 проверяет.
Но у меня проблема дикого дисбаланса и я бы не хотел отрезать 0 классы, а добавить 1

Но уравнять классы надо.
Вопрос в том, как это правильно делать.

туплю. Возможно,

from sklearn.model_selection import RepeatedStratifiedKFold

Да понятно. Технически ничего не мешает это сделать до

...кроме потребления памяти

хорошо. я сдаюсь. что делать-то мне? ))

Мне кажется  RepeatedStratifiedKFold - тоже норм

ок, данке, пойду (м)учиться

Всем добрый день!
Помогите решить задачку. Имею следующий формат учета продаж.
Необходимо посчитать тотал по каждому клиенту.
В Power Query задачку решил, в питоне не получается.

Pivot table?

Проблема в том, что клиенты в разных столбцах.