Сходу гуглятся только ML подходы типа
https://towardsdatascience.com/ml-powered-product-categorization-for-smart-shopping-options-8f10d78e3294
https://medium.com/dataweave/implementing-a-machine-learning-based-ecommerce-product-classification-system-f846d894148b
https://techblog.commercetools.com/boosting-product-categorization-with-machine-learning-ad4dbd30b0e8
https://arxiv.org/pdf/1903.04254.pdf
http://www.cse.scu.edu/~mwang2/projects/ML_KaggleCompetition_15s.pdf

Если задача разовая, то, наверное, проще написать правила для этих 5000 категорий и применить их к карточкам — возможно, это быстрее, чем строить модель

А под правилами, что вы имеете ввиду ? Просто эвристику какую то?

да, типа если встречается слово "авто", то присваивать категории  "автомобили", "автотранспорт", "машины" — просто не знаю, какие там категории, может быть по одному правилу можно относить к куче категорий сразу

еще один опрос по VL:
1/ есть датасет, в котором первые два столбца - тема письма и текст, третий - категория. Нужно научить модель определять категорию. Вопрос, правильно ли выбран путь и, если нет, то чем дополнить:

1/ привести все имеющиеся значения в ячейках к lower (чтобы не было влияния строчных-заглавных букв)
2/ в столбце, который предстоит предсказывать, проиндексировать все уникальные значения, чтобы передавать не текстовое представление, а его индекс
3/ слова в столбцах, на основании которых будем предсказывать (features), превратить в векторы

как я понимаю, все это относится к чистке данных.

потом уже полученные вектора скормить кэтбусту или xgboost.

Господа, а кто-нибудь парсил цены с Aliexpress? Почему-то не могу отловить нужный класс с Beautifulsoup, отдается пустой массив

Привет!
А не подскажите, какой-нибудь гайд по стримингу данных из ГА в BQ?

Привет! Скажите, пж, как сделать такую трансформацию?

A column                                 value
['a']                                              100
['c', 'd', 'f']                                  250
['g', 't']                                        300

Нужно превратить в это

a     100
c      250
d     250
f      250
g     300
t     300

Сделал, через циклы, но код на 100 строк получается, сделал через мелт, значение пропускает, возможно, есть какой-то быстрый вариантик или позже

Инструкции через мелт
https://www.mikulskibartosz.name/how-to-split-a-list-inside-a-dataframe-cell-into-rows-in-pandas/

Скрин как делал через циклы

Да, с pandas всегда история, что только начнешь городить костыль, как тут же оказывается, что уже есть что-то нативное на замену своему костылю)

Сейчас смотрю на это и думаю "что за ад"