По сути и там, и там кодирование категориального признака происходит через создание бинарных признаков. По уму, конечно, такое кодирование всегда должно предполагать создание n-1 бинарных признаков, где n — кол-во категорий. Это нужно для того, чтобы в данных не появлялась строгая мультиколлинеарность.

На практике же чистые линейные модели используют редко, как правило всегда навешивается сверху регуляризация, которая в свою очередь убирает эффект неединственности оценок, который наступает в случае этой самой строгой мультиколлинеарности, и поэтому на n-1 признаков, грубо говоря, забивают и вводят n бинарных. Хотя это, конечно, некрасивый подход

а еще вопрос, если у меня все признаки в датасете бинарные, то есть диапазон от 0 до 1, кроме одного, то разумно ведь сделать нормализацию минимакс только одного признака?

или это неважно, и лучше стандартизацию?

Да, вполне

зависит еще от модели, если xgboost, например, то не надо

спасибо

Почему возникает мультиколлениарность, если новых признаков столько же, сколько категорий?

Потому что сумма этих признаков всегда будет равна константному единичному признаку

так вроде w*(x..+xn)=w*1, если все категории учтены, у нас же (x..+xn) - это некая матрица. ?

Не понял. У вас же n новых признаков будет, соответственно и n новых весов

ну в модели идет сложение (w1*x1+w2*x2..+wn*xn)=w(x1+x2+..xn)=w*1/ так вроде, если x-nый в скобках равен либо единице либо нулю в каждой строчке?

Представьте матрицу объекты-признаки X, где по столбцам у нас наши признаки. Первым идёт константный единичный признак. Если вы введёте n бинарных признаков на n категорий, то вы получите систему линейно зависимых векторов, то есть строгую мультиколлинеарность

Друзья. Подскажите пару идей, как монетизировать знания (краткосрочно, и за сравнительно небольшие деньги)
Закончил 3 курса специализации, теперь самостоятельно копаю в сверточные сети

ну так это тоже самое только другим языком, я просто отталкивался от того что константного ед. признака нет

Но ведь он есть)

ну почему он есть, это от хозяина зависит:))

а как у вас получилось вынести w за скобки?
по идее ж при каждом х веса разные

Да он всегда есть, если в модели есть свободный член w.

видимо при таком раскладе все w-nые будут равны w, так видимо

ну так я и говорю, от хозяина модели зависит, ввел он его или нет, в некоторых случаях он может априори, например, равен нулю