Size: a a a

Machine learning

2020 June 04

AO

Alex Ololo in Machine learning
Артём Глазунов
К примеру, для аримы его используют, чтобы стабилизировать дисперсию и сделать ряд стационарным. Просто иначе модель использовать некорректно, а предсказания не будут учитывать переменную дисперсию. Логарифмирование- его частный случай. Также удобно использовать преобразование yeo-johnson для приведения к нормальному распределению значения знакопеременного отклика.
да. логарифмирование помогает распределение ошибок сделать нормальным) а значит и ряд станцинарным и дисперсию стабилизирвоать) как я думаю..
источник

IN

Ivan Nazhestkin in Machine learning
K-S
Там вроде бы даже ее увеличивают после первого падения на памяти
нет, к сожалению(
уже раза три crashed и всё столько же свободной памяти
источник

АГ

Артём Глазунов... in Machine learning
Ivan Nazhestkin
нет, к сожалению(
уже раза три crashed и всё столько же свободной памяти
Сначала Del var, затем gc. Collect(), и побольше функций, мне такой рецепт помогает
источник

y

yithian in Machine learning
В ноутбуке же есть встроенный профайлер - можно посмотреть какие объекты сколько памяти занимают.
источник

y

yithian in Machine learning
И сделать выводы.
источник

y

yithian in Machine learning
Но часто самое дешёвое решение - железное.)
источник

IN

Ivan Nazhestkin in Machine learning
Хорошо)
Спасибо:)

Занимает память объект TruncatedSVD, я это уже знаю.
Он прямым текстом говорит, что 9 Гб выделить не может
источник

АГ

Артём Глазунов... in Machine learning
Alex Ololo
да. логарифмирование помогает распределение ошибок сделать нормальным) а значит и ряд станцинарным и дисперсию стабилизирвоать) как я думаю..
Все правильно, только порядок цепочки другой немного, но это не принципиально
источник

АГ

Артём Глазунов... in Machine learning
Ivan Nazhestkin
Хорошо)
Спасибо:)

Занимает память объект TruncatedSVD, я это уже знаю.
Он прямым текстом говорит, что 9 Гб выделить не может
А обязательно такие сложности? , далеко не всегда это все нужно для текстов...
источник

АГ

Артём Глазунов... in Machine learning
Просто грамотный векторайзер нужен, при необходимости нормализации, конечно,.. И всё, хотя Вашу задачу я не знаю, конечно
источник

IN

Ivan Nazhestkin in Machine learning
Это C6W5. Надо 85% accuracy на Kaggle побить.
Я смотрел решения многих людей при проверке на прошлом этапе, там очень часто снижение размерности через PCA выполняли.

А пробовать различные параметры vectorizer'а и разные классификаторы - это максимум 80% даст
источник

IN

Ivan Nazhestkin in Machine learning
у меня, по крайней мере, больше не вышло
источник

АГ

Артём Глазунов... in Machine learning
Я не пользовался
источник

IN

Ivan Nazhestkin in Machine learning
Я пробовал все классификаторы, включая даже решающие деревья:)
источник

АГ

Артём Глазунов... in Machine learning
15 место получил
источник

АГ

Артём Глазунов... in Machine learning
Свм линейный там вроде хорош
источник

IN

Ivan Nazhestkin in Machine learning
чисто на параметрах векторайзера и классификатора?
А лемматизацию Вы не использовали, или ещё какую обработку текста?
источник

IN

Ivan Nazhestkin in Machine learning
SVM я и пробую сейчас)
источник

АГ

Артём Глазунов... in Machine learning
Лемматизация почти не помогла, и то статистически это все было не значимо
источник

АГ

Артём Глазунов... in Machine learning
Просто векторайзер настройте, обратите внимание на tfidf
источник