Телеграмм чат группы datasciencecourse страница 4638

А, кстати, у кого-нибудь был опыт использования SVM с каким-то кастомным ядром (кроме linear, rbf и polynomial в общем)? И если да, то как именно пришли к этому?

источник

13:29пожаловаться #5

АГ

Артём Глазунов... in Machine learning

K-S

Ещё веса нормируют вроде тоже

Хм, интересно. Но если это для ограничения величины выхода линейной части перед подачей в активацию, то батч норм , по идее, все и так ограничит и приведет к нужному распределению..

источник

13:30пожаловаться #6

K

K-S in Machine learning

Артём Глазунов

Хм, интересно. Но если это для ограничения величины выхода линейной части перед подачей в активацию, то батч норм , по идее, все и так ограничит и приведет к нужному распределению..

Тут мне сложно говорить о математической подоплеке, честно говоря. Скорее всего цель у этого иная. Во всяком случае не раз видел сочетание и батчнорм, и нормализации весов. Но лучше детальнее изучить, конечно

источник

13:33пожаловаться #7

АГ

Артём Глазунов... in Machine learning

K-S

Тут мне сложно говорить о математической подоплеке, честно говоря. Скорее всего цель у этого иная. Во всяком случае не раз видел сочетание и батчнорм, и нормализации весов. Но лучше детальнее изучить, конечно

Хорошо, спасибо

источник

13:34пожаловаться #8

AO

Alex Ololo in Machine learning

вот еще) про размытие признаков через гауссиан кренел

источник

13:39пожаловаться #9

AO

Alex Ololo in Machine learning

https://arxiv.org/pdf/2003.01367.pdf

источник

13:39пожаловаться #10

AO

Alex Ololo in Machine learning

я не вникал пока особо) ток нактнулся недавно

источник

13:39пожаловаться #11

DP

Dmitry Penzar in Machine learning

K-S

Тут мне сложно говорить о математической подоплеке, честно говоря. Скорее всего цель у этого иная. Во всяком случае не раз видел сочетание и батчнорм, и нормализации весов. Но лучше детальнее изучить, конечно

я смотрел в свое время, может и лучше дать, и хуже. Но так как идея подходов одна, особого смысла комбинировать вроде нет.

источник

13:41пожаловаться #12

K

K-S in Machine learning

K-S

Тут мне сложно говорить о математической подоплеке, честно говоря. Скорее всего цель у этого иная. Во всяком случае не раз видел сочетание и батчнорм, и нормализации весов. Но лучше детальнее изучить, конечно

По идее в некоторой степени нормализация весов нужна в RNN для проблемы взрывающегося градиента. Там же у нас во всех юнитах одна и та же матрица W. Поэтому если она по норме больше единицы, то при бэкпропе градиенты будут в бесконечность уходить. Но на практике там это лечат обычным клиппом зачастую. В полносвязных же эта проблема не так явна

источник

13:42пожаловаться #13

АГ

Артём Глазунов... in Machine learning

По идее после обучения оптимальный фильтр и так получается, после первого слоя уже все норм в этом плане. Ну тут надо почитать, интересно)

источник

13:43пожаловаться #14

AO

Alex Ololo in Machine learning

Артём Глазунов

По идее после обучения оптимальный фильтр и так получается, после первого слоя уже все норм в этом плане. Ну тут надо почитать, интересно)

ну типа так быстрее, птмч шума меньше