Size: a a a

Machine learning

2020 December 22

K

K-S in Machine learning
Добрый вечер. Практический вопрос по SHAP values в бустингах (конкретно в лгбм). У кого какой опыт был по времени рассчета shapley values к количеству фичей и размеру датасета. А то я сейчас прогнал shap внутри кросс-валидации, где каждый тестовый фолд содержит 14.5к записей 5.5к фичей и shapley values обсчитывались секунд за 10. Пытаюсь понять, где я мог накосячить, ибо по моей памяти обычно все считалось невероятно долго
источник

K

K-S in Machine learning
Valery
есть учебный сорев, условие - дан граф, даны свойства каждой вершины в виде набора 0 и 1, фичей много (около 3к)
даны ребра между вершинами, 1 - ребро есть, 0 - ребра нет
дан набор пар вершин, где наличие ребер надо предсказать
предполагается использование графовых нейронок, но у меня получилось побить верхний бейзлай классификатором на скалярном произведении фичей пары вершин
звучит действительно как постановка для GNN
источник

SK

Sergey Kozlov in Machine learning
Valery
а все тож самое получается)
отбор совпадающих признаков у связанных точек с присвоением весов и подсчетом порога отсечения.
источник

K

K-S in Machine learning
можно knn фичей нагенерировать попробовать еще
источник

AO

Andrew Odegov in Machine learning
K-S
Добрый вечер. Практический вопрос по SHAP values в бустингах (конкретно в лгбм). У кого какой опыт был по времени рассчета shapley values к количеству фичей и размеру датасета. А то я сейчас прогнал shap внутри кросс-валидации, где каждый тестовый фолд содержит 14.5к записей 5.5к фичей и shapley values обсчитывались секунд за 10. Пытаюсь понять, где я мог накосячить, ибо по моей памяти обычно все считалось невероятно долго
У меня 16 гб оперативы
400к записей и 100 с копейками фичей считает 2.5 часа или около того на 5 фолдах
источник

K

K-S in Machine learning
Andrew Odegov
У меня 16 гб оперативы
400к записей и 100 с копейками фичей считает 2.5 часа или около того на 5 фолдах
а cpu какой?
источник

AO

Andrew Odegov in Machine learning
K-S
а cpu какой?
i5-7500 вроде
источник

K

K-S in Machine learning
хм... чекнул свой CPU: 40 CPU intel xeon по 20 cpu cores :\ может, поэтому так быстро и считается
источник

K

K-S in Machine learning
вроде реально такой cpu колаб предоставляет
источник

i

igor in Machine learning
Svetlana Astafyeva
Его Анатолий Карпов рекомендовал (тот самый, который на Степике сделал крутой курс по статистике)
Не крутой, а плохой
источник

i

igor in Machine learning
Я бы не полагался на мнение психолога без статей и успехов в области.
источник

SA

Svetlana Astafyeva in Machine learning
igor
Не крутой, а плохой
Можете посоветовать хороший?
источник

V

Vladislav-kun in Machine learning
Svetlana Astafyeva
Можете посоветовать хороший?
От CSC вроде довольно подробный
источник

V

Vladislav-kun in Machine learning
Реально загружают
источник

V

Vladislav-kun in Machine learning
источник

SA

Svetlana Astafyeva in Machine learning
Вот не хотелось бы на первых порах подробный. Хотелось бы понять основные моменты и погружаться постепенно, по мере возникновения потребности.
источник

i

igor in Machine learning
Svetlana Astafyeva
Можете посоветовать хороший?
Да но данных мало
источник

SA

Svetlana Astafyeva in Machine learning
Спасибо!
Посмотрю!
источник

i

igor in Machine learning
Для кого, какая база, цели, сколько времени свободного, знаете ли анлгийский
источник

i

igor in Machine learning
Готовы ли платить за курс
источник