r
считаете записи для каждого айди, having count(те неуникальные айди)>1
Не сочтите за наглость. Но можно пожалуйста по подробнее с примером?
Size: a a a
2020 August 19
AI
Выходит другой вопрос. Как мне получить записи с дубликатами по указанному списку айди
есть 2 варианта. морочиться внутри sql, чтобы результат запроса был какой надо, или запросить уникальные записи и обработать их в языке как угодно
K
Не сочтите за наглость. Но можно пожалуйста по подробнее с примером?
select id, count(duplicate_id) from table group by id having count(duplicate_id)>1
K
id - тот уникальный айдишник,
duplicate_id - то что дублируется
duplicate_id - то что дублируется
K
по каждому уникальному, он посчитает количество айдишников которые возможно дублируется, а хэвингом выберет только те, которые как минимум диблируются 2 раза
r
Если у меня будет скажем так 5к айдишников. Запрос не будет же долгим?
K
Если у меня будет скажем так 5к айдишников. Запрос не будет же долгим?
это вопрос ресурсов, если у тебя памяти достаточно, то в миллисекунду. + какая субд
K
попробуй и проверь
V
select correct_id
, count(correct_id) as cnt_crt
from wheel_results
group by correct_id
having count(correct_id) > 1
, count(correct_id) as cnt_crt
from wheel_results
group by correct_id
having count(correct_id) > 1
AN
Да можно через with clause и джойн
r
Ок комп сейчас не доступен как будет доступ к пк обязательно простестирую и отпишу
K
Да можно через with clause и джойн
да так сложнее)
КЧ
Ребят, как делать EDA анализ если много признаков (сотни и больше)?
MC
Ребят, как делать EDA анализ если много признаков (сотни и больше)?
ну, svd с регуляризацией, оно тебе упорядочит признаки по важности
MC
еще можешь построить модельки (линрег / логер / rf), посчитать важности признаков, и также отсеить - это проще, чем svd
MC
MC
еще из простого как baseline L1 регуляризацию заюзать: она занулит малозначимые признаки
MC
а вообще гуглани pca / svd, t-sne
p.s. но мой опыт примерно месяца 3, так что еще подождем старших опытных товарищей, а я б делал как-то так :)
p.s. но мой опыт примерно месяца 3, так что еще подождем старших опытных товарищей, а я б делал как-то так :)
КЧ
ну, svd с регуляризацией, оно тебе упорядочит признаки по важности
Т. е. сначала уменьшить количество признаков , а потом делать EDA ? Так что ли ?
Я просто думал сначала eda делать, потом фичи отбирать, потом модель строить запускать ...
Я просто думал сначала eda делать, потом фичи отбирать, потом модель строить запускать ...
MC
Т. е. сначала уменьшить количество признаков , а потом делать EDA ? Так что ли ?
Я просто думал сначала eda делать, потом фичи отбирать, потом модель строить запускать ...
Я просто думал сначала eda делать, потом фичи отбирать, потом модель строить запускать ...
я б сначала уменьшил кол-во признаков до обозримого в своей голове
наверное, старшие подскажут, может, какие-то штучки покруче, но энивей, имхо, этот подход выглядит разумным
наверное, старшие подскажут, может, какие-то штучки покруче, но энивей, имхо, этот подход выглядит разумным