i
Нормализации устоявшийся термин
Size: a a a
2020 December 01
P
подскажите, можно ли как-то в pandas сделать drop_duplicates, но дропнуть не все дубликаты, а только часть? например, если дубликатов больше 5, то дропнуть остальные, а если меньше, то ничего не делать
i
Возможно нормализация это переход именно к нормальному распределению, а стандартизация более общее понятие
i
это от слова норма но это не важно
i
Нормализация\стандартизация\масшабирования готовят данные
i
регуляризация стражается с оверфитингом
i
Это как служба тыла и ударные войска
i
Не с регуляризацией понятно что это другое совсем
i
Тогда все правы ;)
AR
подскажите, можно ли как-то в pandas сделать drop_duplicates, но дропнуть не все дубликаты, а только часть? например, если дубликатов больше 5, то дропнуть остальные, а если меньше, то ничего не делать
Хм, вроде нет такого в параметрах. Перед самым началом сделать groupby по первичному ключу, получив индексы, по которым можно получить два датасета:
- один с малым количеством дубликатов: меньше 5, такие записи не трогаем
- в другом лежат записи, у которых дублей больше 5. Такие записи дропаем и оставляет только один дубль
После эти два датафрейма конкатенируем
- один с малым количеством дубликатов: меньше 5, такие записи не трогаем
- в другом лежат записи, у которых дублей больше 5. Такие записи дропаем и оставляет только один дубль
После эти два датафрейма конкатенируем
RS
а тут есть люди которые разбираются в О больше или о малое?
i
Тут много таких
P
Хм, вроде нет такого в параметрах. Перед самым началом сделать groupby по первичному ключу, получив индексы, по которым можно получить два датасета:
- один с малым количеством дубликатов: меньше 5, такие записи не трогаем
- в другом лежат записи, у которых дублей больше 5. Такие записи дропаем и оставляет только один дубль
После эти два датафрейма конкатенируем
- один с малым количеством дубликатов: меньше 5, такие записи не трогаем
- в другом лежат записи, у которых дублей больше 5. Такие записи дропаем и оставляет только один дубль
После эти два датафрейма конкатенируем
спасибо!
RS
Не знаю правильно ли это выражение написано
RS
у О большого нестрогое неравенство
RS
по сути логарифм сразу обрезает число и оно всегда будет меньше правой
IK
Неправильно, то что слева это 2log(n)+n*log(3). Главный член это n
IK
Значит O(n)
RS
окей, спасибо