AT
работает штука-то... в задаче с секретом 17ый в песочке... с одной моделькой, как-бы
Почему 17? 30, так там все с одной моделью без изысков и были
Size: a a a
2020 September 07
JS
Vlad Khramtsov
Переслано от Ruslan515 Y
как считать csv по частям(там дф) в цикле пройдя все строки? скажем у нас 100к строк будем в цикле считывать сначало 10к, обрабатываем. потом следующие 10к... соль в том что нужно заранее знать кол-о строк. но как ее узнать не считывая весь файл?
написав генератор? можно просто читать кусками, и детектить символ окончания строки
JS
Alexey Tikhonov
Почему 17? 30, так там все с одной моделью без изысков и были
а это я уже успел малость переобученное решение засабмитить, а оно по ЛБ лучше - вот и перебило успешный успех
JS
доказуха
JS
Alexey Tikhonov
Почему 17? 30, так там все с одной моделью без изысков и были
не, там куча усредняторов была... у меня пока без этого
AT
У меня вроде ничего не было, экстратрис и все
JS
Alexey Tikhonov
У меня вроде ничего не было, экстратрис и все
и дубликаты не чистил?
AT
Не помню уже
JS
это краеугольная вещь, их там много, и в тесте тоже
JS
у них таргеты разные
JS
мне пока не ясно, как их найти... думаю dscan-ом с разным eps, и график построить - кол-во и расстояние между кластерами для разных eps...
JS
наверное можно найти очень близкие наблюдения
JS
ну или knn-ом
AT
@sergeif там вроде интеллектуально както делал
JS
ага... что-то вроде boosted trees, но алгоритмы разные на каждом шаге... кажись так
JS
в смысле - это стекинг такой
JS
наверное можно найти очень близкие наблюдения
вернее найти eps, при котором dbscan соберет в кластеры очень близкие наблюдения
JS
еееее, в крутанах
JS
короче если и дубликаты подчистить, то и Дэни обогнать можно
JS
Alexey а ты фичи как отбирал?