DM
Такая идея и была изначально, как крайний выход)
Проблема в том,что я 10000 для примера привел….а так там херачить x*10^9 сообщений таких)
Проблема в том,что я 10000 для примера привел….а так там херачить x*10^9 сообщений таких)
Size: a a a
2021 November 03
DM
хоть в кишки лезть и руками файлы создавать…
AS
поменяйте логику дедупликации (временно), вообще странно завязываться на номер оффсета, а не на физически что лежит внути записи
S
Ну я бы так делал n одинаковых сообщений и обработчик в консамере на них
DM
У нас могут быть 2 записи с одинаковым содержимым и мы обязаны будем обе дальше отобразить по бизнес логике.
Мб вариант делать Hash и с содержимого и с номера оффсета, но надо дорабатывать архитектуру, да
Мб вариант делать Hash и с содержимого и с номера оффсета, но надо дорабатывать архитектуру, да
kk
Ребят, а как зайти в виртуальное окружение анаконды через bat файл , который работает с cmd?
AK
Народ, подскажите. У меня приобучении GBT падает. Может это что-то стандартное. Или просто ресурсов не хватает
AK
И второй вопрос. Есть ли смысл заморачиваться и всё это в Pyspark делать или проще в pandas перевести и sklearn юзать
АР
в тексте ошибки OutOfMemoryError
AK
ну, да, но вдруг что-то не то делаю
AK
вроде сэмплов всего 15000. Видмо так не понять
AK
а по этому что скажете?
AZ
сколько данных?
AK
2млн
AK
2-3
AK
строк
DZ
light boost на на питоне
DZ
на одной тачке
ЕГ
Проще в пандас
AK
Lightgbm?