SG
тут тебе уже хэшлист поможет я так думаю
Size: a a a
2020 June 03
ВЗ
Или словарь.
AM
Или словарь.
я уже пытался в словарь засунуть, 12 млн кушает всю 32 гб памяти и всё падает, оно кстати там на выходе в словарь то в итоге и складывается
AM
в пайтоне есть датафреймы, но я чот пока не понимаю как там все работает
ВЗ
может тебе лучше БД использовать?
SG
localsql и вперде
AM
так это суть не меняет
AM
я могу это сложить на hdfs и отдать в кластер хадупа, быстрее оно считать не будет
SG
бери гошечку
SG
твоя задача как раз
AM
не, там явно можно быстро сделать, просто я не знаю как )
S
¯\_(ツ)_/¯
AM
12 млн через датафреймы в пандас выводит быстро )
AM
но я ж, блеать, не датасатанист какой-нибудь )
КЭ
бери гошечку
Быстро ок, но память не съест?
КЭ
но я ж, блеать, не датасатанист какой-нибудь )
😂😂😂
AM
причем это только начало ) после этого из этих 12 млн надо будет найти самые длинные цепочки, у нас там уже примерно из 10+ зависимостей, сходить в апи, дёрнуть название этих айди с дискрипшеном, а потом на этой хуйне сделать классификатор на тенсорфлоу
AM
твоя задача как раз
я то чо, наговнякал на тестовых данных, во, збс, работает, засунул 12 лямов, хм .... работает ... только медленно ... ;)))
КЭ
причем это только начало ) после этого из этих 12 млн надо будет найти самые длинные цепочки, у нас там уже примерно из 10+ зависимостей, сходить в апи, дёрнуть название этих айди с дискрипшеном, а потом на этой хуйне сделать классификатор на тенсорфлоу
А tf-то нахуя? И вообще, tf не пугает, а pandas прям да?