AS
Собственно, тулзу написал :)
Size: a a a
2020 August 19
LE
А, ты про настоящий греп. Не, я про питонячий регекс. С grep -F не сравнивал, надо будет сравнить. С -F он может оптимизировать, конечно.
Ага. Греп в подпроцессе даёт задействовать ещё один CPU и разбиение на строки из питона тоже частично убирает. Но это сумрачная несколько конструкция, конечно.
AS
И заодно сделал два фича реквеста, в Атлас и в Стат. Если пройдут, то можно будет просто из базы выгребать нужное, без танцев с дампами измерений
AS
Ага. Греп в подпроцессе даёт задействовать ещё один CPU и разбиение на строки из питона тоже частично убирает. Но это сумрачная несколько конструкция, конечно.
Я думал субпроцесс завести, но забил. Потому что с bz2 и Trie код чище, как мне кажется. Но решил, что тут можно просто параллелить парсинг разных дампов, если нужно, и оно будет эффективнее.
p
Блин, я всего 20 раз сказал, что так делать вообще не надо. Нахрена ты его в памяти целиком распаковывал-то? В очередной раз напоминаю: bzip2 (как и gzip) был придуман для потокового сжатия-расжатия.
Ну это... Там же with open('dump.bz2', 'rb') as json.load(bz2.BZFile(f))
AS
Зачем?! Я же два раза выше приводил код, как это делать в потоке
AS
bz2handler=bz2.open(filehandler), и читаешь из bz2handler поток как из обычного файла
AS
Более того, если обрабатываешь с нормальной скоростью, то в качестве filehandler можешь подсунуть результат urllib.request.urlopen(), и локально вообще ничего не держать ни в памяти, ни на диске
AS
Два дня назад же это обсуждали :)
AS
Я тогда думал, что оно маленькими чанками читает, поэтому всё плохо. А оказалось, что это парсинг json
AS
Кстати. За сутки 9 августа было примерно 1500 разных измерений, которые относились к Беларуси, с примерно 890000 результатами. “Относились к Беларуси” - это или src, или dst был в префиксах беларуских LIRов. То есть, не 3 моих измерения, а 1500. Разных: и ping, и traceroute, и DNS, и NTP, и TLS - есть все виды. Данных - до фига. Кто б взялся их проанализировать только (ID измерений с разбиеним по типам все есть, если что, список префиксов - тоже).
TH
Херассе вы тут демократию развели. Я было уже позавчера думал его забанить, ни с кем не советуясь, да просто забыл
you made my day! 😄
p
Зачем?! Я же два раза выше приводил код, как это делать в потоке
а, у вас там набор строк в json, а не массив json ;)
у меня честный разбор https://data-store.ripe.net/datasets/atlas-daily-dumps/2020-08-09/http-2020-08-09T2300.bz2 происходит ~ 36 секунд
у меня честный разбор https://data-store.ripe.net/datasets/atlas-daily-dumps/2020-08-09/http-2020-08-09T2300.bz2 происходит ~ 36 секунд
BL
в питоне используется Сшный код для чтения жсона или питонячий?
p
в питоне используется Сшный код для чтения жсона или питонячий?
сишный конечно же.
p
bz2handler=bz2.open(filehandler), и читаешь из bz2handler поток как из обычного файла
крч, вот https://dpaste.org/Csr4
2020 August 20
AS
а, у вас там набор строк в json, а не массив json ;)
у меня честный разбор https://data-store.ripe.net/datasets/atlas-daily-dumps/2020-08-09/http-2020-08-09T2300.bz2 происходит ~ 36 секунд
у меня честный разбор https://data-store.ripe.net/datasets/atlas-daily-dumps/2020-08-09/http-2020-08-09T2300.bz2 происходит ~ 36 секунд
http мало, так это просто
AS
И по-прежнему, хоть убей, не понимаю, зачем так делать, когда это криво
p
И по-прежнему, хоть убей, не понимаю, зачем так делать, когда это криво
эээ.. почему криво то? там стриминг же. например, вот это прожевало за 254 секунды на ноуте https://data-store.ripe.net/datasets/atlas-daily-dumps/2020-08-09/dns-2020-08-09T0000.bz2