Короч, парсил я наши файлики результатов, чтобы найти все измерения по Беларуси во время шатдауна, и на результаты за один час у меня ушли сутки, при том, что файлик я уже предварительно себе вытягиваю. Ok, полез смотреть. Никакой магии: каждая строка - это json, и строк очень-очень много (ну, там за час терабайты этих файликов с jsonами набегает).
Я-то знаю, что я ищу, так что выкрутился, генерируя сильно оптимизированный regex, которым сначала проверяю - есть в строке нужный префикс или нет, и только если есть, делаю парсинг этого json, проверяю уже точно его поля, и если все ок, сохраняю результаты. Ускорение на порядки.

Но вот у РКН, который хочет парсить XMLи про всё на свете, такой опции нет, ему надо таки распарсить всё. Одно из двух: или тяжко придётся РКНу и его подрядчикам, придется много денег осваивать для работы с этим XML; или в гробу они видели что-то на самом деле с этим XML делать.

но у вас там как-то бесчеловечно с json: файл пожатый bz2 весит ~ 450 мб, а при распаковке и втягивании в память питон отожрал 5гб памяти(дальше я его прибил)

но у вас там как-то бесчеловечно с json: файл пожатый bz2 весит ~ 450 мб, а при распаковке и втягивании в память питон отожрал 5гб памяти(дальше я его прибил)

При том, как всё вообще в госорганах устроена (в абстрактных, не только российских, но у российских конечно свой усиленный колорит), терраформирование Венеры с бомбардировками льдом, перезапуском ядра, сдвигом плоскости орбиты и шпигованием бактериями может произойти раньше, чем «сувенирка»

Короч, парсил я наши файлики результатов, чтобы найти все измерения по Беларуси во время шатдауна, и на результаты за один час у меня ушли сутки, при том, что файлик я уже предварительно себе вытягиваю. Ok, полез смотреть. Никакой магии: каждая строка - это json, и строк очень-очень много (ну, там за час терабайты этих файликов с jsonами набегает).
Я-то знаю, что я ищу, так что выкрутился, генерируя сильно оптимизированный regex, которым сначала проверяю - есть в строке нужный префикс или нет, и только если есть, делаю парсинг этого json, проверяю уже точно его поля, и если все ок, сохраняю результаты. Ускорение на порядки.

Но вот у РКН, который хочет парсить XMLи про всё на свете, такой опции нет, ему надо таки распарсить всё. Одно из двух: или тяжко придётся РКНу и его подрядчикам, придется много денег осваивать для работы с этим XML; или в гробу они видели что-то на самом деле с этим XML делать.

Я не готов плакать по этому поводу

Учитывая остальную движуху, они наверняка всё сразу парсить и в базу будут класть, а не файлами оставят

но у вас там как-то бесчеловечно с json: файл пожатый bz2 весит ~ 450 мб, а при распаковке и втягивании в память питон отожрал 5гб памяти(дальше я его прибил)

Про что и речь - очень дорого это, всё парсить. Дальше-то понятно, что в базу, там уже несложно.

Да, grep очень быстрый. Я точно так же предфильтр для jsonl данных в питонячьих парсерах делал не раз.

Я ещё ускорил, раза в 2.5, из конкатенации префикс ов сделав Trie - regex получается абсолютно нечитаемый, но. Если подстрока есть, он обрабатывает строку на пару процентов медленнее. А вот если её нет - в 2.6 раз быстрее.

Не факт, что перевод данных в БД упростит задачу.

Занятно. Я предполагал, что при поиске подстрок через -F grep сам минимизирует автомат.

Смотря какую задачу, но правильно построенная и проиндексированная база проблему скорости обработки, конечно, решит. Основная-та засада тут в очень долгом парсинге, которого, когда всё красиво в базу уложено, просто нет.

Занятно. Я предполагал, что при поиске подстрок через -F grep сам минимизирует автомат.

Ревизору это не помогло. В определённый момент он просто перестал вовремя формировать отчёты.