DS
Ну вот можно параллелить если на входе byte stream типа tlv, размер прочитал, почикал вход, раскидал по потокам. Ещё вариант это построчное что то, типа CSV, jsonline, нашёл разделители строк, раскидал. Xml или json как разбить без парсинга?
Size: a a a
2020 August 03
DS
С учётом ещё возможных cdata например. Явных разделителей нет.
AD
Внутренность джисона тоже джисон
2020 August 04
CD
Парсинг его компонент можно распараллелить
А еще можно на сишечке замеммапить файл и использовать указатели на его фрагменты
CD
Потом еще лукап подкрутить и весь json в дерево преобразуется, осталось понять зачем
AD
Потом еще лукап подкрутить и весь json в дерево преобразуется, осталось понять зачем
Бахнуть это все в объекты
CD
Бахнуть это все в объекты
Обчто? Зачем?
AD
Короче бяда какая, эта хрень во время загрузки мало дёргает и диск и все ядра кроме одного стоят
p
А еще можно на сишечке замеммапить файл и использовать указатели на его фрагменты
Без madv_willneed будет так себе
AD
Что там внутри - не понятно
CD
Короче бяда какая, эта хрень во время загрузки мало дёргает и диск и все ядра кроме одного стоят
Что все ядра кроме одного стоят это нормально
AD
В плане нормально
AD
Нахрена мне тогда 6 их а не пень 4?
CD
В плане нормально
2 с копейками ядра могут скушать всю оперативку без векторных инструкций
AD
64 гэбэ?
AD
Сириус?
CD
64 гэбэ?
Дело не в гэбэ, дело в том, что ботлнек между оперативкой и цпу
CD
Правда, на скале вы об этом никогда не узнаете, так как ядра "загружены" ожиданием кэшмисса
AD
Да нет там никакого боттлнека
AD
Там есть десятилетний бизнесвельюкод которому не могут дать умереть