D
По одному символы 2гб сливать в цикле....
Size: a a a
2020 March 09
SB
Это пример из справки Дельфи =)
D
Особенности/требования : много и быстро
SB
Даже по одному байту будет шустро писать, благодаря буферизации.
D
Поэтому, школьные примеры из хэлпа не подойдут
SB
А если WriteLn(), то совсем быстро.
SB
Ну, не знаю, у меня гигабайтные логи именно так и пишутся
D
CsvDocument кто использовал?
SB
Можно еще через TFileStream и всякие хелперы к нему, но там могут быть проблемы с разделением доступа и буферизацией.
VA
Dmitry
Особенности/требования : много и быстро
если говорить про выгрузку в файл - то по факту это просто запись в файл предварительно отформатированных строк
про fpc и готовые варианты не скажу, но общее решение: выделить буфер, в котором будет формироваться строки, чтобы избежать постоянного переаллоцирования и прямая запись в файл. быстрее вряд ли что будет
про fpc и готовые варианты не скажу, но общее решение: выделить буфер, в котором будет формироваться строки, чтобы избежать постоянного переаллоцирования и прямая запись в файл. быстрее вряд ли что будет
SB
Самое быстрое - mapped file, но это сложно
VA
Самое быстрое - mapped file, но это сложно
чем быстрее? в итоге mmf все равно рано или поздно будет записан на диск
SB
Короче, пиши текст через WriteLn(), не пожалеешь.
SB
чем быстрее? в итоге mmf все равно рано или поздно будет записан на диск
Быстрее за счет агрегации операций IO.
D
Спасибо, я думал может есть какие-то "автоматизированные" решения, чем нативная запись в файл
SB
"Наивная" запись хорошо оптимизируется на уровне ОС и драйверов экзотических железок. А хитрожопая запись может давать внезапные провалы производительности на хитрожопом серверном железе.
D
😄 Опечатка по Фрейду
D
В итоге ничего программировать не пришлось. В IBExpert-е есть готовое решение - IBEblock.
D
1млн строк слит в csv за 2м 15 сек, объём файла 306мб
D
