Н
Split не отменен
Size: a a a
2019 December 29
Н
Хоть по 100 мб
YV
Ну, если посплитовать, тогда смотреть на логику надо. На полностью независимые потоки разбить можно, но потом в один если собирать придется - пиздец, lock contention на выходе.
k
Можно ускорить, поделив на файлы с разным полем б64 по мэджику.
YV
Это если там мэджик разный. Можно другое поле выбрать для разбивки просто.
YV
Которое хоть какие-то группы образует.
k
Которое хоть какие-то группы образует.
Так допоперации как раз в поле с разным мэджиком.
YV
Вообще я бы взял sqlloader, в прямом режиме заливал в базу и сразу декодил на лету. Возможно, с вызовом внешки.
YV
Блин, не факт, что влёт можно написать быстрый обработчик внешний.
k
kazgeek
Так допоперации как раз в поле с разным мэджиком.
Там ускорение кратное количеству типов поля будет.
YV
В смысле - написать-то можно. Но мозгами поскрипеть нужно.
YV
kazgeek
Там ускорение кратное количеству типов поля будет.
Смотреть на данные надо глыбже. Не совсем кратное - но всяко быстрее, чем в одну трубу.
Н
Тоесть ваще в голлове питон который читает по 10000строк декодит и директом в pl льет
YV
Типа того. База по завершении сразу строит полнотекстовый индекс и сверху вебморда. В случае Оракла - на APEX.
Н
Типа того. База по завершении сразу строит полнотекстовый индекс и сверху вебморда. В случае Оракла - на APEX.
Не мне поменьше чото
YV
Поменьше - врукопашную придется фичухи писать. С Ораклом по функциональности никто вообще не сравнится.
Н
Поменьше - врукопашную придется фичухи писать. С Ораклом по функциональности никто вообще не сравнится.
светлый ему дым
Н
Но если про зайцев...
Н
Думаецо постгрес
Н
Мне чо мультитредед json base64- gzip decompresser postgres импортер нужен