f
Size: a a a
2019 October 31
EB
Насколько я помню разбор html идёт многопоточно, но общей сути это не меняет.
твистед потоками рулит? в любом же случае там будит GIL, я точно не видел, чтобы скрапи форкал свой процес
АП
Не твистед. Хтмл разбор отпускает гил, потому он ему не мешает.
АП
Форк это мультипроцессинг а не мультипоток.
EB
Сложно
делаем пайплайн, в котором сохраняем чанками, но это тоже все теория, в маломальски сложном проекте будет куча костылей
EB
Не твистед. Хтмл разбор отпускает гил, потому он ему не мешает.
а если мы потом в постгрес пишем, будет ли переключаться между потоками? что-то мне подсказывает что зависит от драйвера(как минимум)
АП
а если мы потом в постгрес пишем, будет ли переключаться между потоками? что-то мне подсказывает что зависит от драйвера(как минимум)
Там чисто в момент разбора хтмл идёт мультипоток.
B
твистед потоками рулит? в любом же случае там будит GIL, я точно не видел, чтобы скрапи форкал свой процес
в твистете же эвент луп?
EB
и?
EB
точнее при чем тут это, gil есть gil в любом случае…какие-то сишные либы могут отдавать управление, но не факт
АП
точнее при чем тут это, gil есть gil в любом случае…какие-то сишные либы могут отдавать управление, но не факт
Лхмл отпускает гил.
EB
а драйвера БД?
АП
Как я помню не все и далеко не всегда.
EB
я ловил эту проблему когда-то…не помню мускул или постгрес, но где-то точно есть
EB
каких исключений?