h
Запустил в 1 процессе
скинь код я на своем еще запущу
Size: a a a
2019 November 21
МБ
1м49с
МБ
Если я нигде на ошибся
МБ
то есть где-то 4к текстов в секунду
h
МБ
И че-то такого быть не должно)
h
IP
всегда есть оправдание
МБ
всегда есть оправдание
оверхед просто большой
МБ
Но с другой либой для детекта языка 1 процесс работал больше часа
МБ
Так что там мультипроцессинг помог
IB
12 тредов на 8 ядер - не факт что на стенде будет hyper threading
IB
а еще у питона же GIL есть
IB
попробуй в 12 форков а не тредов
МБ
12 тредов на 8 ядер - не факт что на стенде будет hyper threading
А у меня есть подозрение, что по факту ядер 4, а 8 аппаратных потоков - это уже с HT
МБ
попробуй в 12 форков а не тредов
А я так и делал
МБ
мультипроцессинг