T
А треды откуда?
Size: a a a
2020 January 17
T
потому что обновлять нужно быстро
T
каждую минуту, строк много. один поток захлебнется.
T
Так клади все в очередь, а потом ее разгребай в несколько потоков
T
сделаю 8 потоков, каждый по 5 записей, если время одного запроса 5 сек то норм должно быть
T
я так и делаю. только очередь это таблица в постгресе
T
кафка будет оверкил пока я думаю
T
Так возьми нормальную очередь, которая будет тупая и быстрая
T
сделаю 8 потоков, каждый по 5 записей, если время одного запроса 5 сек то норм должно быть
5 секунд на запрос? Это явно долго для хттп
T
да, запрос тяжелый, иногда отваливается по таймауту, приходится доставать прокси
T
сложная логика
T
Ну так нахрен
T
Клади в очередь
T
и как
T
Все станет только проще
T
это решит проблему с долгим запросом?
T
Размер пакета большой?
T
как будто на соф зашел) я хочу забить гвоздь. тебе не надо забивать гвоздь, иди копай яму
T
Много данных посылается?
T
туда нет