ŹR
так что что ребят, походу надо переписывать?
Забей, если уже работает
Size: a a a
2020 May 31
ŹR
Просто под нагрузкой твой консьюмер может получить полный mailbox, и это то, для избежания чего придумали genstage
BB
Забей, если уже работает
если не сложно, можно спросить как бы ты решил подобную задачу?
AD
Посылаешь все что есть и конец, это мы уже обсуждали
Я помнила что был какой-то с этим момент и вспомнила. Если деманд не полный отправлен, то следующий handle_demand не запросится пока не отправишь предыдущий. Например у тебя файл 100 строк, а за ним файл в 1 строку — вот он не обработается пока не появится третий файл
AD
Это нормальное поведение или нет
AD
Или файл всегда ровно один
ŹR
Если ты читаешь из файла - или файлов, то есть только один способ не удовлетворить demand - это когда конец всего. В этом случае тебе все равно что больше не спросят - ты убьешь весь пайплайн
AD
Т.е. подобие flow с динамической генерацией процессов - единственное применение?
ŹR
Рассмотрим вариант, когда ты читаешь из Кафки, те ивенты могут ещё появится, но пока их нету:
Нужно сохранить деманд (который остался) в стейте, и заскежулить себя на то, чтобы проверить через m секунд.
В этом handle info у нас есть деманд в стейте, и нам надо его покрыть. Если не покрывается - повторяем пока не покроется.
Нужно сохранить деманд (который остался) в стейте, и заскежулить себя на то, чтобы проверить через m секунд.
В этом handle info у нас есть деманд в стейте, и нам надо его покрыть. Если не покрывается - повторяем пока не покроется.
ŹR
Так можно сделать, это тоже backpressure, но надо руками писать
ŹR
Есть вариант, что мы к примеру получаем кусок из одного ивента, но он внутри системы является m ивентов. Тогда самая сложная хрень: надо в стейте хранить и деманд ( если его не закрыли ) и оставшиеся ивенты (если наоборот, деманд закрыли но ещё осталось)
Это все ещё backpressure, но это самая сложная руками писательная хрень
Это все ещё backpressure, но это самая сложная руками писательная хрень
AD
Ок идею я поняла, спасибо. Мне лично кажется было бы неплохо иметь диспатчер, который принимает меньший деманд и не заставляет писать обработку
AD
По логике это вроде ничего не ломает
ŹR
Видимо это ведёт к жесткому увеличению посылки сообщений
ŹR
Потому что ща консьюмер ждёт пока ему все не дойдёт, а в «твоём» случае он будет в цикле дергать продюсер «дай мне», получать пустой список, и так по кругу
AD
Да наверно так и есть
AD
Ок, спасибо за идеи, буду свои костыльные genstage переписывать :D
BB
Ок, спасибо за идеи, буду свои костыльные genstage переписывать :D
Мне тоже пора
BB
лол
BB
Да еще раз спасибо ребят