User
40-60к это небольшое количество, тебе возможно raw query для производительности нужно писать, и изначально смотреть какие связи, мб орм что лишнего нагенерило
Да там префетчи дофига тянут за собой, сделал через prefetch_related, вообще 30 секунд отвечало, потом нагуглил что лучше класс Prefetch юзать, упало до вышеописанного времени