так ты в лог будешь писать айпи всех кто у тебя получил 500у
(Автору вопроса)
Самый простой способ, который приходит на ум без всяких вафов, пиши какие урлы дёргают в файл, через сутки например питоном|башем проходишь этот файл и находишь каунты самых частых урлов, эти запросы и банишь
Ну это не энтерпрайз способ, а костыль скорее всего и все такое) но зато поможет стратегию выработать уже дальнейшую