мониторить надо, да. на одном проекте видел идеальную штуку - там кастомная аннотация была которая выводила ссылку на баг в джире рядом со скипнутым тестом в аллюр репорте. в итоге видишь скипнутые тесты - протыкал ссылки если увидел что что-то починено, то пора чекать и вертать тест на место