Видимо, это как-то с многопоточностью связано. Начал удалять элементы в ui-потоке непосредственно перед вызовом метода адаптера. Крашей за 20 тестов не случилось. Но повторюсь, что это дико странно. Так как добавление элементов по одному, загрузка общего количества за раз и изменение элементов списка происходит и всегда происходило в фоновом потоке. Там все работает