Кто как решал проблемы совместной работы ListAdapter(либо сам RV с DiffUtil) с StaggeredGridLayoutManager и item decorations? Проблема, конечно, известная и вопросов по ней на StackOverflow также немало. Самый адекватный вариант ответа оттуда - передавать в параметр commitCallback метода submitList хандлер, который будет дергать invalidateItemDecorations(). Однако, даже это помогает не во всех ситуациях. При скролле большого количества элементов все элементы просто пляшут как хотят. Из-за этой проблемы пришлось отказаться от ListAdapter и продолжать использовать notifyDataSetChanged().