Да сделай просто вьюхами ячейки или то что надо отобразить или содержать в ячейках (View, FrameLayout e.t.c). зачем фрагменты тащить в ресайкл процесс, фрагмент это же просто как контейнер для отображения вьюхи,
вариант такой есть, он почти рабочий, т.к. в этом фрагменте нужен bundle для сохранения состояния. бандле вьюшки для этого не очень подходит