Можно каждый холдер имплементить , как полноценную вью и делать для него презентер. Тогда с точки зрения SOLID все становится на свои места.
Есть MyListView, который имплементиться к примеру фрагментом и управляется соответствующим презентером.
И есть MyItemView, который имплементся холдером и управляется своим презентером.
Вот на коленке собранный пример такой идеи:
https://github.com/Igor-Martynyuk/SingleResponsibilityAdapter