есть вариант создать хэш таблицу и в onBindViewHolder туда засовывать твой вью холдер по позиции например (если они у тебя не меняются постоянно, если меняются, лучше другой ключ придумать). Тогда можно будет из активности обращаться к вью холдеру нужному. Если айтем адаптера у нас будет вне видимости в списке, вью холдер просто вернет null