В браузере есть апишка для захвата вкладки/окна/всего экрана и последующего стриминга по webrtc. Rtmp передачу, насколько я помню, только через flash player можно было сделать, но он сейчас deprecated. Если нужен rtmp на выходе, то есть несколько открытых проектов, которые могут принять webrtc и отдать rtmp, но, разумеется, нужны будут дополнительные вычислительные мощности.