5-7 сообщений это не сотня же. Кроме того оно оборачиваться должно. Т.е. из низкоуровневых событий делаем высокоуровневые. Из touch/mousemove/mousebtn делаем press/drag/drop/cancel и ну ты понел
что будет, если будет зажата левая кнопка мыши, а потом - правая, потом отпущена левая, потом отпущена правая? в каком состоянии будет вьюха?