Он не встал потому что мышь зажата. (т.е. всё правильно). Нашёл косяк. По непонятной мне причине - после дабл клика колесом. Перестают трекаться mouse x и mouse y
Проблема заключалась в том, что по какой-то неясной мне причине, после того как я отпускаю клавишу мыши меняется input mode. Я пофиксил это вот так (хоть это мне и кажется костылём), но теперь всё работает.