Заводишь переменную (или где ты там хранишь состояние) в ней хранишь флаг, означающий что идет движение.
при тоучстарт смотриь координаты, и если они плохие выставляешь флаг false. А если ок, то флаг true.
В тоуч move смотришь на флаг. Если он тру свайпаешь. Если нет, то нет.
В тоуч енд сбрасываешь флаг.