Токен не должен работать через раз. Значит, где-то ошибка - либо фронт неправильно хранит и отсылает токен, которые передает ему бэк при авторизации, либо бэк отправляет невалидный токен, либо неверно обрабатывает валидный. В данном вопросе нужно больше информации - достаточно много возможных причин.