Чисто если без вышки можно треугольниками попробовать. 🙃
1. Берем крайнюю точку, например, верхнюю. И ближайшие вниз еще три точки.
Точки 1, 2 и 4 образуют треугольник, 3-ю проверяем на принадлежность.
2.1. Если входит - выбрасываем и берем следующую точка в качестве последней точки треугольника 5-ю вниз. 5 точка становится последней точкой треугольника, а проверяется 4-я.
2.2 Если не входит - 1-я точка исключается из треугольника и заносится в число координат полигона.
3. И т.д.
Кагтатаг... 🤷🏻♂️