надо считать отклонения точки от первой кривой и от второй, и сравнивать их со средним отклонением всей аппроксимации. для какой кривой получилось допустимое отклонение, к той точка и принадлежит. но, думаю, результат будет не очень надежный, хотя попробовать можно