Есть очень простая формула для определения вложенности прямоугольников. Если их стороны А,В и а,b, а также A>=B и a>=b, то прямоугольник axb можно вложить в AxB тогда и только тогда, когда верно одно из условий:
1) a<=A и b<=B или
2) a>A, b<B и выполняется ((А+B)/(a+b))^2+((А-B)/(a-b))^2>=2