давно бы уже велкомбота написал

Чем в итоге кончилась история?

а с чего началась?

Пайчарм я купил, так что тоже просто поделюсь (хотя CLion не прочь поиметь на год):

Интегрировались мы недавно с кастомной реализацией S3 поверх Ceph кластера, закрытого проксёй с шифрованием контента. В этой проксе была написана своя валиадация pre-signed URL-ов.
На нашей стороне был сервер на aiohttp, который слал запросы в эту S3, и почему-то запросы не проходили проверку сигнатуры, хотя с Амазон S3 всё было отлично. И через curl или requests было всё ОК.
Начал изучать в чём же разница, юзал разные сервисы типа requestbin.com и простой nc, посылая в них запросы по разному: через curl или через aiohttp.
Случайно обратил внимание, что aiohttp в query string слеши кодирует "процентиками", хотя в эталонном запросе они были не экранированы (по стандарту их можно не экранировать в query string).  Оказалось, что:
- во первых aiohttp по дефолту "перекодирует" все URL-ы на которые посылает запросы, экранирует в них всё что надо (и не очень надо). Что бы он этого не делал, надо ему URL передавать не строкой, а в виде объекта yarl.URL(), который создавать с отключением "перекодирования".
- во вторых набор символов допустимых для query string немного отличается от набора допустимого для canonical string, из которой считается подпись (она тоже кодируется с помощью url_encoding-а)
- в третьих, в шифрующей проксе нашего клиента была не очень корректно сделана проверка подписи. Они просто брали query string как она есть, и считали от неё сигнатуру. В результате они её считали от закодированых слешей, а наш сервис считал от нормальных слешей. Амазон делает это более правильно - он сначала декодирует query string, а потом строит canonical string c кодированием по своим правилам - поэтому с ним у нас не было проблем.

Вывод: разрабатывая http-сервисы никогда не полагайтесь на "правильное" кодирование query string, т.к. есть несколько вариантов сделать это правильно. Всегда декодируйте его и потом кодируйте по своему, если это имеет значение.

twiki от 2005 года