Декодировать URL

Неоднозначность, которую за вас не решит никто

Декодирование устроено механически просто — найти каждый % с двумя шестнадцатеричными цифрами после него, превратить обратно в байт, затем прочитать байты как UTF-8, — и в нём ровно одна настоящая неоднозначность. Знак плюса может означать пробел, а может — плюс. В отправленной форме это пробел, по соглашению, которое старше самой спецификации URL. В сегменте пути это обычный символ. В самом тексте ничего не говорит, какой случай перед вами, поэтому страница показывает оба прочтения, а не выбирает одно и тихо ошибается. Важнее всего это там, где ошибка бьёт больнее всего: в адресе электронной почты или в значении base64, где плюс — настоящие данные.

Текст не на латинице превращается в несколько процентных последовательностей на каждый символ, потому что кодирование работает с байтами UTF-8, а не с символами: буква с диакритикой или кириллическая буква — это две последовательности, большинство символов — три, эмодзи — четыре. Если декодировать последовательность, которая не является корректным UTF-8, получатся символы замены — обычно это знак, что текст кодировали из другой кодировки или обрезали посреди символа.

Двойное декодирование — это уязвимость, а не просто ошибка. Если значение декодируют, проверяют, а потом декодируют снова, злоумышленник может спрятать символы от проверки: %252e%252e%252f проходит фильтр, ищущий «../», потому что после первого прохода это всё ещё %2e%2e%2f, а после второго — тот самый выход из каталога, который фильтр должен был остановить. Декодируйте ровно один раз, потом проверяйте, и никогда не в обратном порядке.

Текст, который никогда не кодировался, возвращается без изменений, а не искажается — это полезно, когда вы не уверены, нужно ли вообще декодировать строку. Знак процента, за которым не идут две шестнадцатеричные цифры, остаётся как есть и не считается ошибкой: это буквальный процент, частый в тексте, который вставили, а не закодировали.

Если нужно другое

В коде декодер должен соответствовать кодировщику. В JavaScript есть decodeURIComponent; в Python unquote и unquote_plus разделены именно из-за вопроса о плюсе; в PHP по той же причине есть rawurldecode и urldecode. А лучше доверьте это типу URL или парсеру строки запроса — большинство фреймворков сами декодируют параметры, и повторное декодирование после них и порождает описанную выше ошибку двойного декодирования.

Чтобы разобрать длинный URL, а не декодировать одно значение, парсер лучше декодера: python -c "import urllib.parse,sys; print(urllib.parse.urlparse(sys.argv[1]))" раскладывает адрес на части, чтобы вы видели, где что, ещё до декодирования — а когда ссылка ведёт себя странно, вопрос обычно именно в этом.