URL 디코딩

어떤 도구도 대신 풀어 줄 수 없는 모호함

디코딩 자체는 기계적으로 간단합니다. % 뒤에 16진수 두 자리가 오는 부분을 찾아 바이트로 되돌린 다음, 그 바이트를 UTF-8로 읽으면 됩니다. 진짜 모호한 부분은 딱 하나입니다. 더하기 기호는 공백일 수도, 더하기 기호일 수도 있습니다. 제출된 폼에서는 웹의 URL 명세보다도 오래된 관례에 따라 공백을 뜻합니다. 경로 구간에서는 문자 그대로의 문자입니다. 텍스트 자체에는 어느 쪽인지 알려 주는 정보가 없으므로, 이 페이지는 하나를 골라 조용히 틀리는 대신 두 가지 해석을 모두 보여 드립니다. 더하기가 실제 데이터인 이메일 주소나 base64 값처럼 가장 치명적인 경우에 특히 중요합니다.

ASCII가 아닌 텍스트는 한 글자가 여러 개의 퍼센트 시퀀스로 들어옵니다. 인코딩이 글자가 아니라 UTF-8 바이트 단위로 이루어지기 때문입니다. 악센트가 붙은 글자는 2개, 대부분의 기호는 3개, 이모지는 4개입니다. 올바른 UTF-8이 아닌 시퀀스를 디코딩하면 대체 문자가 나오는데, 보통 다른 문자 집합으로 인코딩된 텍스트이거나 글자 중간에서 잘린 텍스트라는 신호입니다.

두 번 디코딩하는 것은 단순한 실수가 아니라 보안 버그입니다. 값을 디코딩하고 검사한 뒤 다시 디코딩하면, 공격자는 검사를 피해 문자를 숨길 수 있습니다. %252e%252e%252f는 한 번 디코딩해도 여전히 %2e%2e%2f이므로 "../"를 찾는 필터를 통과하고, 두 번째 디코딩 후에야 필터가 막으려던 경로 이동 문자열이 됩니다. 정확히 한 번 디코딩한 다음 검증하고, 절대 순서를 바꾸지 마세요.

인코딩된 적이 없는 텍스트는 망가지지 않고 그대로 돌아옵니다. 문자열을 디코딩해야 하는지조차 확실하지 않을 때 유용한 동작입니다. 뒤에 16진수 두 자리가 없는 퍼센트 기호는 오류로 처리하지 않고 그대로 둡니다. 인코딩이 아니라 붙여 넣은 텍스트에 흔한, 문자 그대로의 퍼센트이기 때문입니다.

다른 작업이 필요할 때

코드에서는 디코더가 인코더와 짝이 맞아야 합니다. JavaScript에는 decodeURIComponent가 있고, Python은 바로 이 더하기 기호 문제 때문에 unquote와 unquote_plus를 구분하며, PHP에도 같은 이유로 rawurldecode와 urldecode가 있습니다. 더 좋은 방법은 URL 타입이나 쿼리 문자열 파서에 맡기는 것입니다. 대부분의 프레임워크는 매개변수를 알아서 디코딩하며, 그 뒤에 한 번 더 디코딩하는 것이 바로 위에서 말한 이중 디코딩 버그가 생기는 과정입니다.

값 하나를 디코딩하는 게 아니라 긴 URL을 살펴보려는 경우에는 디코더보다 파서가 낫습니다. python -c "import urllib.parse,sys; print(urllib.parse.urlparse(sys.argv[1]))"는 주소를 구성 요소별로 나눠 주므로, 무엇이든 디코딩하기 전에 어느 부분이 무엇인지 확인할 수 있습니다. 링크가 제대로 작동하지 않을 때 실제로 궁금한 것은 대개 그것입니다.