UTF-8의 개념
UTF-8은 유니코드(Unicode) 문자를 인코딩하는 가장 일반적인 방법 중 하나로, 문자마다 최대 4바이트의 가변 길이로 인코딩한다. 이는 전 세계의 모든 문자를 하나의 문자 집합으로 표현할 수 있으며, ASCII와 호환성이 있으므로 ASCII 문자는 1바이트로 표현할 수 있다.
UTF-8의 주요 특징
- 가변 길이 인코딩 : 각 유니코드 문자를 1바이트에서 최대 4바이트까지 가변적으로 인코딩하며, 문자에 따라 필요한 메모리를 최적화할 수 있다.
- ASCII 호환성 : UTF-8은 ASCII 문자 구성을 그대로 포함하고 있다. ASCII 문자는 UTF-8에서도 동일한 1바이트로 표현되며, 기존의 ASCII 텍스트 파일을 UTF-8로 인코딩해도 문제 없이 불러올 수 있다.
- 자가 동기화(Self-synchronization) : UTF-8 인코딩은 문자의 시작 부분을 쉽게 식별할 수 있도록 설계되었으며, 문자열의 어느 부분에서든 시작하여 유효한 문자 경계를 찾을 수 있다.
- 네트워크 효율성 : 전자 메일, 웹 등에서 널리 사용되며, 영어와 같은 ASCII 문자를 주로 사용하는 텍스트에 대해 효율적이고 데이터 전송 시 오버헤드가 적다.
- 오류 감지 기능 : 인코딩 규칙이 엄격하기 때문에, 데이터가 손상되었거나 잘못된 인코딩이 되었을 경우 이를 감지하기 쉽다.
- 범용성 : 전 세계 어떤 언어의 문자도 표현할 수 있는 범용성을 가지고 있다. 이로 인해 인터넷과 전 세계적인 소프트웨어 개발에서 표준적으로 사용되고 있다.
- 역호환성 : 이전 인코딩과의 호환성을 유지하는 방식으로 설계되었으며, 인코딩된 문서에서 ASCII 부분은 기존 ASCII 인코딩과 동일하게 처리될 수 있다.
- 경제성 : 대부분의 웹 콘텐츠가 영어로 되어 있기 때문에, 영어 텍스트에 대해 매우 경제적인 인코딩 방식이다.
- 확장성 : 유니코드가 지원하는 모든 문자를 표현할 수 있으며, 유니코드의 확장에 따라 새로운 문자를 추가하는 것도 가능하다.
UTF-8 인코딩 방법
인코딩 방법은 문자의 유니코드 값에 따라 달라지는데, 자세한 방법은 아래와 같다.
- 1바이트 문자 (U+0000 ~ U+007F) : ASCII 문자는 1바이트 그대로 표현된다.
- 예를 들어, ‘A’는 유니코드 U+0041이며, 0x41로 인코딩된다.
- 2바이트 문자 (U+0080 ~ U+07FF) : 첫 바이트는 110xxxxx로 인코딩되고, 두 번째 바이트는 10xxxxxx로 인코딩된다. 여기에서 x는 유니코드 값의 비트 부분을 나타낸다.
- 예를 들어, ‘¢’ (센트 기호)는 유니코드 U+00A2이며, 0xC2 0xA2로 인코딩된다.
- 3바이트 문자 (U+0800 ~ U+FFFF) : 첫 바이트는 1110xxxx로 인코딩되고, 다음 두 바이트는 각각 10xxxxxx로 인코딩된다.
- 예를 들어, ‘한’은 유니코드 U+D55C이며, 0xED 0x95 0x9C로 인코딩된다.
- 4바이트 문자 (U+10000 ~ U+10FFFF) : 첫 바이트는 11110xxx로 인코딩되고, 다음 세 바이트는 각각 10xxxxxx로 인코딩된다.
- 예를 들어, 이모티콘(예: 😂)은 유니코드 U+1F602이며, 0xF0 0x9F 0x98 0x82로 인코딩된다.
한글 인코딩 관련 및 느낀 점
한글 음절의 유니코드 범위는 (U+AC00 ~ U+D7A3)으로, 위 방법으로 인코딩하면 3바이트가 된다. 필자도 과거에 한글은 2바이트라는 고정관념이 있었지만, UTF-8의 개념을 듣고 나서 인코딩 방법에 따라 3바이트가 될 수도 있다는 것을 알게 되었다. 기회가 된다면 더 깊이 알아보고 싶다는 생각도 하였다.