PythonUnicode指南

定义¶

如今的程序需要具有处理许多不同类型字符的能力。应用程序常常需要国际化以便以用户可选择的不同语言显示信息和输出。同一个程序可能需要以英语、法语、日语、希伯来语或俄语输出错误信息。网页内容可能由任何语言写成，并且可能包含不同的表情符号。Python 的字符串类型使用 Unicode 标准来表示字符，这使 Python 程序能够正常处理所有这些可能的字符。

Unicode 规范 (https://www.unicode.org/) 旨在列出人类语言中用到的每个字符，并赋予每个字符唯一的编码。该规范持续进行修订和更新以添加新的语言和符号。

一个**字符**是文本的最小可能部件。‘A’、‘B’、‘C’ 等都是不同的字符。‘È’ 和 ‘Í’ 也一样。字符会随着语言或者上下文的变化而变化。比如，‘Ⅰ’ 是一个表示 “罗马数字 1” 的字符，它与大写字母 ‘I’ 不同。它们常常看起来相同，但这是两个有着不同含义的不同字符。

Unicode 标准描述了**码位**如何表示字符。一个码位的值是在 0 到 0x10FFFF （大约 110 万个值，目前有其中 11 万个被指派）。在这一标准中并且在这一文档中，一个码位写作 U+265E 来表示拥有值 0x265e 的字符（十进制下为 9,822）。

Unicode 标准包含了许多表格来列出字符和对应的码位。

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '????'; GRINNING FACE
1F609   '????'; WINKING FACE
...

严格地说，这些定义暗示了这样的说法是没有意义的：“这是字符 U+265E”。U+265E 是一个码位，其代表了某特定的字符 —— 在这一情形下，它代表了字符 “国际象棋黑方骑士（黑马）” ‘♞’。在非正式上下文中，码位和字符的差异有时会被忽略。

一个字符在屏幕上或在纸上被表示为一组图形元素，被称为**字形**。比如，大写字母 A 的字形，是斜向的两笔和水平的一笔，而具体的细节取决于所使用的字体。大部分 Python 代码不必担心字形，找到应被显示的正确字形一般来说是用户图形界面工具箱或者终端的字体渲染器的工作。

编码¶

上一段可以归结为：一个 Unicode 字符串是一系列码位（从 0 到 0x10FFFF 或者说十进制的 1,114,111 的数字）组成的序列。这一序列在内存中需要被表示为一组**码元**，然后**码元** 会对应到包含八个二进制位的字节。将 Unicode 字符串翻译成字节序列的规则被称为**字符编码**，或者**编码**。

你可能会想到的第一种编码是使用一个 32 位的整数来代表一个代码位，然后使用 CPU 对 32 位整数的表达方式。在这一表达方式中，字符串 “Python” 可能看起来像是这样：

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

这个表达方式非常直接，但同时也存在 一些问题。

1. 不够方便；不同的处理器对字节的排序不同。

2. 非常浪费空间。多数编码都小于127，或者255，所以很多空间都是 0x00。上面的字符串takes 24 bytes compared to the 6 bytes needed for an ASCII representation. Increased RAM usage doesn't matter too much (desktop computers have gigabytes of RAM, and strings aren't usually that large), but expanding our usage of disk and network bandwidth by a factor of 4 is intolerable.

3. 与现有的 C 函数（如 strlen() ）不兼容，因此需要采用一套新的宽字符串函数。

因此这种编码用得不多，人们转而选择其他更高效、更方便的编码，比如 UTF-8。

UTF-8 是最常用的编码之一，Python 往往默认会采用它。UTF 代表“Unicode Transformation Format”，'8' 表示编码采用 8 位数。（UTF-16 和 UTF-32 编码也是存在的，但其使用频率不如 UTF-8。）UTF-8 的规则如下：

1. 如果码位 < 128，则直接用对应的字节值表示。

2. 如果码位 >= 128，则转换为 2、3、4 个字节的序列，每个字节值都位于 128 和 255 之间。

UTF-8 有几个很方便的特性：

1. 可以处理任何 Unicode 码位。

2. Unicode 字符串被转换为一个字节序列，仅在表示空（null ）字符（U+0000）时才会包含零值的字节。这意味着 strcpy() 之类的C 函数可以处理 UTF-8 字符串，而且用那些不能处理字符串结束符之外的零值字节的协议也能发送。

3. ASCII 字符串也是也是也是合法的 UTF-8 文本。

4. UTF-8 相当紧凑；大多数常用字符均可用一两个字节表示。

5. 如果字节数据被损坏或丢失，则可以找出下一个 UTF-8 码点的开始位置并重新开始同步。随机的 8 位数据也不太可能像是有效的 UTF-8 编码。

6. UTF-8 是一种面向字节的编码。编码规定了每个字符由一个或多个字节的序列表示。这避免了整数和双字节编码（如 UTF-16 和 UTF-32）可能出现的字节顺序问题，那时的字节序列会因执行编码的硬件而异。

参考文献¶

Unicode Consortium 站点 有 Unicode 规范的字符图表、词汇表和 PDF 版本。 为一些困难的阅读做好准备。 Unicode 起源和发展的年表 也可在该站点上找到。

On the Computerphile Youtube channel, Tom Scott briefly

discusses the history of Unicode and UTF-8 <https://www.youtube.com/watch?v=MijmeoH9LT4>

(9 minutes 36 seconds).

为了帮助理解该标准，Jukka Korpela 编写了阅读 Unicode 字符表的`介绍性指南 <http://jkorpela.fi/unicode/guide.html>`_ 。

Joel Spolsky 撰写了另一篇不错的介绍性文章 <https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-know-about-unicode-and-character- set-no-excuses/>`_ 。如果本文没让您弄清楚，那应在继续之前先试着读读这篇文章。

Wikipedia 条目通常也有帮助；请参阅“字符编码”和 UTF-8 的条目，例如：

字符串类型¶

从 Python 3.0 开始， str 类型包含了 Unicode 字符，这意味着用``"unicode rocks!"、'unicode rocks!'`` 或三重引号字符串语法创建的任何字符串都会存储为 Unicode。

Python 源代码的默认编码是 UTF-8，因此可以直接在字符串中包含 Unicode 字符：

try:
withopen('/tmp/input.txt','r')asf:
...
exceptOSError:
# 'File not found' error message.
print("Fichier non trouvé")

旁注：Python 3 还支持在标识符中使用 Unicode 字符：

répertoire="/tmp/records.log"
withopen(répertoire,"w")asf:
f.write("test\n")

如果无法在编辑器中输入某个字符，或出于某种原因想只保留 ASCII 编码的源代码，则还可以在字符串中使用转义序列。（根据系统的不同，可能会看到真的大写 Delta 字体而不是 u 转义符。）：

>>> "\N{GREEK CAPITAL LETTER DELTA}"# Using the character name
'\u0394'
>>> "\u0394"# Using a 16-bit hex value
'\u0394'
>>> "\U00000394"# Using a 32-bit hex value
'\u0394'

此外，可以用 bytes 的 decode() 方法创建一个字符串。 该方法可以接受 encoding 参数，比如可以为 UTF-8 ，以及可选的 errors 参数。

若无法根据编码规则对输入字符串进行编码，errors 参数指定了响应策略。 该参数的合法值可以是 'strict' (触发 UnicodeDecodeError 异常)、'replace' (用 U+FFFD、REPLACEMENTCHARACTER)、'ignore' (只是将字符从 Unicode 结果中去掉)，或 'backslashreplace' (插入一个 \xNN 转义序列)。 以下示例演示了这些不同的参数:

>>> b'\x80abc'.decode("utf-8","strict")
Traceback (most recent call last):
...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8","replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8","backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8","ignore")
'abc'

编码格式以包含编码格式名称的字符串来指明。 Python 有大约 100 种不同的编码格式；清单详见 Python 库参考文档 标准编码。 一些编码格式有多个名称，比如 'latin-1'、'iso_8859_1' 和 '8859 都是指同一种编码。

利用内置函数 chr() 还可以创建单字符的 Unicode 字符串，该函数可接受整数参数，并返回包含对应码位的长度为 1 的 Unicode 字符串。内置函数 ord() 是其逆操作，参数为单个字符的 Unicode 字符串，并返回码位值：

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

>>> u=chr(40960)+'abcd'+chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')
Traceback (most recent call last):
...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii','ignore')
b'abcd'
>>> u.encode('ascii','replace')
b'?abcd?'
>>> u.encode('ascii','xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii','backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii','namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

>>> s="a\xac\u1234\u20ac\U00008000"
... #     ^^^^ two-digit hex escape
... #         ^^^^^^ four-digit Unicode escape
... #                     ^^^^^^^^^^ eight-digit Unicode escape
>>> [ord(c)forcins]
[97, 172, 4660, 8364, 32768]

#!/usr/bin/env python
# -*- coding: latin-1 -*-
u='abcdé'
print(ord(u[-1]))

importunicodedata
u=chr(233)+chr(0x0bf2)+chr(3972)+chr(6000)+chr(13231)
fori,cinenumerate(u):
print(i,'%04x'%ord(c),unicodedata.category(c),end=" ")
print(unicodedata.name(c))
# Get numeric value of second character
print(unicodedata.numeric(u[1]))

0 00e9 Ll LATIN SMALL LETTER E WITH ACUTE
1 0bf2 No TAMIL NUMBER ONE THOUSAND
2 0f84 Mn TIBETAN MARK HALANTA
3 1770 Lo TAGBANWA LETTER SA
4 33af So SQUARE RAD OVER S SQUARED
1000.0

>>> street='Gürzenichstraße'
>>> street.casefold()
'gürzenichstrasse'

importunicodedata
defcompare_strs(s1,s2):
defNFD(s):
returnunicodedata.normalize('NFD',s)
returnNFD(s1)==NFD(s2)
single_char='ê'
multiple_chars='\N{LATIN SMALL LETTER E}\N{COMBINING CIRCUMFLEX ACCENT}'
print('length of first string=',len(single_char))
print('length of second string=',len(multiple_chars))
print(compare_strs(single_char,multiple_chars))

$ python3 compare-strs.py
length of first string= 1
length of second string= 2
True

importunicodedata
defcompare_caseless(s1,s2):
defNFD(s):
returnunicodedata.normalize('NFD',s)
returnNFD(NFD(s1).casefold())==NFD(NFD(s2).casefold())
# Example usage
single_char='ê'
multiple_chars='\N{LATIN CAPITAL LETTER E}\N{COMBINING CIRCUMFLEX ACCENT}'
print(compare_caseless(single_char,multiple_chars))

importre
p=re.compile(r'\d+')
s="Over \u0e55\u0e57 57 flavours"
m=p.search(s)
print(repr(m.group()))

withopen('unicode.txt',encoding='utf-8')asf:
forlineinf:
print(repr(line))

withopen('test',encoding='utf-8',mode='w+')asf:
f.write('\u4500 blah blah blah\n')
f.seek(0)
print(repr(f.readline()[:1]))

filename='filename\u4500abc'
withopen(filename,'w')asf:
f.write('blah\n')

fn='filename\u4500abc'
f=open(fn,'w')
f.close()
importos
print(os.listdir(b'.'))
print(os.listdir('.'))

$ python listdir-test.py
[b'filename\xe4\x94\x80abc', ...]
['filename\u4500abc', ...]

new_f=codecs.StreamRecoder(f,
# en/decoder: used by read() to encode its results and
# by write() to decode its input.
codecs.getencoder('utf-8'),codecs.getdecoder('utf-8'),
# reader/writer: used to read and write to the stream.
codecs.getreader('latin-1'),codecs.getwriter('latin-1'))

withopen(fname,'r',encoding="ascii",errors="surrogateescape")asf:
data=f.read()
# make changes to the string 'data'
withopen(fname+'.new','w',
encoding="ascii",errors="surrogateescape")asf:
f.write(data)