Unicodedata简介
unicodedata 模块是 Python 标准库中的一个模块，用于处理 Unicode 字符数据。Unicode 是一种字符编码标准，它能够为世界上几乎所有的字符提供唯一的编号，支持多语言文本的表示。它提供了一些工具和函数，允许用户获取有关 Unicode 字符的信息，如字符的属性、名称、分类等。这对于处理国际化文本、验证字符、执行字符转换等操作非常有用。
产生背景
- 全球化和多语言支持: 随着计算机应用的全球化发展，支持多语言文本处理变得越来越重要。Unicode 是一个全球性的字符编码标准，能够表示来自不同语言和文化的字符。
- 统一字符编码: 在 Unicode 出现之前，不同的国家和地区使用不同的字符编码，这导致了跨语言文本处理的复杂性。Unicode 提供了一个统一的字符集，简化了多语言文本的处理。
- Python 的广泛应用: 作为一种通用编程语言，Python 被广泛应用于各种国际化和本地化的项目中。unicodedata 模块提供了对 Unicode 字符的强大支持，帮助开发者更轻松地处理多语言文本。
使用场景
- 字符分类: 判断一个字符属于哪一类（如字母、数字、标点符号等），这在文本分析和处理任务中非常常见。
- 字符标准化: 将不同表示形式的字符转换为标准形式，以便进行比较和处理。例如，é 可以表示为单个字符（U+00E9）或组合字符（e + ́）。
- 字符信息查询: 获取 Unicode 字符的详细信息，如字符名称、类别等。这对于文本处理和数据分析非常有用。
- 国际化应用: 在处理国际化和本地化应用时，unicodedata 模块可以帮助处理不同语言的字符编码问题。
Unicodedata使用简介
unicodedata.name(char, default=None)
获取 Unicode 字符的名称。如果字符没有名称，则返回指定的 default 值。
- char：要查询的单个字符。
- default：如果字符没有名称，返回该默认值（默认为 None）。
import unicodedata
name = unicodedata.name('A')
print(name) # 输出: LATIN CAPITAL LETTER A
name = unicodedata.name('©', 'Unknown Character')
print(name) # 输出: COPYRIGHT SIGN
name = unicodedata.name('!', 'Unknown Character')
print(name) # 输出: Unknown Character
unicodedata.lookup(name)
通过 Unicode 名称查找字符。name 必须是 Unicode 字符的名称。
- name：字符的 Unicode 名称。
import unicodedata
char = unicodedata.lookup('COPYRIGHT SIGN')
print(char) # 输出: ©
unicodedata.category(char)
获取字符的 Unicode 类别。例如，字符的类别可以是字母、数字、标点符号等。
- char：要查询的单个字符。
import unicodedata
category = unicodedata.category('A')
print(category) # 输出: Lu (Letter, uppercase)
category = unicodedata.category('1')
print(category) # 输出: Nd (Number, decimal digit)
unicodedata.bidirectional(char)
获取字符的 Unicode 双向性（bidi）类别。用于处理双向文本（如阿拉伯语和希伯来语）。
- char：要查询的单个字符。
import unicodedata
bidi = unicodedata.bidirectional('A')
print(bidi) # 输出: L (Left-to-right)
bidi = unicodedata.bidirectional('א')
print(bidi) # 输出: R (Right-to-left)
unicodedata.combining(char)
获取字符的 Unicode 组合类。组合类指示字符是否是一个组合字符。
- char：要查询的单个字符。
import unicodedata
combining = unicodedata.combining('A')
print(combining) # 输出: 0 (Not a combining character)
combining = unicodedata.combining('́') # Combining acute accent
print(combining) # 输出: 230 (Combining acute accent)
unicodedata.decomposition(char)
获取字符的 Unicode 分解形式，返回一个由分解后的字符组成的字符串。
- char：要查询的单个字符。
import unicodedata
decomposition = unicodedata.decomposition('é')
print(decomposition) # 输出: 00E9; 0065 0301
unicodedata.decimal(char, default=None)
获取字符的十进制数字值。如果字符不是十进制数字，则返回指定的 default 值。
- char：要查询的单个字符。
- default：如果字符不是十进制数字，返回该默认值（默认为 None）。
import unicodedata
decimal = unicodedata.decimal('4')
print(decimal) # 输出: 4
decimal = unicodedata.decimal('A', default='Not a decimal')
print(decimal) # 输出: Not a decimal
unicodedata.numeric(char, default=None)
获取字符的数字值（可以是整数或浮点数）。如果字符没有数字值，则返回指定的 default 值。
- char：要查询的单个字符。
- default：如果字符没有数字值，返回该默认值（默认为 None）。
import unicodedata
numeric = unicodedata.numeric('4')
print(numeric) # 输出: 4.0
numeric = unicodedata.numeric('Ⅻ')
print(numeric) # 输出: 12.0
numeric = unicodedata.numeric('A', default='Not a number')
print(numeric) # 输出: Not a number
unicodedata.combining(char)
获取字符的 Unicode 组合类。组合类指示字符是否是一个组合字符。
- char：要查询的单个字符。
import unicodedata
combining = unicodedata.combining('A')
print(combining) # 输出: 0 (Not a combining character)
combining = unicodedata.combining('́') # Combining acute accent
print(combining) # 输出: 230 (Combining acute accent)
unicodedata.normalize(form, text)
将文本标准化为指定的 Unicode 规范形式。form 可以是 ‘NFC’（规范组成形式），’NFD’（规范分解形式），’NFKC’（兼容规范组成形式）或 ‘NFKD’（兼容规范分解形式）。标准化文本对于字符比较和处理非常重要。
import unicodedata
text = 'é' # é 可能由两个字符组成 (e + ́)
normalized_text = unicodedata.normalize('NFC', text)
print(normalized_text) # 输出: é
参考链接：
