# 一、ASCII 编码
ASCII(American Standard Code for Information Interchange,美国标准信息交换代码)是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统,并等同于国际标准ISO/IEC 646。
ASCII 码使用指定的 7 位或 8 位二进制数组合来表示 128 或 256 种可能的字符。标准 ASCII 码也叫基础 ASCII 码,使用 7 位二进制数(剩下的 1 位二进制为 0)来表示所有的大写和小写字母,数字 0 到 9、标点符号, 以及在美式英语中使用的特殊控制字符。
其中:
0~31 及 127 (共 33 个) 是控制字符或通信专用字符(其余为可显示字符),如控制符:LF(换行)、CR(回车)、FF(换页)、DEL(删除)、BS(退格)、BEL(响铃)等;通信专用字符:SOH(文头)、EOT(文尾)、ACK(确认)等;ASCII 值为 8、9、10 和 13 分别转换为退格、制表、换行和回车字符。它们并没有特定的图形显示,但会依不同的应用程序,而对文本显示有不同的影响。
32~126 (共 95 个) 是字符 (32 是空格),其中 48~57 为 0 到 9 十个阿拉伯数字。
65~90 为 26 个大写英文字母,97~122 号为 26 个小写英文字母,其余为一些标点符号、运算符号等。
后 128 个称为扩展 ASCII 码。许多基于 x86 的系统都支持使用扩展(或 “高”)ASCII。扩展 ASCII 码允许将每个字符的第 8 位用于确定附加的 128 个特殊符号字符、外来语字母和图形符号
下面为 ASCII 码表
# 二、GBK 编码
由于ASCII编码不支持中文,因此,当中国人用到计算机时,就需要寻求一种编码方式来支持中文。
于是,国人就定义了一套编码规则:当字符小于 127 位时,与 ASCII 的字符相同,但当两个大于 127 的字符连接在一起时,就代表一个汉字,第一个字节称为高字节(从 0xA1-0xF7), 第二个字节为低字节(从 0xA1-0xFE), 这样大约可以组合 7000 多个简体汉字。这个规则叫做 GB2312。
但是由于中国汉字很多,有些字无法表示,于是重新定义了规则:不在要求低字节一定是 127 之后的编码,只要第一个字节是大于 127,就固定表示这是一个汉字的开始,不管后面跟的是不是扩展字符集里的内容。这种扩展之后的编码方案称之为 GBK 标,包括了 GB2312 的所有内容,同时新增了近 20000 个新的汉字(包括繁体字)和符号。
但是,中国有 56 个民族,所以,我们再次对编码规则进行了扩展,又加了近几千个少数民族的字符,于是再次扩展后得编码叫做 GB18030。中国的程序员觉得这一系列编码的标准是非常的好,于是统统称他们叫做 "DBCS"(Double Byte Charecter Set 双字节字符集)。
# 三、Unicode 编码
因为世界国家很多,每个国家都定义一套自己的编码标准,结果相互之间谁也不懂谁的编码,就无法进行很好的沟通交流,所以及时的出现了一个组织 ISO(国际标准化组织)决定定义一套编码方案来解决所有国家的编码问题,这个新的编码方案就叫做 Unicode。注意 Unicode 不是一个新的编码规则,二是一套字符集(为每一个「字符」分配一个唯一的 ID(学名为码位 / 码点 / Code Point)),可以将 Unicode 理解为一本世界编码的字典。
ISO 规定:每个字符必须使用俩个字节,即用 16 位二进制来表示所有的字符,对于 ASCII 编码表里的字符,保持其编码不变,只是将长度扩展到了 16 位,其他国家的字符全部统一重新编码。由于传输 ASCII 表里的字符时,实际上可以只用一个字节就可以表示,所以,这种编码方案在传输数据比较浪费带宽,存储数据比较浪费硬盘。
# 四、UTF-8 编码
由于Unicode比较浪费网络带宽和硬盘,因此为了解决这个问题,就在Unicode的基础上,定义了一套编码规则(将「码位」转换为字节序列的规则(编码/解码 可以理解为 加密/解密 的过程)),这个新的编码规则就是UTF-8,采用1-4个字符进行传输和存储数据。
编码规则:使用下面的模板进行转换
# Unicode 符号范围(十六进制) | UTF-8 编码方式 (二进制)
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
utf-8 区分每个字符的开始是根据字符的高位字节来区分的,比如用一个字节表示的字符,第一个字节高位以 “0” 开头;用两个字节表示的字符,第一个字节的高位为以 “110” 开头,后面一个字节以 “10 开头”; 用三个字节表示的字符,第一个字节以 “1110” 开头,后面俩字节以 “10” 开头;用四个字节表示的字符,第一个字节以 “11110” 开头,后面的三个字节以 “10” 开头。
# 五 UTF-8 和 Unicode 转换
比如汉字 “智”,utf-8 编码是 “\xe6\x99\xba” 对应的二进制为:“111001101001100110111010”,由于 utf-8 中一个汉字是 3 个字节,所以对应的模板为 “0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx”。
11100110 10011001 10111010
1110xxxx 10xxxxxx 10xxxxxx
0110 011001 111010
0110011001111010 代表十六进制 667A,因此根据规则转换得出 “智” Unicode 的位置为为 “667A”。
同样,根据 Unicode 中字符的编码位置,也能找到对应的 utf-8 编码。
# 六 Unicode 与 GBK 编码的转换
比如汉字 “路”,在 gbk 中的编码为 “\xc2\xb7”, 对应的二进制为:“1100 0010 1011 0111”。同时 “路” 在 Unicode 字符集中的位置是 “\u8def”(python 中的 Unicode 类型),因此可以通过 “\u8def” 在 Unicode 字符集中找到 “路” 对应的编码为 “4237”,对应的二进制为:“0100 0010 0011 0111”,由于 gbk 的俩个字节的高字节是为了区分中文和 ASCII,所以将 “1100 0010 1011 0111” 高字节的 “1” 去掉后,就对应 Unicode 字符集中的 0100 0010 0011 0111”
七 UTF-8 和 Unicode 与 GBK 的关系
utf-8--------decode (解码)----->>Unicode 类型 <<-------decode (解码)-----gbk
utf-8<<--------encode (编码)----->>Unicode 类型 <<-------encode (编码)----->>gbk