pythonascii轉(zhuǎn)utf8_python編碼亂碼問(wèn)題

Python是一種面向?qū)ο蟮慕忉屝陀?jì)算機(jī)程序設(shè)計(jì)語(yǔ)言，由荷蘭人發(fā)明，第一個(gè)公開(kāi)發(fā)行版發(fā)行于1991年。Python是純粹的自由軟件，源代碼和解釋器CPython遵循 GPL協(xié)議。Python語(yǔ)法簡(jiǎn)潔清晰，特色之一是強(qiáng)制用空白符作為語(yǔ)句縮進(jìn)。

Python具有豐富和強(qiáng)大的庫(kù)。它常被昵稱為膠水語(yǔ)言，能夠把用其他語(yǔ)言制作的各種模塊（尤其是C/C++）很輕松地聯(lián)結(jié)在一起。常見(jiàn)的一種應(yīng)用情形是，使用Python快速生成程序的原型（有時(shí)甚至是程序的最終界面），然后對(duì)其中有特別要求的部分，用更合適的語(yǔ)言改寫(xiě)，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫(xiě)，而后封裝為Python可以調(diào)用的擴(kuò)展類庫(kù)。需要注意的是在您使用擴(kuò)展類庫(kù)時(shí)可能需要考慮平臺(tái)問(wèn)題，某些可能不提供跨平臺(tái)的實(shí)現(xiàn)。

Python ascii 編碼轉(zhuǎn)化為utf-8編碼

實(shí)現(xiàn)代碼如下：

123456a = ‘a(chǎn)bce’

# print type（a）

b = a.decode（“ascii”）

# print type（b）

c = a.decode（“ascii”）.encode（“utf-8”）

# print type（c）

在python中進(jìn)行編碼轉(zhuǎn)換都是通過(guò)unicode作為中間值實(shí)現(xiàn)的。所以要先decode成unicode字符，然后再使用encode轉(zhuǎn)換成utf-8編碼的str。可以把注釋取消了，看下轉(zhuǎn)換過(guò)程中的類型。

ASCII 是一種字符集，包括大小寫(xiě)的英文字母、數(shù)字、控制字符等，它用一個(gè)字節(jié)表示，范圍是 0-127 Unicode分為UTF-8和UTF-16。

UTF-8變長(zhǎng)度的，最多 6 個(gè)字節(jié)，小于 127 的字符用一個(gè)字節(jié)表示，與 ASCII 字符集的結(jié)果一樣，ASCII 編碼下的英語(yǔ)文本不需要修改就可以當(dāng)作 UTF-8 編碼進(jìn)行處理。

Python 從 2.2 開(kāi)始支持 Unicode ，函數(shù) decode（ char_set ）可以實(shí)現(xiàn) 其它編碼到 Unicode 的轉(zhuǎn)換，函數(shù) encode（ char_set ）實(shí)現(xiàn) Unicode 到其它編碼方式的轉(zhuǎn)換。

比如

［python］ view plain copy（“你好”）.decode（ “GB2312”）

將得到

u‘\u4f60\u597d’，

即 “你”和“好“的 Unicode 碼分別是 0x4f60 和 0x597d

再用

［python］ view plain copy（u‘\u4f60\u597d’）.encode（”UTF-8“）

將得到

‘\xe4\xbd\xa0\xe5\xa5\xbd’

它是 “你好”的UTF-8編碼結(jié)果。

python中使用 unicode的關(guān)鍵：unicode是一個(gè)類，函數(shù)unicode（str，”utf8“）從utf8編碼（當(dāng)然也可以是別的編碼）的字符串str生成 unicode類的對(duì)象，而函數(shù)unc.encode（”utf8“）將unicode類的對(duì)象unc轉(zhuǎn)換為（編碼為）utf8編碼（當(dāng)然也可以是別的編碼）的字符串。于是，編寫(xiě)unicode相關(guān)程序，需要做的事情是 * 獲取數(shù)據(jù)（字符串）時(shí)，用unicode（str， ”utf8“）生成unicode對(duì)象 * 在程序中僅使用unicode對(duì)象，對(duì)程序中出現(xiàn)的字符串常量都以u(píng)”字符串“的形式書(shū)寫(xiě) * 輸出時(shí)，可將unicode對(duì)象轉(zhuǎn)換為任意編碼輸出，使用str.encode（”some_encoding“）

［python］ view plain copy》》》 unicode（”你好“， ”utf8“）

u‘\u4f60\u597d’

》》》 x = _

》》》 type（x）

》》》 type（”你好“）

》》》 x.encode（”utf8“）

‘\xe4\xbd\xa0\xe5\xa5\xbd’

》》》 x.encode（”gbk“）

‘\xc4\xe3\xba\xc3’

》》》 x.encode（”gb2312“）

‘\xc4\xe3\xba\xc3’

》》》 print x

你好

》》》 print x.encode（”utf8“）

你好

》》》 print x.encode（”gbk“）

？？？

以上是測(cè)試結(jié)果（Ubuntu 6.06，locale為utf8），注意type（x）和type（”你好“）的區(qū)別。從編碼上可以看出utf8編碼與gbk不同。在utf8的 locale設(shè)置下，打印x按該環(huán)境變量編碼（我猜我猜我猜猜猜），而打印x.encode（”gbk“）則是亂碼。

python編碼亂碼問(wèn)題ascii unicode utf-8

基礎(chǔ)知識(shí)部分

首先需明白python2.7默認(rèn)使用的是ascii，而現(xiàn)在python3.x默認(rèn)使用的是unicode。下面內(nèi)容基于python2.7。

一、文件編碼

一般文件使用的是utf-８或者bgk編碼進(jìn)行存儲(chǔ)。但是由于python2.7默認(rèn)使用ascii，所以python2.7在運(yùn)行py后綴文件時(shí)也是默認(rèn)以ascii編碼讀取文件。如果文件中沒(méi)有中文不會(huì)出現(xiàn)問(wèn)題。但是如果有中文的話，由于中文編碼超出了ascii編碼范圍，所以python2.7將會(huì)報(bào)錯(cuò)。

所以我們需要在文件頭部添加：

#coding:utf-8

或者

#！/usr/bin/python

# -*- coding： utf-8 -*-1234

來(lái)告訴python2.7此文件要用utf-8編碼來(lái)讀取。

在文件中設(shè)置后我們可以使用 a = u‘哈’；python會(huì)自動(dòng)使用utf-8來(lái)讀取漢字，并將其轉(zhuǎn)換為Unicode對(duì)象。1

二、字符串編碼

python2.7和字符串相關(guān)的數(shù)據(jù)類型，分別是標(biāo)準(zhǔn)字符串（str）是單字節(jié)字符序列，Unicode字符串（unicode）是雙字節(jié)字符序列。。

python的解碼，編碼是python自動(dòng)進(jìn)行的，如果我們沒(méi)有指明解碼方式，python 就會(huì)使用 sys.defaultencoding 指明的方式來(lái)解碼。python2.7的函數(shù)str（）和unicode（）默認(rèn)將對(duì)象轉(zhuǎn)成ascii編碼。

但是對(duì)于中文，ascii編碼是無(wú)法表示的。因此我們需要用sys.setdefaultencoding（‘utf-8’）來(lái)設(shè)置string對(duì)象默認(rèn)的編碼。

import sys

reload（sys）

sys.setdefaultencoding（‘utf-8’） 123

那么字符串如何在str和unicode間進(jìn)行轉(zhuǎn)換呢？python提供了兩個(gè)函數(shù)：

b = u‘哈’ //b為unicode對(duì)象

b.encode（‘utf-8’） //將b從unicode類型轉(zhuǎn)為utf-8類型

b.decode（‘utf-8’） //將b從utf-8類型轉(zhuǎn)換為Unicode類型123

三、window控制臺(tái)輸出

window控制臺(tái)默認(rèn)使用gbk編碼。如果你設(shè)置了

# -*- coding： utf-8 -*-1

python直接按照utf-8輸出到控制臺(tái)。所以我們可以改變文件編碼：

# -*- coding： gbk -*-1

或者使用unicode類型進(jìn)行輸出，會(huì)自動(dòng)轉(zhuǎn)換。