文字コードとの戦い (2) Unicode，エンコード，utf-8とは？
Python 2.xを使っている限り，文字コードとの戦いは避けられない． 今回は，文字コードについて調べたので，基礎的な事を備忘録としてまとめておく．
Python2.xでは何も指定しない限り，つまりデフォルトでは，
文字列はstrオブジェクトとして認識され，エンコーディングする際はASCIIが指定される．
エンコーディングを理解する上で，ユニコードの説明が書かせないためユニコードの説明を行う． 下図にユニコードとバイト列（数値の列）の関係を示す． まず，理解しておきたいのはUnicode（ユニコード）とはUnify codeである， つまりコードを１つにするという意味である．あらゆる文字列を１つのコードで表現出来るようにしたコードである．
例えば，shift-jisでエンコードされた文字列（strオブジェクト）をutf-8でエンコードした文字列にしたいときは，一度ユニコードに直してからutf-8に変換する必要がある．
また，エンコードとはユニコードをバイト列に変換する事を示し，下図の例では，
utf-8でエンコードするとバイト列は'\xe3\x81\x84'になり，shift-jisで
エンコードすると'\x82\xa0'のバイト列で表現できる．
まだ理解するのが難しいかもしれないので，実際の例を見てみよう．
例1
*この例ではIPythonの命令を一部利用している
IPythonにはobject?とするとobjectのtypeなどの情報を表示する便利な機能がある．
今回はその機能を利用している．In[n] はn回めに行われたinputを表しており， Out[n]はoutputである．
In [66]: uni = u'あ' #ユニコードで`あ`を表現 In [66]: uni Out[66]: u'\u3042' #ユニコードのバイト列 In [67]: uni? Type: unicode Length: 1
この例では，あの前にuを加えあをユニコードで表現し，uniに代入した．
また，uniはunicodeオブジェクトである．strオブジェクトではない．
例2
次に，先程のユニコード文字を格納したuniをutf-8でエンコードすると以下のようになる．
In [127]: uni Out[127]: u'\u3042' In [130]: after_encoding = uni.encode('utf-8') In [131]: after_encoding Out[131]: '\xe3\x81\x82' In [132]: after_encoding? Type: str String Form:あ Length: 3
エンコードする事により'\xe3\x81\x82'のようなバイト列が得られる．
また，これはstrオブジェクトであり，私の環境ではあと出力される．
例3
続いて，ユニコード文字を格納したuniをshift-jisでエンコードする．
In [133]: shift_jis_encoding = uni.encode('shift-jis') In [134]: shift_jis_encoding Out[134]: '\x82\xa0' In [135]: shift_jis_encoding? Type: str String Form:�� #私の環境では??となる Length: 2
ユニコードをshift-jisでエンコードすることにより，バイト列'\x82\xa0'が得られ，
これもstrオブジェクトである．しかし，私の環境ではshift-jisでエンコードされた文字列を
確認する事ができない．なぜなら，私の標準出力ではshift-jisエンコードには対応していないからだ．私の標準出力の設定をShift-jisとすればあと出力されるだろう．
まとめ
今回，shift-jisでエンコードされた文字を確認できなかったのは，私が使用している環境では，出力先（標準出力）がutf-8しかサポートしていなかったためである．もし，shift-jisのエンコードをサポートしている場合はあが表示され，utf-8でエンコードされた文字は別の文字で表現されるだろう．例えば??など（確認していないため正確にはわからない）
また，ユニコードにすることでマルチバイト文字列を様々な関数に適応することができる．
例えば，今回の例ではunicodeであを表現した時のみlength = 1と適切に関数が
適応されている．このようにユニコードにすることで様々な関数への適応，様々な文字コードへエンコードすることが可能となる．出力以外の文字をユニコードにすることで，様々な文字コードへのエンコーディングが用意になることから，出力の時にだけエンコードするのが良いと思う．
