Subscribed unsubscribe Subscribe Subscribe

Python, web, Algorithm 技術的なメモ

技術的なメモを書いていきます.pythonistaを目指しています.

tinysegmenter3をPyPIに登録したよ (分かち書きモジュール)

mecabなしで分かち書きができるモジュールTinySegmenter3PyPIに登録しました.

元々はjsで書かれていたTinySegmenterpythonに書き直した方がいます.ここ参照

しかし,PyPIにpython3に対応したパッケージが無かったので,作成し公開致しました.

インストールの方法

pip install tinysegmenter3

として頂ければインストールできます.

使用例:

from tinysegmenter import TinySegmenter
segmenter = TinySegmenter()
statement = '私はpython大好きStanding Engineerです.'
tokenized_statement = segmenter.tokenize(statement)
print(tokenized_statement)
# ['私', 'は', 'python', '大好き', 'Standing', ' Engineer', 'です', '.']

ちなみに,これはpython3.x,python2.xどちらでも利用出来ます.
メンテは僕のgithub上で行っているので,いつでもPR, issue, マサカリ受け付けています.

P.S みなさん,python3を使いましょうね!