7.3.66. tokenizer_list¶
7.3.66.1. 概要¶
tokenizer_list コマンドはデータベースに登録されているトークナイザーの一覧を返します。
7.3.66.3. 使い方¶
以下は簡単な使用例です。
実行例:
tokenizer_list
# [
#   [
#     0,
#     1337566253.89858,
#     0.000355720520019531
#   ],
#   [
#     {
#       "name": "TokenDelimit"
#     },
#     {
#       "name": "TokenUnigram"
#     },
#     {
#       "name": "TokenBigram"
#     },
#     {
#       "name": "TokenTrigram"
#     },
#     {
#       "name": "TokenBigramSplitSymbol"
#     },
#     {
#       "name": "TokenBigramSplitSymbolAlpha"
#     },
#     {
#       "name": "TokenBigramSplitSymbolAlphaDigit"
#     },
#     {
#       "name": "TokenBigramIgnoreBlank"
#     },
#     {
#       "name": "TokenBigramIgnoreBlankSplitSymbol"
#     },
#     {
#       "name": "TokenBigramIgnoreBlankSplitSymbolAlpha"
#     },
#     {
#       "name": "TokenBigramIgnoreBlankSplitSymbolAlphaDigit"
#     },
#     {
#       "name": "TokenDelimitNull"
#     },
#     {
#       "name": "TokenRegexp"
#     }
#   ]
# ]
データベースに登録されているトークナイザーの一覧を返します。