Chatbot: RasaのTry it outの会話のしくみ1

RasaはPythonで利用できるチャットボットのフレームワークです。 何もインストールせずにオンラインで利用できる次のTriy it Outは基本的なスクリプトやファイルの構造を理解するのに便利です。   Step 2: Try it Out   チャットボットのスクリプトというと難しそうなのでですが、基本はそれほどでもありません。 チャットのために必要とされるstories.mdとdomain.ymlとnlu.mdについて説明します。 会話の流れは、ボットが書き込みの意図を理解して反応します。この流れをstories.mdファイルに書き込みます。 ユーザーの書き込みは自…

Continue reading

Chatbot: チャットでRasaの概要を理解する ver. 2

I.Rasaについて   オープンソースで、クラウドでなくダウンロードしてPythonでプログラムを書ける、Chatbotの学習にはうってつけですが、依存ライブラリオンバージョンの不整合でエラーになることが多くてPythonに慣れた人でも戸惑うと思います。 しかし、Rasaがどのようなものであるかは、インストールの手間をかけることなく、オンラインで確認することができます。   Step 2: Try it Out   II.用語の説明   Building a chatbot with Rasaからの引用です。   Rasa NLU: A na…

Continue reading

Chatbot: Rasa関連ライブラリのバージョン調整 ver.1

RasaはPythonで使用できるチャットボットのフレームワークです。 クラウドではなく、ローカルにインストールするものですが、依存パッケージのバージョンのバージョンコントロースのためのリンク集です。随時更新します。 エラー表示をみて個別に対応しています。一つをダウングレードすると、別のライブラリと不整合になるということがよくおこります。   Rasaのインストールとバージョンの調整で参照するページのリンクを掲載します。   How to Build a Chatbot with RASA : Complete Guide   pip install rasa_n…

Continue reading

Chatbot: RASAの解説

チャットボットのフレームワークRASAのインストールにここ数日を費やしました。 チャットボットのプログラムの多くはクラウドを利用するのですが、RASAは単独で利用でき、オープンソースなのでチャットボットの仕組みを基礎から理解するのによいと思います。 いくつかの解説を試しましたが、いいところまでいくのですが、エラーに阻まれて、まだ最後までプログラムを実行できていません。 エラーの主な原因は、依存ファイルのバージョンの調整です。私はcondaで仮想環境を作り、RASAと関連ライブラリをインストールしているのですが、ダウングレードがうまくいかなかったり、必要なライブライがインストールできなかったりと…

Continue reading

Chatbot: はじめてのチャットボット, Python, NLTK 4/4

次の解説を勉強しています。   Building a Simple Chatbot from Scratch in Python (using NLTK)   TF-IDF Approachまで学びました。   Chatbot:はじめてのチャットボットPython, NLTK 1/4 Chatbot:はじめてのチャットボット Python,NLTK 2/4 Chatbot:はじめてのチャットボット Python, NLTK 3/4   I.Cosine Similarity   TF-IDFによって、テキストにTFとIDFの2つの値をもつベクト…

Continue reading

Chatbot: Cosine Similarity, python

Cosine Similarityは2つの文書の類似性を測ります。 ChatbotやWebページ検索をはじめ、日常言語処理において広く用いられています。   I.Cosine Similarityの計算式   Cosine Similarity (d1, d2) = Dot product(d1, d2) / ||d1|| * ||d2|| 説明は次にあります。   Tf-Idf and Cosine similarity   II.計算例   次の文書の例を紹介します。   Cosine similarity in data min…

Continue reading

Chatbot: Google検索の仕組み2/3, Python, TF-IDF, CosineSimilarity

Google検索について学んでいます。次に続く第2回目です。   Chatbot:Google検索の仕組みpython,TF-IDF,CosineSimilarity 1/3   次の文書に基づいています。   Tf-Idf and Cosine similarity   I.出現回数(Term Frequency)   ドキュメントは次の3つです。   document1 = [‘the’, ‘game’, ‘of’, ‘life’, &…

Continue reading

Chatbot: Google検索の仕組み1/3, Python, TF-IDF, CosineSimilarity

I.TF_IDFとCosine Similarity   TF_IDFとCosine Similaryは類似性を算出するもので、テキスト・マイニングやチャット・ボットでよく用いられます。 難しそうですが、発想がわかると日常言語をプログラムでどう扱うのかがよくわかります。 Googleは、このTF_IDEを検索に使うことによって利用者数を飛躍的に増やしたそうです。 次の文書では、Google検索を例としてTF_IDFとCosaine Similarityがわかりやすく説明されています。   Tf-Idf and Cosine similarity   上記を読めばわ…

Continue reading

Chatbot: はじめてのチャットボット3/4, Python, NLTK

次の解説を勉強しています。   Building a Simple Chatbot from Scratch in Python (using NLTK)   NLTKのインストールまで学びました。   Pythonの使用法:はじめてのチャットボット NLTK 1/4 Pythonの使用法:はじめてのチャットボット NLTK 2/4   I.データの前処理(Text Pre-Processing with NLTK)   1.Converting texts into uppercase or lowercase   文字を…

Continue reading

Chatbot: はじめてのチャットボット2/4, Python, NLTK

次の解説を勉強しています。   Building a Simple Chatbot from Scratch in Python (using NLTK)   I.チャットボットの種類   チャットボットは大きく、プログラムで指定された通りの応答するタイプと機械学習をもちいた自己学習タイプにわかれます。 後者はさらに、プログラムで与えられた情報や対話から得た情報から応答を選び出すものと応答を自ら産出するものにわかれます。 この文書で紹介されているプログラムは応答を選び出す選出型のプログラムです。     Retrieval basedとGene…

Continue reading