Chatbot: Rasaイントールの流れ

数日かかりましたが、チャットボットのフレームワークのRasaをインストールして利用することができるようになりました。詳しくは別に書く予定ですが、利用の流れをメモします。   仮想環境を構築 Rasa NLUとRasa Coreのインストール ファイルの作成:stories.md, domain.yml, nlu.md, nlu_config.yml トレーニング 会話の実行     参照文書   次のページはオンラインでRasaを実行できるページですが、コンピュータにRasa NLUとRasa Coreをインストールして、同様の手順で会話することができま…

Continue reading

Chatbot: Google検索の仕組み1/3, Python, TF-IDF, CosineSimilarity

I.TF_IDFとCosine Similarity   TF_IDFとCosine Similaryは類似性を算出するもので、テキスト・マイニングやチャット・ボットでよく用いられます。 難しそうですが、発想がわかると日常言語をプログラムでどう扱うのかがよくわかります。 Googleは、このTF_IDEを検索に使うことによって利用者数を飛躍的に増やしたそうです。 次の文書では、Google検索を例としてTF_IDFとCosaine Similarityがわかりやすく説明されています。   Tf-Idf and Cosine similarity   上記を読めばわ…

Continue reading

Chatbot: はじめてのチャットボット1/4, Python, NLTK

I.チャットボットを学ぶ   チャットボットの勉強をはじめました。 次の初心者向けの解説を読みます。   Building a Simple Chatbot from Scratch in Python (using NLTK)   II.スクリプト全文を探す   スクプトの解説にしたがって順に学ぶ前に、どのようなボットか全スクリプトを実行してみようと思いましたが、スクリプトが解説のため小分けになっています。 こういう場合、解説の中にスクリプト全文のあるgithubへのリンクがあることが多いですが、それがどこかわかりません。 そこで、解説のページ内のリン…

Continue reading

Chatbot: Cosine Similarity, python

Cosine Similarityは2つの文書の類似性を測ります。 ChatbotやWebページ検索をはじめ、日常言語処理において広く用いられています。   I.Cosine Similarityの計算式   Cosine Similarity (d1, d2) = Dot product(d1, d2) / ||d1|| * ||d2|| 説明は次にあります。   Tf-Idf and Cosine similarity   II.計算例   次の文書の例を紹介します。   Cosine similarity in data min…

Continue reading

Chatbot: Google検索の仕組み2/3, Python, TF-IDF, CosineSimilarity

Google検索について学んでいます。次に続く第2回目です。   Chatbot:Google検索の仕組みpython,TF-IDF,CosineSimilarity 1/3   次の文書に基づいています。   Tf-Idf and Cosine similarity   I.出現回数(Term Frequency)   ドキュメントは次の3つです。   document1 = [‘the’, ‘game’, ‘of’, ‘life’, &…

Continue reading

Chatbot: はじめてのチャットボット3/4, Python, NLTK

次の解説を勉強しています。   Building a Simple Chatbot from Scratch in Python (using NLTK)   NLTKのインストールまで学びました。   Pythonの使用法:はじめてのチャットボット NLTK 1/4 Pythonの使用法:はじめてのチャットボット NLTK 2/4   I.データの前処理(Text Pre-Processing with NLTK)   1.Converting texts into uppercase or lowercase   文字を…

Continue reading

Chatbot: はじめてのチャットボット2/4, Python, NLTK

次の解説を勉強しています。   Building a Simple Chatbot from Scratch in Python (using NLTK)   I.チャットボットの種類   チャットボットは大きく、プログラムで指定された通りの応答するタイプと機械学習をもちいた自己学習タイプにわかれます。 後者はさらに、プログラムで与えられた情報や対話から得た情報から応答を選び出すものと応答を自ら産出するものにわかれます。 この文書で紹介されているプログラムは応答を選び出す選出型のプログラムです。     Retrieval basedとGene…

Continue reading

Chatbot: はじめてのチャットボット, Python, NLTK 4/4

次の解説を勉強しています。   Building a Simple Chatbot from Scratch in Python (using NLTK)   TF-IDF Approachまで学びました。   Chatbot:はじめてのチャットボットPython, NLTK 1/4 Chatbot:はじめてのチャットボット Python,NLTK 2/4 Chatbot:はじめてのチャットボット Python, NLTK 3/4   I.Cosine Similarity   TF-IDFによって、テキストにTFとIDFの2つの値をもつベクト…

Continue reading

Chatbot: 会話ロボットを理解する2(準備), nltk

次の続きです。   Chatbot: 会話ロボットを理解する1(概要), nltk。   Parul Pandey氏の次の文書を学びます。   Building a Simple Chatbot from Scratch in Python (using NLTK)   I.スクリプト   テキストにしたがって順に学ぶ前に、実際にチャットしてみようと思いましたが、スクリプトが解説のため小分けになっています。 スクリプトの解説では、スクリプト全文のあるgithubへのリンクがある場合が多いので探しましたが、それがどこかわかりません。 チャットボッ…

Continue reading