Chatbot: Google検索の仕組み2/3, python, tf-idf, cosineSimilarity ver. 2

Visits: 582 Today: 4 Total: 365165 I’m rewriting the post. Google検索について学んでいます。次に続く第2回目です。 Chatbot: Google検索の仕組み1/3, Python, tf-idf, cosineSimilarity ver. 2 I.出現回数(Term Frequency) ドキュメントは次の3つです。 document1 = [‘the’, ‘game’, ‘of’, ‘life’, ‘is&…

Continue reading

NLA: QAnon陰謀論のネットワーク分析, python ver. 2

Visits: 726 Today: 2 Total: 365165 赤字部分を追記しました。 I.何をする?   次のQAnonの分析を通してネットワーク分析の手法を学びます。   A Social Media Analytics View of the QAnon Conspiracy Theory   日本のTwitterのツイートをネットワーク分析します。   II.QAnonとは?   WikipediaのQAnonに説明があります。いわゆる陰謀論で、トランプ大統領は性目的児童売買の国際組織と戦っていると主張しています。  …

Continue reading

NLP: テキスト分析_語の依存関係を描画, python ver. 7

Visits: 276 Today: 5 Total: 365165 赤字部分を追記しました。 Spacyによる語の依存関係を描画   I.実行方法   1.オンラインで実行   次で、Spacyによる語の依存関係の分析をオンラインで実行できます。日本語にも対応しています。 文をボックスに書き込んでEnterを押します。   https://explosion.ai/demos/displacy     上、下の両方とも「本を」をobj、「彼に」をoblとしています。objは直接目的語、oblは間接目的語です。 “nsub…

Continue reading

NLP: 日本語で質問に答える, transformers, pytorch ver. 2

Visits: 219 Today: 9 Total: 365165 サンプル文でより適切な答えを得るようにいろいろ試し、末尾のGoogle Colaboratoryで公開しました。 I.何をする?   次に紹介されているスクリプトで日本語の応答を実行しました。半角スペースで文節を分けると結果がよいようです。   Question Answering with Pretrained Transformers Using PyTorch   II.サンプル   context = “彼は テレビと新聞が 嫌いです。しかし、彼は Youtube を見ます。彼…

Continue reading

NLP: テキスト分析_品詞を色で区別, 2

Visits: 256 Today: 3 Total: 365165 カテゴリーをLectureからNLPに変更し、タイトルを変更しただけです。 I.英語のシンタクス・ハイライター   オンラインで公開されている英語のシンタクス・ハイライターで、授業の課題文とした文をハイライトします。   In the naked light, I saw ten thousand people talking without speaking, people hearing without listening and people writing songs that voices ne…

Continue reading

Python: 東アジア反日武装戦線についての質問に答える, happytransformer, wikipedia ver. 2

Visits: 1187 Today: 10 Total: 365165 Wikipediaのテキストを取得するにライブラリを用いました。 それに応じてGoogle Colaboratoryのスクリプトを変更しました。 I.何をする?   Pythonのライブラリwikipediaで、WikipeidiaのEast Asia Anti-Japan Armed Frontからcontextを作成してHpapyTransformerで質問に答えます。   II.East Asia Anti-Japan Armed Front   東アジア反日武装戦線を思い出したのは、…

Continue reading

Python: Wikipediaのテキストについて質問に答える, happytransformer

Visits: 203 Today: 3 Total: 365165 I.何をする?   機械学習によるAIをについて学んだことを書き留めています。今回は、happytransformerを用いてWikipediaの”Japan”の一部をテキストとして、質問に答えます。   II.Wikipediaのテキスト   質問の対象とするテキストは、WikipediaのJapanページの”Politics”の部分です。   Japan is a unitary state and constitutional mo…

Continue reading

Python: Transformer modelで質問に答える, happytransformer ver. 4

Visits: 184 Today: 3 Total: 365165 解説を加え全体を修正しています。途中です。 I.何をする?   深層学習による自然言語処理の勉強をはじめました。 手始めに、Tranformer modelを簡単に扱えるPythonのライブラリHappyTransformerで質問に答えます。 次に解説にされています。   Question Answering Using Transformer Models   II.Initialization   Google Colaboratoryで実行します。 ライブラリhappytran…

Continue reading