TextMining : シンプル2, python

テキスト・マイニングのプログラムの基本を理解し、日常言語分析の意味論の現状を知るために勉強中です。 次のプログラムにしたがってText miningのJpyter NotebookでPythonのプログラムを実行します。   Ultimate guide to deal with Text Data (using Python) – for Data Scientists & Engineers   私はPythonを初めて間もないので、プログラムの解説は自分のメモも兼ねてできるだけ詳しく書きます。   I.データのダウンロードと読み込み   次…

Continue reading

TextMining: シンプル1, python

III.テキストのクリーニング   1.大文字を小文字に変換し、記号を削除する。   全ての記号を削除してますので、次の問題を無視することになります。 意味は文を単位としている。 記号は語あるいは文と一つになって意味を持つ。     to be continued    …

Continue reading

R: Text mining, qdap

授業で、アラビア数字を英語に変換するライブラリとして紹介しましたが、qrapはテキスト・マイニングの強力なツールです。 使用例が次にRPubsdeで紹介されています。   Text Mining: Bag of Words   上の文書の始めにある単語の集計をやってみました。  …

Continue reading

TextMining: テキストの収集とWord cloudの表示

下のリンクにより、Twitterの現在の書き込みデータでテキスト解析をしようと思いました。 Twitterの書き込み情報を得るためにデベロッパー登録しましたが、高度な利用項目を選択してしまったため、「厳重チェック」対象になってしましました。ネット情報では、許可されるかどうかのメールを受け取るのは30日が目処だそうです。   Your First Text Mining Project with Python in 3 steps   デベロッパー登録ができてば上のプログラムを試したいと思いますが、その前に既存のデータを用いた下のプログラムを試しました。   Twi…

Continue reading

TextMining: TweepyでTwitter情報を収集, python

テキストマイニングのためにPythonのライブラリTweepyを使おうと思います。 手始めに下の文書に従ってTwitterにアクセスしました。スクリプトはこの文書のとおりです。   Tweepy: a Python Library for the Twitter API   Twitterの情報にアクセスするには、デベロッパー登録をして、Creat an appでアプリ作成し、Constumer keyとConsumer secretとAccess tokenとAccess token secretを取得する必要があります。   Get Started …

Continue reading

TextMining: AYLIENでツイートを感情分析, python

テキストマイニングの勉強中です。 スクリプトを十分理解できていませんし、また、エラーも出ていますが、一応感情分析の円グラフが作成されましたので、メモしておきます。   英語のツイートでの安倍さんの評判を簡単に知ることができたら面白いかと思ってやってみました。   Your First Text Mining Project with Python in 3 steps   I.必要な登録   1.Twitterのデベロッパーとして登録   Welcome to the Twitter Developer Community.  &nb…

Continue reading

TextMining: KeyやToken情報の隠し方, python

スクリプトを公開するときに、いちいちKeyとToken情報を消すのが面倒なのでスクリプトから隠す方法をみつけました。 下の文書のcredentails情報にかかわる部分について説明します。   Sentiment analysis on Trump’s tweets using Python   情報の収集のためにはTwitter Appを作成し、次の4つの情報を入手する必要があります。 Consumer Key (API Key) Consumer Secret (API Secret) Access Token Access Token Secret これら…

Continue reading

TextMining: TextBlobでツイートを感情分析, python

I.Twitterの情報収集、集計、グラフ、感情分析を解説した文書   Twitterの情報取得から感情分析まで非常に詳しく、またわかりやすく説明されています。   Sentiment analysis on Trump’s tweets using Python   II.スクリプトのポイント   1.ライブラリのインストールとAPIの立ち上げ     参考   PythonでText mining:KeyやToken情報の隠し方   2.Twitterデータの取得   @realDonal…

Continue reading

Text mining: Sentiment Analysis 5, Python

次のサイトで感情分析のデモを使ってみました。 日本語もできるようですが、オンラインでは日本語を読み取れないようです。   ParallelDots   単純な例で一般語と論理的関係を示す接続表現をどう感情評価に反映させているかをみました。 ところで、大学で留学生に日本語を教える場合も、対象を指示する一般語と論理的関係を示す接続表現をはっきり区別することが大切です。 接続表現の前後の論理的関係を理解するだけではなく、節と節との論理的関係、文章を論理的に読むという大学で学ぶべき基本技能を習得することになるからです。 この論理的関係を取り出して研究するのが論理学ですが、AIのプロ…

Continue reading

Text mining: Sentiment Analysis 4, Python

テキスト・マイニングに関心があります。 学び始めたところで荒いものですが、私の基本的な理解を示します。 大学院のときに先輩に教えたもらったCharles W. Morrisの構文論、意味論、言語遂行論の記号論から理想的なテキスト・マイニングを考えます。 ちなみに、シンタックス(構文論)は文の構成規則です、セマンティクス(意味論)は記号と対象との関係です。ですから、語や文が意味をもつとか、文の真や偽を論ずることができます。プラグマティクス(言語遂行論)は、例えば、「私が、、、を宣言します」のように真偽ではなくて、発言の適切あるいは不適切が問われる文を扱います。 要は、言語を考える場合、記号と対象…

Continue reading