Python: Gradient descentを学ぶ2_アニメーション, python ver. 1

Last Updated on February 5, 2021 by shibatau

I.何をする?

 

Gradient descentをアニメーションを使って説明します。

 

次で学びます。

 

  1. Gradient Descent animation: 1. Simple linear Regression
  2. Visualizing Optimization in Linear Regression and Logistic Regression
  3. Visualizing Optimization Trajectory of Neural Nets
  4. Introducing the Loss Landscape Animation Python Package

 

II.単純回帰直線(simple linear regression)

 

Iの1のスクリプトでアニメーションを作成しました。

下の図の左のグラフのxの一つ一つがデータです。

Simple linear regressionは、ラインを全てのxに一番近くに移動することで得られます。

近さはラインから垂直線を引いたときのxと直線の距離ではかります。

xすべてに最も近くなるのは右下のグラフで示されるcostsがもっとも小さくなるときです。

データを直線で表すとどのような利点があるかというと、xとyの関係を直線の傾き(数値)を比較することができます。

例えば、下の図のようなデータだと、一見してxが増えればyが減る、つまり、xとyには負の相関があることがわかりますが、その程度ははっきりしません。

直線で表現すると、直線の式y=ax+bのaとして傾きを数値で取得できるので簡単に比較できます。

この傾きの数値を指数にしたものが相関係数です。

 

via GIPHY

 

To be continued.

About shibatau

I was born and grown up in Kyoto. I studied western philosophy at the University and specialized in analytic philosophy, especially Ludwig Wittgenstein at the postgraduate school. I'm interested in new technology, especially machine learning and have been learning R language for two years and began to learn Python last summer. Listening toParamore, Sia, Amazarashi and MIyuki Nakajima. Favorite movies I've recently seen: "FREEHELD". Favorite actors and actresses: Anthony Hopkins, Denzel Washington, Ellen Page, Meryl Streep, Mia Wasikowska and Robert DeNiro. Favorite books: Fyodor Mikhailovich Dostoyevsky, "The Karamazov Brothers", Shinran, "Lamentations of Divergences". Favorite phrase: Salvation by Faith. Twitter: @shibatau

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.