Hiro

Batch Normalizationとは Batch Normalizationとは各層のアクティベーションの文を適度な広がりを持つように調整する手法です。 特徴として大きく以下の３点があります。 ①学習を早く進行させ...

ニューラルネットワークでは重みの初期値の設定はとても大切です。 重みの初期値によっては学習がうまく進行しなかったり、学習が進行する速度が遅くなることもあります。 この記事ではニューラルネットワークで重みの初期値としてよく用いら...

ディープラーニングの目的は損失関数の値をできるだけ小さくするパラメータを見つけることです。 そのパラメータを見つけることを最適化(optimization)と呼び、最適化を行うための手法のことを最適化アルゴリズム(optimizer...

誤差逆伝播法とは 誤差逆伝播法(back propagation)とは関数の偏微分を効率的に計算する方法のことです。 数値微分は実装は簡単だが、計算に膨大な時間がかかるという問題がありそれを解決したのが誤差逆伝播法になります。...

勾配とは 以下のような式があるとき\((x_0, x_1)\)のように全ての変数に対するの偏微分を求めて\((\frac{df}{dx_0}, \frac{df}{dx_1})\)のようにベクトル化したものを勾配と呼ぶ。 $$...

損失関数(Loss Function)とは 損失関数はニューラルネットワークの性能の悪さを示す指標である。 ニューラルネットワークでは最適なパラメータを求めるために使用する。 様々な損失関数 2乗和誤差 $$...