DeepLearning

DeepLearning

【ゼロつく学習記録】Batch Normalizationを理解する

Batch Normalizationとは Batch Normalizationとは各層のアクティベーションの文を適度な広がりを持つように調整する手法です。 特徴として大きく以下の3点があります。 ①学習を早く進行させ...
DeepLearning

【ゼロつく学習記録】重みの初期値

ニューラルネットワークでは重みの初期値の設定はとても大切です。 重みの初期値によっては学習がうまく進行しなかったり、学習が進行する速度が遅くなることもあります。 この記事ではニューラルネットワークで重みの初期値としてよく用いら...
DeepLearning

【ゼロつく学習記録】最適化アルゴリズムを理解する

ディープラーニングの目的は損失関数の値をできるだけ小さくするパラメータを見つけることです。 そのパラメータを見つけることを最適化(optimization)と呼び、最適化を行うための手法のことを最適化アルゴリズム(optimizer...
DeepLearning

【ゼロつく学習記録】『誤差逆伝播法』を理解する

誤差逆伝播法とは 誤差逆伝播法(back propagation)とは関数の偏微分を効率的に計算する方法のことです。 数値微分は実装は簡単だが、計算に膨大な時間がかかるという問題がありそれを解決したのが誤差逆伝播法になります。...
DeepLearning

【ゼロつく学習記録】『勾配法』を理解する

勾配とは 以下のような式があるとき\((x_0, x_1)\)のように全ての変数に対するの偏微分を求めて\((\frac{df}{dx_0}, \frac{df}{dx_1})\)のようにベクトル化したものを勾配と呼ぶ。 $$...
DeepLearning

【ゼロつく学習記録】『損失関数』を理解する

損失関数(Loss Function)とは 損失関数はニューラルネットワークの性能の悪さを示す指標である。 ニューラルネットワークでは最適なパラメータを求めるために使用する。 様々な損失関数 2乗和誤差 $$...
タイトルとURLをコピーしました