ディープラーニング

DeepLearning

【ゼロつく学習記録】Batch Normalizationを理解する

Batch Normalizationとは Batch Normalizationとは各層のアクティベーションの文を適度な広がりを持つように調整する手法です。 特徴として大きく以下の3点があります。 ①学習を早く進行させ...
DeepLearning

【ゼロつく学習記録】重みの初期値

ニューラルネットワークでは重みの初期値の設定はとても大切です。 重みの初期値によっては学習がうまく進行しなかったり、学習が進行する速度が遅くなることもあります。 この記事ではニューラルネットワークで重みの初期値としてよく用いら...
DeepLearning

【ゼロつく学習記録】最適化アルゴリズムを理解する

ディープラーニングの目的は損失関数の値をできるだけ小さくするパラメータを見つけることです。 そのパラメータを見つけることを最適化(optimization)と呼び、最適化を行うための手法のことを最適化アルゴリズム(optimizer...
DeepLearning

【ゼロつく学習記録】『誤差逆伝播法』を理解する

誤差逆伝播法とは 誤差逆伝播法(back propagation)とは関数の偏微分を効率的に計算する方法のことです。 数値微分は実装は簡単だが、計算に膨大な時間がかかるという問題がありそれを解決したのが誤差逆伝播法になります。...
DeepLearning

【ゼロつく学習記録】『損失関数』を理解する

損失関数(Loss Function)とは 損失関数はニューラルネットワークの性能の悪さを示す指標である。 ニューラルネットワークでは最適なパラメータを求めるために使用する。 様々な損失関数 2乗和誤差 $$...
DeepLearning

【ゼロつく学習記録】『活性化関数』について理解する

活性化関数(activation function)とは ニューラルネットワークの1つのニューロンにおいて入力信号の総和を出力信号に変換する関数のことを活性化関数と呼ぶ。 活性化関数は非線形関数である必要がある。その理由は一次...
タイトルとURLをコピーしました