DeepLearning

DeepLearning

【ゼロつく学習記録】Batch Normalizationを理解する

Batch Normalizationとは Batch Normalizationとは各層のアクティベーションの文を適度な広がりを持つように調整する手法です。 特徴として大きく以下の3点があります。 ①学習を早く進行させ...
DeepLearning

【ゼロつく学習記録】重みの初期値

ニューラルネットワークでは重みの初期値の設定はとても大切です。 重みの初期値によっては学習がうまく進行しなかったり、学習が進行する速度が遅くなることもあります。 この記事ではニューラルネットワークで重みの初期値としてよく用いら...
DeepLearning

【ゼロつく学習記録】最適化アルゴリズムを理解する

ディープラーニングの目的は損失関数の値をできるだけ小さくするパラメータを見つけることです。 そのパラメータを見つけることを最適化(optimization)と呼び、最適化を行うための手法のことを最適化アルゴリズム(optimizer...
DeepLearning

【ゼロつく学習記録】『誤差逆伝播法』を理解する

誤差逆伝播法とは 誤差逆伝播法(back propagation)とは関数の偏微分を効率的に計算する方法のことです。 数値微分は実装は簡単だが、計算に膨大な時間がかかるという問題がありそれを解決したのが誤差逆伝播法になります。...
DeepLearning

【ゼロつく学習記録】『勾配法』を理解する

勾配とは 以下のような式があるとき\((x_0, x_1)\)のように全ての変数に対するの偏微分を求めて\((\frac{df}{dx_0}, \frac{df}{dx_1})\)のようにベクトル化したものを勾配と呼ぶ。 $$...
DeepLearning

【ゼロつく学習記録】『損失関数』を理解する

損失関数(Loss Function)とは 損失関数はニューラルネットワークの性能の悪さを示す指標である。 ニューラルネットワークでは最適なパラメータを求めるために使用する。 様々な損失関数 2乗和誤差 $$...
DeepLearning

【ゼロつく学習記録】『活性化関数』について理解する

活性化関数(activation function)とは ニューラルネットワークの1つのニューロンにおいて入力信号の総和を出力信号に変換する関数のことを活性化関数と呼ぶ。 活性化関数は非線形関数である必要がある。その理由は一次...
DeepLearning

【PyTorch】LeNet5を実装してみる

ディープラーニングの歴史を振り返るシリーズの第二弾です。 前回は元祖1989年に発表されたLeNetを勉強したので、今回は1998年に発表されたLeNet5(を実装してみました。 LeNet5は発表当時のLeNetとは...
DeepLearning

【PyTorch】元祖CNNのLeNetを実装してみた

ディープラーニングの勉強がてらに歴史を振り返ろうと思ったので、今回はCNNの元祖となるLeNetの論文(を読んてみました。 この論文を読むまで知らなかったのですが、私達がよくLeNetと呼ぶのは1998年に発表されたLeNet-5の...
タイトルとURLをコピーしました