1 最適化に用いるネットワークの名前を指定するには
Networkに編集タブで作成したネットワーク名を指定します。
2 最適化に用いるデータセットの名前を指定するには
Datasetにデータセットタブで読み込んだデータセット名を指定します。
3 パラメータのアップデート手法を指定するには
- コンフィグリストからOptimizerを選択します。
- Updaterを以下から選択します（デフォルトはAdam）。
| Updater | 更新式 |
| Adadelta |
$$g_t \leftarrow \Delta w_t\\ Matthew D. Zeiler ADADELTA: An Adaptive Learning Rate Method |
| Adagrad | $$g_t \leftarrow \Delta w_t\\ G_t \leftarrow G_{t-1} + g_t^2\\ w_{t+1} \leftarrow w_t – \frac{\eta}{\sqrt{G_t} + \epsilon} g_t$$John Duchi, Elad Hazan and Yoram SingerAdaptive Subgradient Methods for Online Learning and Stochastic Optimizationhttp://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf |
| Adam | $$m_t \leftarrow \beta_1 m_{t-1} + (1 – \beta_1) g_t\\ v_t \leftarrow \beta_2 v_{t-1} + (1 – \beta_2) g_t^2\\ w_{t+1} \leftarrow w_t – \alpha \frac{\sqrt{1 – \beta_2^t}}{1 – \beta_1^t} \frac{m_t}{\sqrt{v_t} + \epsilon}$$Kingma and BaAdam: A Method for Stochastic Optimization.https://arxiv.org/abs/1412.6980 |
| AMSGRAD | $$m_t=β_1 m_(t-1)+(1-β_1 ) g_t\\ v_t=β_2 v_(t-1)+(1-β_2 ) 〖g_t〗^2\\ v ̂_t=max(v ̂_(t-1),v_t )\\ θ_(t+1)=θ_t-α m_t/(√(v ̂_t )+ε)$$Reddi et al. On the convergence of ADAM and beyond. https://openreview.net/pdf?id=ryQu7f-RZ |
| Adamax | $$m_t \leftarrow \beta_1 m_{t-1} + (1 – \beta_1) g_t\\ v_t \leftarrow \max\left(\beta_2 v_{t-1}, |g_t|\right)\\ w_{t+1} \leftarrow w_t – \alpha \frac{\sqrt{1 – \beta_2^t}}{1 – \beta_1^t} \frac{m_t}{v_t + \epsilon}$$Kingma and BaAdam: A Method for Stochastic Optimization.https://arxiv.org/abs/1412.6980 |
| Momentum | $$v_t \leftarrow \gamma v_{t-1} + \eta \Delta w_t\\ w_{t+1} \leftarrow w_t – v_t$$Ning QianOn the momentum term in gradient descent learning algorithmshttp://www.columbia.edu/~nq6/publications/momentum.pdf |
| Nag | $$v_t \leftarrow \gamma v_{t-1} – \eta \Delta w_t\\ w_{t+1} \leftarrow w_t – \gamma v_{t-1} + \left(1 + \gamma \right) v_t$$Yurii NesterovA method for unconstrained convex minimization problem with the rate of convergence o(1/k2) |
| RMSprop | $$g_t \leftarrow \Delta w_t\\ v_t \leftarrow \gamma v_{t-1} + \left(1 – \gamma \right) g_t^2\\ w_{t+1} \leftarrow w_t – \eta \frac{g_t}{\sqrt{v_t} + \epsilon}$$Geoff HintonLecture 6a : Overview of mini-batch gradient descenthttp://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf |
| Sgd | $$w_{t+1} \leftarrow w_t – \eta \Delta w_t$$ |
θ：更新対象のパラメータ
g：勾配
η、α：Learning Rate、Alpha（学習係数）
γ、β1、β2：MomentamもしくはDecay、Beta1、Beta2（Decayパラメータ）
ε：Epsilon（ゼロ除算を防ぐために用いる小さな値）
4 Weight Decay（L2正則化）の強度を設定するには
Weight DecayにWeight Decayの係数を指定します。
5 学習係数の減衰方法を指定するには
- コンフィグリストからOptimizerを選択します。
- UpdaterのLR Scheduler (Learning Rate Scheduler)を以下から選択します（デフォルトはExponential）。
| LR Scheduler | 解説 |
| Cosine | 以下の式に従い学習係数を減衰します。
$$η_t=η_0/2 (1+cos(t/T π))$$ t：現在までのパラメータ更新回数 ηt ：パラメータ更新に用いる学習係数 η0 ：Updaterで指定する学習係数 T ： 学習終了までのパラメータ更新回数 |
| Exponential | 学習係数を指数関数で減衰します。
Learning Rate Multiplierに学習係数を減衰させる係数を、LR Update Intervalに学習係数を減衰させる間隔を指定します。 例えば学習係数をMini-batch毎に0.9999倍に減衰させるには、Learning Rate Multiplierを0.9999、LR Update Intervalを1 iterationとします。学習係数を20 epoch毎に0.1倍に減衰させるには、Learning Rate Multiplierを0.1、LR Update Intervalを1 epochとします。 |
| Polynomial | 学習係数を以下の多項式で減衰します。
$$η_t=η_0 (1-(t/T)^p )$$ Powerにpに用いる係数を指定します。 t：現在までのパラメータ更新回数 ηt ：パラメータ更新に用いる学習係数 η0 ：Updaterで指定する学習係数 T ： 学習終了までのパラメータ更新回数 |
| Step | 学習係数を指定するiterationもしくはepoch毎に指定倍に減衰します。
Learning Rate Multiplierに学習係数を減衰させる係数を、LR Update Stepsに学習係数を減衰させるタイミングをカンマ区切りの数値で指定します。 例えば学習係数を20万、30万、40万iterationで0.1倍に減衰させるには、Learning Rate Multiplierを0.1、LR Update Stepsに「200000,300000,400000」 iterationとします。 例えば学習係数を30、60、80 epochで0.1倍に減衰させるには、Learning Rate Multiplierを0.1、LR Update Stepsに「30,60,80」epochとします。 |
6 パラメータの更新を複数回のMini-batchに1回行うには
Update Intervalにパラメータの更新を行う間隔を指定します。例えば64個のデータを含んだMini-batchを用いて4回勾配を計算し、4回のMini-batchごとにまとめてこれらの勾配を用いたパラメータの更新を行うには、Batch Sizeを64、Update Intervalを4とします。
ご注意
複数の学習用ネットワークを用いた最適化を行う場合、Update Intervalには常に1を指定する必要があります。
7 新しいOptimizerを追加するには
メニューボタン、もしくはコンフィグリストを右クリックして表示されるポップアップメニューからAdd Optimizerを選択します。
8 Optimizerの名前を変更するには
- メニューボタン、もしくはコンフィグリストを右クリックして表示されるポップアップメニューからRenameを選択します。
- 新しい名前を入力してキーボードのEnterキーを押します。
- もしくは、OKを選択します。
9 Optimizerを削除するには
- コンフィグリストで、削除するOptimizerを選択します。
- メニューボタン、もしくはコンフィグリストを右クリックして表示されるポップアップメニューからDeleteを選択します。
