labs

12/7-9にベトナムのホーチミン市で開かれた SOICT 2023 で発表した "Learning Algorithm for LesserDNN, a DNN with Quantized Weights" が、BEST PAPER AWARDに選ばれました。

学習済みのネットワークのサイズを小さくするために用いられる手法に、重みの量子化があります。
任意の小数で表される重みを、特定の値に置き換えることで、サイズを小さく、計算量を減らす手法です。
これを学習時にも適応出来ないのか？というのがはじまりです。
最適化アルゴリズムとして広く使われている勾配法は、最適化対象の変化量を微分する必要があるため、連続した値が必要です。そのため量子化重みで勾配法は使えません。
そこでシミュレーテッドアニーリングをベースとしたアルゴリズムを考案し、学習を量子化重みの組み合わせ最適化問題として解きます。

論文中では、MNISTで評価を行っています。
既存のフレームワームと同等の正解率を達成しました。実装のサイズが小さい、実行時のメモリサイズが小さいなど組み込みシステムで応用しやすい特徴を持っています。

ひきつづき基礎的な研究を続けながら、応用も進めて行きます。