新着情報［情報工学専攻］「エネルギー効率の良いＡＩ実現のためのモデル軽量化技術の考案と性能向上の結果」について大学院生が学会受賞
トピックス
2024.03.08
2024年2月23日～25日、ベトナムのホーチミンで開催された国際学会『2024 9th International Conference on Intelligent Information Technology(ICIIT2024)』において、情報工学専攻 修士2年 山内研究室の学生の研究発表が優れているとしてBest Presentation Awardを受賞しました。
受賞した研究のタイトルは「A Speed-up Channel Attention Technique for Accelerating the Learning Curve of Binarized Squeeze-and-Excitation (SE) Based ResNet Model」です。
受賞した研究のタイトルは「A Speed-up Channel Attention Technique for Accelerating the Learning Curve of Binarized Squeeze-and-Excitation (SE) Based ResNet Model」です。
エネルギー効率の良いAI（Tiny AI）実現のためのモデル軽量化技術の考案と性能向上の結果について評価されました。この研究成果は別途、複数回の査読プロセスをパスして国際ジャーナル学術誌
JAIT （Journal of Advance in Information Technology）
への掲載が決定しています。「A Speed-up Channel Attention Technique for Accelerating the Learning Curve of Binarized Squeeze-and-Excitation (SE) Based ResNet Model」
ディープ ニューラル ネットワーク モデルは、画像分類や物体検出などのマシンビジョンタスクに広く適用され、大きな進歩を遂げていますが、記憶スペースと消費電力に制限があるため、記憶と計算、エネルギー供給資源に制限のある組み込みデバイスへの展開は依然として大きな課題があります。モデルの記憶と計算には大量のストレージと計算エネルギーを必要とするため、モバイル デバイスのようなリソースが限られた環境では、バッテリー駆動時間が制限され、潜在的な過熱と必要な放熱装置のために小型化に制限が発生するからです。
この問題を解決するために、従来の32ビットに対してネットワーク重みの１ビット表現を用いることで、必要な電力とメモリフットプリントを節約することを検討しました。Squeeze-and-Excitation (SE)ベースのチャネル注視技術の適用で、冗長なチャネルを排除することで、パラメータの数をさらに削減することを目指しました。しかしこのアプローチは、不安定かつ学習曲線が遅いという重大な問題を誘発します。この問題に対処するため、今回はChannnel Feature Map Binarization（FMB方法）で初期の段階で注視するチャネルを決定し、Squeeze-and-Excitation Residual Network (SE-ResNet14)全体で重みの１ビット表現を使用しても、学習曲線が安定に加速し精度が向上することを見出しました。