Deep Learningの計算の限界、MITの元の研究結果も読んでみた。

計算の限界

以下の題名のWiredの記事を興味深く読んだ。

AIの進歩は頭打ちに？ このままでは「膨大な計算量」が壁になるという研究結果が意味すること

wired.jpより

上記の記事はマサチューセッツ工科大学（MIT）のトンプソン氏らの研究結果を元にしており、スーパーマーケットで購入される製品の予測の例が挙げられていて、ディープラーニングでは膨大な計算量が必要なのでそのコスト（電気代やサーバーリソース）が下がるかアルゴリズムが効率化されないと実運用で使えないケースがあったと書かれている。

恐らくだがランニングコストが得られるメリットを上回って費用対効果が得られなかったという事なのだと思う。

また従来のペースで計算能力を高めていくことはまもなく出来なくなり、言語理解の様な分野では進歩に歯止めがかかる可能性がある、等と書かれていた。

確かにディープラーニングの”学習時”の計算量が膨大になるのは容易に想像がつく。

そして研究者達にとって計算コストが今後の研究に影響を与えることはあると思う。

そして何らかのブレークスルーが無いと理想の成長率にならない可能性はあるのかも知れないが頭打ち（＝物事が限界に達しそれ以上伸びない事）は少々極端な表現ではないかと感じた。

またそもそも「学習時」の計算コストと「推論時」の計算コストは分けて考えたほうが良いようにも思う。

wired.comの記事

一応、wired.comの方も見てみた。

本文の内容はほぼ日本語の記事と同様だったのだが記事の表題のニュアンスが若干違っていた。

Prepare for Artificial Intelligence to Produce Less Wizardry

wired.comより

「人工知能が生み出す魔法？が縮小することに備えよ」みたいな意味なのだろうか。

※英語力には自信が無いので間違っているかも知れない（違っていたら指摘して頂けるとありがたいです）

元の論文

またMITの元の研究結果も読んでみた。

The Computational Limits of Deep Learning

Neil C. Thompson, Kristjan Greenewald, Keeheon Lee, Gabriel F. Manso

Cornell Universityより

題名は「ディープラーニングの計算限界」内容は以下の通り。

１．序章

以下、ざっくり訳

• コンピューターパワーの増加の必要性が急速に拡大している
• ディープラーニングの進歩には劇的に効率を上げるか計算効率の高いマシンに移行する必要がある
• ディープラーニングの計算ニーズは急速に拡大している

２．ディープラーニングの計算要件理論

• ディープラーニングではパフォーマンスとモデルの複雑さと計算要件の関係はまだ良く解明されていない
• ディープラーニングの柔軟性の大きさは本質的に大量のデータや計算に依存している

３．実際のディープラーニングの計算要件

３．１　過去

• 過去のディープラーニングの経緯と計算能力の向上
• ハードウェアのチップ数をスケールアップする事は長期的には問題がある
• コストが計算能力の増加と同じ速度で拡大（比例する）ので持続不可能になる

３．２　現在

• ディープラーニングの計算への依存を調べるために1,058の研究論文を調べた
• 機械翻訳ではハードウェアへの負担が大きく増加しても改善は比較的少ない
• ディープラーニングの学習モデルは使用される計算能力の大幅な増加に依存している

３．３　未来

• ベンチマークを達成する為に必要な計算能力、経済的、環境的コストを計算する
• 例えばImageNetのエラー率を5%するには更に105倍の計算量が必要と推定される
• 上記を経済的に達成するにはより効率的なハードウェアやアルゴリズムが必要

４．計算負荷の軽減

• ３．３（未来の章）ではディープラーニングが重要な課題に直面していることを示唆している
• 以下のアプローチを簡単に調査した
• コンピュータ能力の向上（量子コンピューティングが最も長期的な上昇余地があると思われる）
• 計算の複雑さの低減（ネットワーク内の接続を圧縮と高速化）
• 高速なディープラーニングアーキテクチャー
• ディープラーニングの計算をより魅力的な速度で成長させるためには桁違いの改善が必要
• まだ発見されていないタイプの機械学習に変更する必要

５．結論

• ディープラーニングモデルに使用されるコンピューティングパワーの急増により「AIの冬」は終わった
• しかしハードウェア性能の向上が鈍化している
• ディープラーニングの計算限界が様々なアプリケーションにとって制約となる
• 重要なベンチマークの達成には現在のトレンドではマイルストーンを達成することは不可能
• ディープラーニングは計算効率が高い計算量の少ない方向へ向かうことになる

最後に

３層からなる多層パーセプトロン（ディープラーニングの原型）は１９８０年代から既にあった。

しかし当時はコンピューリソースが十分に無く性能も出なかった事もあり下火になったと言われている。

近年、ディープラーニングが急激に脚光を浴びている背景にはコンピュータ性能の劇的な向上が間違いなく貢献しているだが人間の欲求は果てしない為、欲求の伸び率に対してハードウェアの性能向上やアルゴリズムの開発が間に合わなくなってきている様に感じる。

しかしその欲求が新たなアルゴリズム、アーキテクチャーを生み出してまた想像もつかないようなブレークスルーが起きるのでは期待もしている。

この記事が何処かで誰かの役に立つことを願っている。

尚、当記事中の商品へのリンクはAmazonアソシエイトへのリンクが含まれています。Amazonのアソシエイトとして、当メディアは適格販売により収入を得ていますのでご了承ください。