過去70年のAI研究から得られる最大の学びは、コンピュータの計算能力を活用した汎用的な手法が究極かつ圧倒的に効果的であるということである

その究極の理由はムーアの法則、より一般的に言えば絶えることなく指数関数的に計算コストが下がり続けていることにある。

ほとんどのAIの研究は、使用できるコンピュータの計算能力が常に一定（つまり人間の知識を活用することのみがAIの能力を向上させるある意味唯一の方法）であるという仮定の下に行われているが、典型的な研究プロジェクトが行われる期間の間にも、それまでになかったより一層の計算能力が必ず使用可能になる。

短期的にAIの能力を向上させるために、研究者はそれぞれの分野における人間の知識を活用する方法を模索するが、長期的に違いを生むのはコンピュータの計算能力のみである。

それらは互いに矛盾する必要はないが、現実的にはその傾向にある。

一方にかけた時間は他方にかけなかった時間である。

どちらか一方の手法に賭けたいという心理的な呪縛がある。

そして人間の知識を活用した手法は、コンピュータの計算能力を活用する汎用的な手法に用いるにはふさわしくない複雑なものになってしてしまう傾向がある。

AI研究者が遅まきながらその苦い教訓を学んだ例はいくつもある。それらの例を見てみることは非常に有益である。

 

コンピュータチェスにおいて、1997年にワールドチャンピオンのKasparovを破った手法は圧倒的に深い探索に基づいていた

その手法は、当時チェスの特性にもとづく人間の知識を活用した手法を追及していた大多数のコンピュータチェスの研究者をがっかりさせた。

特殊なハードウェアとソフトウェアを用いた単純な探索が非常に効果的であることが示されたとき、人間の知識を活用していた研究者たちは潔く敗北を認めなかった。

そのような研究者たちは、その『しらみつぶし』に指し手を探索する手法が今回は勝ったかもしれないが、それは一般的な方法ではない、少なくとも人間はそのような方法でチェスをプレイしてはいないと負け惜しみを言った。

これらの研究者は人間の知見に基づいて勝つことのできる手法を生み出すことを渇望していたが、それができなかったときにひどく落胆した。

 

それから20年ほどが経ち、同様の研究の進歩をコンピュータ碁の世界でも見ることができた

人間の知識の活用、もしくは碁というゲームの特性に着目することで探索を避けようとするいくつもの努力が行われてきた。

しかし一度大規模かつ効果的な探索が適用されると、それらの努力のすべてが見当違い、もしくはそれ以下であることが明らかになった。

自己プレイにより価値関数を向上させる学習手法を用いたことも重要であった。（このことはチェスを含めたほかのゲームにおいてもそうである。しかしながらワールドチャンピオンを初めて破った1997年のプログラムにおいては学習は重要な要素ではなかったが。）

自己プレイによる学習、そして学習自体が一般に、探索と同様に圧倒的な計算能力がものをいう。

探索と学習こそが、ＡＩの研究において圧倒的な計算能力を活用するための最も重要な二つの技術である。

コンピュータ碁では、コンピュータチェスのように、研究者の初期の努力は人間の知識を活用する（つまり探索をあまり必要としない）ことに向けられたが、かなり後になって偉大な成功は探索と学習によってもたらされた。

 

音声認識においても、1970年代にDAPRAがスポンサーをした競争があった

参加者には、人間の知識、すなわち、言葉、音素、人間の声道などを利用した特化型の手法を用いたものがいた。

一方で隠れマルコフモデルに基づき、コンピュータの計算能力を活用した、もっぱら統計を用いた新しい手法もあった。

ここでも統計的な手法が人間の知識に基づいた手法に勝利を収めた。

このことは自然言語処理における大きな変革をもたらし、数十年かけて、次第に統計とコンピュータによる計算がその分野の大勢になっていった。

音声認識における近年のディープラーニングの活用はこの一貫した流れの中でもっとも最近におこった出来事である。

ディープラーニングでは人間の知識への依存は一層少なくなり、よりコンピュータの計算能力に依存したものになっている。そして膨大な教師データにもとづいた学習を利用して、圧倒的に優れた音声認識のシステムを作り出した。

ゲームの例でみたように、研究者たちは、常に自分たちが、自分たちの心が動くのと同じように動くシステムを、自分たちの知識をそのシステム内に構築することで、作ることを試みてきた。

しかしムーアの法則を通じて圧倒的なコンピュータの計算能力が使用可能になり、それを有効に利用する方法が見つかった今となっては、それらの試みは究極に非生産的であり、その研究者たちは壮大な時間を無駄にしたことは明らかだった。

 

コンピュータビジョンにおいても同様のパターンが観察されている

初期の手法は境界や円柱、またはSIFT特徴量などを探すものだった。

しかし現在ではそれらは捨てされれてしまった。

最新のディープラーニングニューラルネットワークはコンボリューションとある種の不変の処理のみを利用し、そしてそれらは圧倒的なパフォーマンスを出している。

 

これは大いなる教訓である

分野全体として、私たちはまだこのことを完全には呑み込めていない。

なぜなら同じ過ちをまだ繰り返し続けているからである。

この現実に直面し、その過ちを犯さないために、それらの過ちの訴えるところを理解しなくてはならない。

私たちは、私たちが考えるような仕組みを構築することは長期的にはうまくいかないという苦い教訓を学ばなくてはならない。

その苦い教訓は次のような歴史敵観測に基づいている。

1) AIの研究者は、AIに知識を構築しようと試みてきた。
2) これは短期的には成功し、かつ研究者の自己満足感を満たすが、
3) 長期的には停滞しそれ以上進歩を望めなくなり、
4) 最終的にブレイクスルーとなるような進歩は、真逆のアプローチである探索と学習の規模を大きくさせることによって起こる。

その最終的な成功は苦い色に染まっており、大抵は完全には受け入れられない。

なぜならそれは好ましい人間中心のアプローチを覆す成功だからである。

 

この苦い教訓から学ぶべき一つ目のポイントは、たとえ現在使用可能な計算能力がとてもすばらしいものであっても、計算能力が上がるにともなって規模が大きくなり続ける、汎用的アプローチの持つ偉大な力である

このように任意に規模が大きくなる手法は『探索』と『学習』のようだ。

 

この苦い教訓から学ぶべき二つ目のポイントは、心の中身は途方もなく複雑だということである

つまり私たちはその心の中身（空間、物、複数のエージェントや対称性）を考えるための単純な方法を見つけようとすることをやめるべきである。

これらは任意の、内在的に複雑な外界の一部である。

これらは私たちが構築するべきものではない、なぜならそれらは終わりなき複雑なものだからだ。

代わりに私たちはその任意の複雑性を見つけ、とらえることのできるメタ的な手法を構築すべきである。

これらの手法に不可欠なのは、それらが良い近似を見つけられることである。

しかしその探索は私たちの手法が行うべきもので、私たち自身がすべきことではない。

私たちが欲しいのは、私たちがまだ発見していないものを、私たちのように発見できるAIである。

私たちの発見を組み込むことは、発見というものがどのようになされるかをただ見えにくくするだけである。

 

（The Bitter Lesson by Rich Suttonからの翻訳）

↑記事をシェアしてください！読んでいただきありがとうございました。