リザバーコンピューティングで実現
人間のように物を掴み，異常を検知するロボットの基礎技術

【発表概要】

• 硫化銀 (Ag₂S) を用いた物理リザバーコンピューティング (PRC) と畳み込みニューラルネットワーク (CNN) を併用したマルチモーダル処理で物体認識の分類精度98.6%を達成
• ロボットアームに実装された圧力センサーからの出力変化を学習させた硫化銀物理リザバーで0.052秒後に起こる異常を検知し，1マイクロ秒以内に把持動作を止める技術を開発

早稲田大学大学院の吉村海輝氏（修士課程）は，物理リザバーコンピューティング(PRC)と深層学習を組み合わせたマルチモーダル処理による高精度物体認識システム，および異常検知システムの開発に成功した．本研究では，硫化銀 (Ag₂S) を用いた物理リザバーコンピューティングと畳み込みニューラルネットワーク (CNN) を用いて，視覚情報と触覚情報を統合し，物体認識の精度向上を実現した．視覚情報と触覚情報の統合により，各モダリティの弱点を補完し合い，認識精度が大幅に向上した．実験結果では，視覚情報のみの分類精度が92.76%，触覚情報のみの分類精度が85.788%であるのに対し，マルチモーダル処理による分類精度は97.12%（最大で98.6%）に達した．異常検知システムでは，ロボットアームに取り付けた圧力センサーからの出力（正常動作時）を硫化銀リザバーに学習させることで0.052秒後に起こる異常を事前に検知し，1マイクロ秒以内に動作を止めることを実現した．リアルタイム処理が求められる医療や産業の現場での応用が期待される．

---

その場での情報処理を実現するリザバーコンピューティング

近年，人工知能（AI）や機械学習の技術の進展により，ロボットや自動化システムの性能が飛躍的に向上している．現在の実用化の主流は機械学習の一種である深層学習（※1）である．深層学習による技術革新は目覚ましい一方，複雑な学習アルゴリズムを用いること，学習に必要なサンプルデータを数多く集めなければならないことや，非常に高性能な計算機が必要であることなどから，身近にある深層学習を用いたサービスは，クラウド上で利用するものが多い（翻訳サービスなど）．これに代わり，その場で情報処理できる機械学習手法として「リザバーコンピューティング（※2）」が注目され，昨今研究が加速している．リザバーコンピューティングは，主に時系列データの機械学習に優れ，学習に要する計算量が少なくて済むという特徴がある．こうした特徴から，その場で情報を処理するエッジコンピューティングへ応用され，多様なサービスが生まれることに期待が高まっている．

※1 深層学習　多層の人工ニューラルネットワークを用いてデータから特徴を自動的に学習する機械学習技術．特に画像認識や自然言語処理で顕著な成果を上げている．

吉村海輝氏は，リザバーコンピューティングの潜在能力をもっとも引き出すことができる応用として，物体認識と異常検知に着目し，研究を進めている．「現在発表されている物理リザバーコンピューティングに関する研究は，ベンチマークタスクと呼ばれる性能評価が主であることが多いと考えています．私の研究は，現実的な応用を模索したものです．もっとも，まだユーザー端末などを対象としたエッジコンピューティングへの具体的な応用については検討段階ですが，今回は物理リザバーコンピューティング（※2）を，実利的なアプリケーションへ応用する例をつくることができたと考えています」と吉村氏は話す．

※2 リザバーコンピューティング　非線形動的システムを利用して時系列データのパターンを学習・予測する手法．特にエコーステートネットワークが有名で，計算資源を節約しつつ高性能を発揮できる．物理リザバーコンピューティング (PRC: Physical Reservoir Computing) は，計算機に代わり，物理システムをリザバー層として利用し，計算やパターン認識を行う手法．光，流体，スピントロニクスなどさまざまな物理・化学現象がリザバー層として使用される．

ユーザー端末など，身近なデバイスの性能を革新する技術

物体認識は，多様なモビリティの自動運転，多様な用途のロボットの高性能化などの応用において重要だ．より現実的な物体認識を実現するためには，高精度かつリアルタイムでのデータ処理が求められるが，これこそがリザバーコンピューティングの得意とするところなのだ．

従来の物体認識で使われるAIシステムは，主にソフトウェアベースの機械学習を用いており，その多くがクラウド上あるいはロボットに搭載したCPU上で実行されている．これらのシステムは高い計算能力を持つ一方で，ネットワークによる遅延やデータの送受信に伴うプライバシーリスク，エネルギー消費が課題となっている．それに対し，物理リザバーコンピューティングは，物理的なシステムをリザバー（記憶と処理を行う層）として使用する計算手法だ．入力信号を多様に非線形変換でき，短期記憶を持つリザバー層を用いることで，複雑な時系列データの処理を高速かつ効率的にその場で行うことができる（図1）．

吉村氏は硫化銀（Ag₂S）の多結晶薄膜を物理リザバーとして利用している．Ag₂Sは大気中で安定な材料であり，リザバー動作に必要な非線形変換特性と短期記憶特性を持つ回帰型ネットワークを容易に作製できる．吉村氏は物理リザバーコンピューティングと深層学習を組み合わせた「マルチモーダル処理（※3）」による高精度物体認識システムを開発した．より具体的には，Ag₂Sを用いた物理リザバーコンピューティングによる触覚情報処理とCNN（畳み込みニューラルネットワーク ※4）による視覚情報処理を統合した物体認識システムを構築した．

※3 マルチモーダル処理　異なる種類のデータ（テキスト，画像，音声など）を統合して解析・処理する技術．これにより，より豊かな情報抽出と理解が可能となる．例えば，自然言語処理とコンピュータビジョンを組み合わせることで，画像キャプション生成やビデオの内容理解が実現される．

※4 畳み込みニューラルネットワーク　特に画像認識に優れた深層学習手法．畳み込み層が特徴抽出を行い，プーリング層がデータの次元を削減し，最終的に全結合層で分類を行う．これにより，CNNは画像内の空間的関係を効果的に捉えることができる．

触覚情報を処理するAg₂Sリザバーは，入力電圧に遅れて移動するイオンが作る内部電場によって，入力信号を多様に非線形変換する（図2）．この特性により，触覚情報に基づく物体認識を高精度に行うことができる．一方，視覚情報はCNNを用いて処理される．CNNは，画像データから特徴を抽出し，物体の視覚的特徴に基づいて分類を行う．多様な画像を学習させることで，視覚情報に基づく物体認識を高精度に行うことができる．

これらの触覚情報と視覚情報を統合するマルチモーダル処理を行うことで，各モダリティ（触覚情報・視覚情報）の強みを活かし，弱点を補完し合うことで，物体認識の精度を大幅に向上させた．実験では10個の物体を用い，ロボットアームに取り付けた2つの圧力センサーから得られた時系列の触覚データをAg₂Sリザバーに入力し，教師あり学習を行うことで分類を行った．同時に，カメラで取得した物体の画像データをCNNに入力し，データから特徴を抽出し，物体の視覚的特徴に基づいて分類を行った（図3）．

実験結果では，触覚情報のみでの分類精度が平均85.78%，視覚情報のみでの分類精度が平均92.76%であるのに対し，視覚情報と触覚情報が統合されたマルチモーダル処理による分類精度は平均97.12%（最大で98.6%）に達した（図4）．この結果は，視覚情報と触覚情報を統合することで，単一のモダリティでは難しい物体の識別が可能となり，認識精度が大幅に向上することを示している．

「物理リザバーコンピューティングには，学習時間を大幅に削減できるというメリットがあります．例えば，翻訳サービスなどの深層学習で使われている手法であるリカレントニューラルネットワーク（RNN）と比べて，同程度の精度を出しながらも学習時間は数百分の一に短縮できます」と吉村氏は話す．

人間のように物を掴み，社会を支える基礎技術をつくる

吉村氏はAg₂Sリザバーを，物を掴むロボットアームにも適用した．ロボットアームによる正常な把持動作をAg₂Sリザバーに学習させ，予測値からのずれ（異常）を検知してロボットアームの動作を止めるまでをリアルタイムで行うシステムを開発した．例えば，物体が壊れる前の前駆現象を検知し，把持動作を即座に停止することで，物体の損傷を防ぐことができる．

「ペットボトルを用いた実験では，前駆現象から0.052秒でペットボトルが潰れました．クラウドで処理していたのでは間に合いませんが，試作したシステムを用いれば，1マイクロ秒以内に動作を止めることができます．応用物理学会ではデモムービーをお見せする予定です」と吉村氏．

この異常検知システムは，医療や産業の現場での応用において，非常に有用であると期待される．「物体認識と今回初めて取り組んだ異常検知は，ロボットへの応用を第一に考えています．例えば，介護ロボットや工場で物体を認識して分別するピッキングロボットへの応用などが考えられます」と吉村氏は話す．医療分野において，このシステムは特に介護ロボットにおいて有用だ．介護の現場では，増え続ける要介護者に対し，現場での人手不足が深刻化している．介護者にとってもっとも負担の大きな作業として，要介護者をベッドなどから移動させる移乗介助などの力仕事がある．これらを代替できるロボットには潜在ニーズがあり，その実現においては，要介護者を傷つけたりすることなく動作するための異常検知システムは非常に重要だ．また，工場でのピッキングロボットは異常検知システムを備えることで，より高精度な作業と高い歩留まりを実現することができるだろう．

吉村氏は今後の課題として，認識が難しい物体間の識別精度向上，実際のロボットにおけるフィードバックシステムの実装を挙げる．「今回のマルチモーダル処理では，物体によって認識精度のばらつきが未だあります．色や形，固さが似た物体でも高精度な認識を実現するための研究が必要です．また物体把持では異常を検知して物体を掴むのを止めるだけでは不十分で，滑り落ちないようにフィードバック制御まで行うことが必要です．ロボットの研究者らと協力してこれらの課題にも取り組んでいきたいと思います」（吉村氏）

人間のように物を認識し，掴むロボットの実現は，今後加速する人間とロボットの共存において大いに期待される技術だと言える．

文責　サイエンスライター 森 旭彦