IDSIA:1988年以来のルガーノにおける人工知能
Angelo Dalle Molleとその研究所
本章で述べる研究機関のうち最も古いものは、州が大学を持つ8年前に、民間の篤志家によって創設された。Angelo Dalle Molle(1908– 2002年)は、ヴェネト出身のイタリアの企業家であり、アーティチョークのリキュールCynarで財を成し、その大部分を生活の質ならびに人間と機械の関係に関する研究の振興に充てた。1 同人は、伝統的な大学の枠組みの外で研究に資金を提供するためにスイスに信託を設定し、ルガーノのIDSIA、マルティニーのIDIAPおよびジュネーブのISSCoの三つの研究所を創設した。三つの研究所はいずれも、今日ではそれぞれの地域の学術機関に統合されている。2 Istituto Dalle Molle di studi sull'intelligenza artificiale(IDSIA、ダッレ・モッレ人工知能研究所)は、1988年にルガーノで創設された。同研究所の言葉によれば、Dalle Molleは「技術の進歩と人間の発展が相まって生活の質を高める世界を思い描いていた」。3 2023年9月の同研究所創設35周年記念式典において、同人の構想は、人々がもはや2進コードでコンピュータと意思疎通する必要がなくなるよう、機械が人間を理解すべきであるという目標として要約された。4 IDSIAは、Dalle Molle財団の資金による私立の研究所として出発した。2000年には、スイス・イタリア語大学(USI)および南スイス応用科学芸術大学(SUPSI)の双方に附属する公的研究機関となった。以来、同研究所は両機関の間の「架け橋」として機能し、「基礎研究から応用研究まで」に取り組み、その知見を応用に移転している。5 その事務所は、ルガーノ・ヴィガネッロにあるUSIおよびSUPSIのイースト・キャンパスに置かれている。2023年、同研究所は130人を雇用していた。同研究所は、所長Andrea Emilio Rizzoliと、三人の学術部門長Jürgen Schmidhuber、Marco ZaffalonおよびCesare Alippiによって率いられていた。6 同研究所の研究は、機械学習、ニューラルネットワーク、ロボティクス、コンピュータビジョン、確率的推論、最適化、計算数学、サイバーセキュリティおよびヒューマン・コンピュータ・インタラクションに及ぶ。7
長短期記憶と深層学習の歴史
IDSIAの学術的名声は、何よりもJürgen Schmidhuberとそのグループによる再帰型ニューラルネットワークに関する研究に基づいている。1997年、Sepp HochreiterとJürgen Schmidhuberは、学術誌Neural Computationに論文「Long Short-Term Memory」を発表した。同論文は、記憶セルとゲートを備え、長いデータ系列にわたる依存関係を学習することのできる再帰型ニューラルネットワークのアーキテクチャを記述していた。従来の再帰型ネットワークは、訓練に用いる誤差信号が時間の経過とともに消失または発散してしまうため、この問題を解決することができなかったのである。8 Hochreiterは、1991年のミュンヘン工科大学における卒業論文で勾配消失問題の分析を展開しており、当時Schmidhuberはその指導教員であった。長短期記憶(LSTM)アーキテクチャは、その後数年間にIDSIAにおいて、Felix Gers、Alex Gravesらを含むSchmidhuberの博士課程の学生および共同研究者によって改良された。彼らは「忘却ゲート」を追加し、系列ラベリングのための訓練手法を開発した。9
実用上の突破口は2000年代末に訪れた。Schmidhuber自身の説明によれば、そのチームのコネクショニスト時系列分類法で訓練されたLSTMは、2009年に、連続手書き文字認識の分野で、国際的なパターン認識コンテストで優勝した最初の再帰型ニューラルネットワークとなった。2011年には、グラフィックス・プロセッサ上で訓練された同チームの深層順伝播型ネットワークDanNetが、コンピュータビジョンのコンテストで優勝したこの種の最初のネットワークとなり、交通標識認識コンテストにおいて、同グループが超人的と表現する性能を達成した。2015年5月、同グループは、数百の層を持つ極めて深い順伝播型ネットワークであるHighway Networkを発表した。Schmidhuberの説明によれば、Microsoftの研究者が2015年12月に発表した残差ネットワーク(ResNet)は、そのゲートを開放した版である。10 2009年から2012年の間に、同研究所で開発されたニューラルネットワークは、パターン認識および機械学習の国際コンテストで八度優勝した。11
LSTMは、2010年代に最も広く用いられたニューラルネットワーク・アーキテクチャの一つとなった。Schmidhuberのページは、その用途として、Androidスマートフォンの音声認識、Google翻訳およびFacebookの機械翻訳、AppleのSiriおよびQuickType、ならびにAmazonのAlexaの応答を挙げている。12 これらの主張は手法の考案者によるものである。もっとも、それらは関係企業の公表物と整合している。各社は、2017年に導入されたトランスフォーマー・アーキテクチャが大半の言語処理用途で再帰型ネットワークに取って代わる以前の2010年代半ばに、自社の音声および翻訳製品におけるLSTMベースのシステムについて記述していた。13 深層学習の歴史における功績の帰属には争いがある。Schmidhuberは、アイデアの先取権をめぐる議論の著名な当事者である。本書の目的上は、現代の機械学習が依拠する手法の一部がルガーノで開発されたこと、および同研究所の業績がこの分野の標準的な文献で引用されていることを指摘すれば足りる。14
注
- Wikipedia(イタリア語版)、「Angelo Dalle Molle」、https://it.wikipedia.org/wiki/Angelo_Dalle_Molle(最後の手段として参照)(メストレ生まれ、1952年にアーティチョークのアペリティフCynarを考案、人工知能研究のためのルガーノのDalle Molle財団の創設者)。同記事は没年を2001年としているが、同研究所自身のページは1908–2002年としている(後掲)。 ↩
- SUPSI, IDSIA、「Istituto」(前掲)、USI、「Istituto Dalle Molle di studi sull'intelligenza artificiale (IDSIA USI-SUPSI)」、https://search.usi.ch/it/unita-organizzative/351。 ↩
- SUPSI, IDSIA、「Istituto」(前掲)(1988年にルガーノでAngelo Dalle Molle(1908–2002年)が創設)。 ↩
- 「I 35 anni dell'IDSIA」、laRegione、2023年9月27日、https://www.laregione.ch/cantone/ticino/1700339/servizi。 ↩
- SUPSI, IDSIA、「Istituto」(前掲)(2000年以降USIおよびSUPSIに附属)、USI、IDSIA組織ページ(前掲)(「bridge」、「from fundamental to applied research」)。2000年の公的研究機関への転換は、Wikipedia、「Dalle Molle Institute for Artificial Intelligence Research」、https://en.wikipedia.org/wiki/Dalle_Molle_Institute_for_Artificial_Intelligence_Research(最後の手段として参照)にも記載されている。 ↩
- laRegione、2023年9月27日(前掲)。 ↩
- USI、IDSIA組織ページ(前掲)。80を超える専門分野を掲げている。 ↩
- Sepp HochreiterおよびJürgen Schmidhuber、「Long Short-Term Memory」、Neural Computation 9(1997年)、第8号、1735–1780頁。最も引用されたニューラルネットワークに関するJürgen Schmidhuberのページ(https://people.idsia.ch/~juergen/most-cited-neural-nets.html、参照文献[LSTM1])における引用による。 ↩
- Felix A. Gers、Jürgen SchmidhuberおよびFred Cummins、「Learning to Forget: Continual Prediction with LSTM」、Neural Computation 12(2000年)、第10号、2451–2471頁(前掲の同ページの参照文献[LSTM2])。A. Graves、S. Fernández、F. GomezおよびJ. Schmidhuber、「Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks」、ICML 2006、ピッツバーグ。Jürgen Schmidhuber、「Annotated History of Modern AI and Deep Learning」(2022年)、https://people.idsia.ch/~juergen/deep-learning-history.html における引用による。同文献は、Schmidhuberの指導の下での1991年のミュンヘン工科大学におけるHochreiterの卒業論文についても記述している。卒業論文および指導関係は、Wikipedia、「Jürgen Schmidhuber」、https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber(最後の手段として参照)にも記載されている。 ↩
- Jürgen Schmidhuber、IDSIAにおける個人ホームページ、https://people.idsia.ch/~juergen/(「In 2009, the CTC-trained Long Short-Term Memory (LSTM) of his team was the first recurrent NN to win international pattern recognition competitions」、「In 2011, the DanNet of his team was the first feedforward NN to win computer vision contests, achieving superhuman performance」、2015年5月のHighway Netおよび2015年12月のResNet)。 ↩
- Wikipedia、「Dalle Molle Institute for Artificial Intelligence Research」(前掲)(「won eight international competitions in pattern recognition and machine learning」、2009–2012年)。 ↩
- Schmidhuber、ホームページ(前掲)。 ↩
- H. Sak、A. Senior、K. Rao、F. BeaufaysおよびJ. Schalkwyk(Google Speech Team)、「Google voice search: faster and more accurate」、Google Research Blog、2015年9月。Schmidhuber、「Annotated History」(前掲)における引用による。同文献は、Google翻訳におけるLSTMの利用を2016年、Ashish Vaswaniほかのトランスフォーマー論文「Attention Is All You Need」を2017年としている。 ↩
- 例えば、Jürgen Schmidhuber、「Deep Learning in Neural Networks: An Overview」、Neural Networks 61(2015年)、85–117頁(Schmidhuber、「Annotated History」(前掲)の参照文献[DL1])、および先取権をめぐる争いについての同人の見解を示す「Annotated History」自体を参照。 ↩
本記事は一般的な情報提供のみを目的としています。法律上または税務上の助言を構成するものではなく、個別案件に関する助言に代わるものでもなく、弁護士と依頼者との間に委任関係を生じさせるものでもありません。本記事は2026年10月時点の法的状況を反映しています。