要約 - この知見は、人工知能の革命と機械学習、データサイエンスなどの関連分野を中心にしています。これらの分野における進歩を活用し、新しい問題を特定して研究するシステム設計の機会を特定します。具体的には、モデルベースの設計と古典的で斬新な手法を組み合わせて、データからモデルを学習する新しいシステム設計のパラダイムとして、データ駆動型とモデルベースの設計（DMD）を提案します。

索引用語 - システム設計、形式的方法、機械学習、検証、合成 I.はじめにA.人工知能コンピュータとあらゆる種類の情報源からの豊富なデータは、生物学と医学から天文学と社会科学に多くの科学技術分野に革命をもたらしている。いわゆる（新）人工知能（AI）革命は、私たちの産業、社会、そして日々の生活を変えています。広い意味でAIという言葉を使用し、機械学習、ビッグデータ、データサイエンスなど多くの関連分野と流行語を含める。事実、長い「冬」の後、機械学習とデータサイエンスの最近の進歩のおかげで、AIがもう一度開花すると主張することは合理的です。 B.システム設計システム設計の分野は、古典的（連続的）および現代的（離散的、ハイブリッド、およびサイバー物理）のシステム理論、モデリング、シミュレーション、テスト、正式な検証、スケジューリング、およびその他のトピック[1] [10]、[33]、[34]、[40]、[43]、[49]、[53]、[57]、[68]、[69]、[73]。 C.興味深い2つの質問進行中のAI革命は、上で議論した2つの分野に関して、以下の質問を提起している。AIはシステム設計から恩恵を得ることができ、どのようにできるか？ •システム設計はAIから利益を得ることができますか？私たちは両方の質問への答えが「はい」であると信じており、それぞれ第2章と第3章で私たちの主張を裏付けるいくつかの考え方を概説しています。 III節では、DMDをシステム設計の根本的な新しいアプローチと認識しています。 DMDの重要な要素はセクションIVに示されている。セクションVはこの論文を終わらせる。 II。 AIのシステム設計AIシステムは日々のルーチン（例えば、自走車の中で）になっているので、私たちの生活の中でそれらのシステムを信頼する必要があります。今日のAIシステムは、いわゆる学習可能コンポーネント（LEC）に依存している[48]。例えば、自走車は、視覚認識を実行するLECに頼ることができる。
信頼するために AIシステムでは、LECも信頼する必要があります。しかし、今日の機械学習システムは非常に予測不可能である[66]。このようなシステムのプロトタイピングは、迅速かつ容易に見えるかもしれませんが、技術的負債と呼ばれる高いコストがかかります[58]。これらの問題は理論的ではありません。多くの交通違反、事故、さらには人的被害がLECの欠点として生じました。したがって、AIシステムは信頼できるものではないことが正しくかつ広く認識されている[23]。 LECsの信頼性を達成するには？これらのシステムについての「手動」の推論は禁止されています。ニューラルネットワークのようなシステムは、サイズが大きくなるにつれて理解できなくなります[59]。さらに、試行錯誤の手法（テスト）を使用しても縮尺は変わりません[38]。我々は、1）AIシステム、特にそれらのLECをモデル化するために、厳密で正式なモデリングと検証技術が必要であると主張する。 2）これらのシステムが持つ特性を特定する。 3）そのような特性についての理由を明らかにし、最終的に満足していることを検証する。確かに、これらの研究分野は、現在、例えば、[36]、[39]、[54]、[59]を参照して現れている。上に概説した問題はまだ解決されていませんが、近い将来重要な問題となり、資金提供機関からの大規模な投資だけでなく、研究者からの大きな関心を引き付けると当社は考えています。我々はまた、正式な方法のフィールドがこの研究のラインに貢献することが多いと考えているが、短期間で既存の方法がLECに対処できない可能性がある。これにより、新しい方法の発見の機会が生まれます。このホワイトペーパーでは、上記の第2の問題、つまりシステム設計がAIからどのように恩恵を受けることができるかという点を中心に、これらの問題について詳しく説明しません。これについては次に説明します。 III。システム設計のAIシステムを設計する方法を改善し、おそらく革命を起こすために、AIの進歩を活用できますか？システム設計の方法論と科学を進歩させるために、AI、機械学習、データ科学などの方法をどのように使うことができますか？ A.システム設計の従来のアプローチ：試行錯誤モデルベースの設計従来、システム設計（1）試行錯誤による設計、（2） （MBD）に基づいています。試行錯誤による設計は基本的に次のように進行する。プロトタイプシステムを構築する。試して;ファインドバグ。それらをfiします。繰り返す。
バグが次第に少なくなることが期待されます。プロセスは、バグが見つからなかった場合に停止します。または、プロジェクトをリリースする予定であるか、または技術的またはビジネス駆動のその他の基準に達しています。ソフトウェアの時代には、試行錯誤による設計はスケールされません。ソフトウェアがますます複雑になるにつれて、初歩的なカバレッジを達成するために必要なテストの数は天文学になります。試行錯誤による設計も危険です。サイバー・フィジカル・システムの時代には、安全上重要なやり方で人間と密接に関わっています。試行錯誤は良い選択肢ではありません。モデルベースの設計[49]、[67]は、システムプロトタイプの代わりにモデルを構築することによって試行錯誤を改善する。モデルは仮想システムまたは仮想プロトタイプと呼ばれることもあります。プロトタイプの代わりにモデルを使用することには、いくつかの利点があります。•モデルはプロトタイプより安全です。自家用車モデルは死傷者を引き起こさない可能性があります。 •モデルは安価で、構築が迅速で、安価で、修理/修理が早く、安価で保守がより迅速です。•モデルは安価で、時にはシミュレーションが高速です。モデルのシミュレーションは、プロトタイプのテストに似ています。並列処理やその他の手法を使用することで、実際のプロトタイプのテストよりも多くのシミュレーションをモデルで実行することができます。シミュレーション以外にも、モデルは静的解析や正式な検証など、より厳密で正式で網羅的な分析に適しています。バグを見つけ出すことに加えて、これらの分析が成功すれば、プロトタイプをテストすることによって決してできないバグが存在しないことを証明することができる[19]。 MBDのパラダイムにおける明らかな課題は、正式な方法が実際に現実のものであることの約束を証明する方法です。フィールドの着実な進歩は、私たちをこの目標に近づけ続けています（このトピックに関するより詳細な議論については、[73]とその中の参考文献を参照してください）。しかし、正式な検証挑戦に加えて、モデルを使用することはいくつかの重大な懸念を提起する。1）モデルはどこから来たのか？ 2）モデルから実際のシステムへの移行方法は？実際には、第2の問題は扱いやすくなっています。 MBDが業界で享受している成功は、この問題に対処する能力が非常に高いためです。実際、これは、入力モデルとして取り込まれ、様々な形態（例えば、Cソフトウェアコード、HDLまたはFPGAハードウェアコードなど）で自動的に実装を生成する様々なタイプのコードジェネレータを構築することによって達成されている。モデルから自動的に実装を生成することは決して簡単な問題ではありません。これは、CやJavaなどの高水準プログラミング言語から機械コード（アセンブリ）を生成するコンパイラによって解決される問題に類似しています。さらに、リアルタイム、組み込み、安全性が重要なシステムの場合、コードジェネレータは次のような新たな課題に直面します。•リアルタイム、メモリ、エネルギー、その他のリソースの制約をどのように満たすか。 •モデルレベルで確立された安全性およびその他の特性が実際のシステムに確実に引き継がれるようにする方法これらの問題に対処するために、（リアルタイム）スケジューリング[10]、[11 [13]、[15]、[30]、[63]、[72]、システム設計一般[43]、[31]、[65] ]、[49]、研究の問題は今日、多かれ少なかれ解決されると考えられる。 B.システムプログラミングとしてのMBDモデルがどこから来たのかという問題は、適切に対処されていない。ここでは、システムモデルと環境モデルの2種類のモデルを区別すると便利です。前者は、Sと表される構築すべきシステムのモデルである。後者は、Sが（典型的には閉ループ構成で）動作すべき環境のモデルである。システムプログラミングとしてのMBD、システムコンパイラの一部としての検証とコード生成ツールを考えると、システムモデルをシステムプログラムと考えるのは自然です。標準のプログラマがCやJavaでプログラムを書く必要があるのと同じように、システムプログラマがシステムモデルを書くことを期待するのは当然です。しかし、標準プログラマは通常、プログラムが動作する環境のために特別なコードを記述する必要はありません。通常、この環境は開発中のプログラムとインタフェースする一連のプログラムです。組み込みシステムやサイバー物理システムの場合、状況は異なります。ここで、環境は人間（パイロット、運転手、歩行者、患者、看護師など）を含む物理的な世界です。環境を詳細かつ正確に把握することは複雑すぎるし、難しい。したがって、精度、サイズ、複雑さなどのトレードオフのバランスを取る良い環境モデルを構築することは、芸術です。ほとんどの企業は、環境モデル（自動車産業のエンジンモデルなど）を構築するためにかなりのリソースを費やし、コントローラよりも重要性の高い最も重要な知的財産としてそれらを大切にしています。機械学習の時代には、明らかに、「手動で」環境モデルを構築するのではなく、自動的にモデルを学習することができますか？これはこの論文で提案する新しいシステム設計のパラダイムを動機付けるいくつかの質問が次に議論される。 C.データ駆動型およびモデルベース設計（DMD）本書では、データ駆動型およびモデルベース設計（DMD）と呼ぶ、システム設計に対する3番目で基本的に新しいアプローチを提唱しています。 DMDは、試行錯誤とモデルベースの設計の両方の世界のベストを組み合わせることを追求するハイブリッドアプローチと見ることができます。 AIの進歩、特に機械学習とデータサイエンスを活用する。・既存のAI手法を、新しい機械学習と合成技術で補完する。特に、システム設計のために開発される。続編では、上記の点を詳述し、DMDの要素のリストを提示します。このリストは決して網羅的であるとは決して言われておらず、必然的に部分的である。 DMDの要素A.フォーマルモデリングと検証DMDはMBDを拡張します。したがって、MBDのすべての要素もDMDの要素です。特に、フォーマルモデリングと検証[7]、[16]はMBDの最も重要な要素であると主張している[73]。この議論はここでは繰り返さない。正式なモデリングと検証、一般的な正式な方法、すなわち数学的に厳密な設計方法、すなわちDMDの重要な要素を考慮することを奨励する。目標は、前述のように両方の世界の利益を得るために、数学的厳密さを犠牲にすることなく、データ駆動技術でこれらのメソッドを強化することです。機械学習、モデル学習、システム同定DMDが必要とする重要な要素は、データからモデルを削除することです。今日の時点では、データからモデルを学習することは、単一の、まとまりのない規律ではありません。これは、機械学習やデータマイニングから理論コンピュータシステムや制御理論のような従来のあらゆる分野に断片化され、多くのコミュニティや分野に広がっています。そのような問題を解決することが非常に有用な多くの実用的な例があるので、データ問題からの学習モデルの多くの変形がある。異なるバリアントは、（1）どのような種類のデータが入力として提供されているか、（2）どのタイプのモデルが出力として期待されているかという2つの主要な次元に沿った変動から生じる。制御理論では、システム同定の分野は、「システムからの観測データに基づく力学系の数学的モデルの構築」[44]に関連している[44] 。この文脈では、「力学系のモデル」とは、信号や系や制御理論で通常研究されるモデルの種類、例えば微分方程式や差分方程式[50]を意味するものと解釈される。しかし、動的システムは、異なる方法でモデル化することもできます。大部分の離散システムを研究するコンピュータサイエンスでは、動的システムは、典型的には、オートマトン、状態機械、および遷移システムを用いてモデル化される[7]、[16]、[41]。最近、Vaandragerは、入力を提供し、出力を観測することによって、さまざまなタイプの「ソフトウェアとハ​​ードウェアシステムの状態図モデル」を構築する問題を記述するために、モデル学習という用語を使用しました[75]。モデル学習は、有限オートマトンやその他の形式的言語モデルの受動的学習（例のみ）と積極的な学習（教師の助けを借りて）の初期の研究にまでさかのぼる長い歴史を持っている[6] [18] [27] ]。これらの技法は、入力/出力状態マシン（Moore and Mealy）[26]、[61]などのモデルに加えて、データや変数を持つシンボリックまたは拡張マシン[9]、[14]、[20] [35]、[37]。モデル学習の分野は、テスト（42）と合成（以下でさらに論じる）のフィールドと、最適化とゲーム[77]に密接に関連している。機械学習は、「学習するようにコンピュータをプログラミングする方法 - 経験によって自動的に改善する」という究極の目標を持つ壮大なフィールドである[47]。そのため、機械学習は人工知能と密接に関連しており、人間の学習の仕組みを理解するのにも役立ちます。 [47]で述べられているように、機械学習は本質的に多分野であり、統計から神経科学への多くの分野の結果を引き出す。機械学習は、データからモデルを学習するという一般的な問題のいくつかの事例を研究します。例としては、クラス分類器または決定木を学習すること、ニューラルネットワークをトレーニングすること（重み付けを学習すること）、確率間隔を導出すること、学習確率（ベイジアン推論）などが挙げられる。興味深いのは、機械学習の知識コーパスの多くが、分類子や決定木などの無国籍モデルの学習に焦点を当てていることです。これは、オートマトンやステートマシンなどの状態でモデルを学習することに焦点を当てたモデル学習に反する。しかし、強化学習やリカレントニューラルネットワークなどのステートフルモデルに焦点を当てた機械学習のサブ領域が存在します。多種多様な学習技術のこのような多面的なパノラマはすべて、私たちがDMDと呼ぶものの重要な部分を形成します.Insystemdesigncontext、seve1つのプロジェクトでは、必要な場合でも、便利な方法が役立つ場合があります。例えば、埋め込み制御システムにおいて、連続時間プラントモデルのパラメータを同定するためにシステム同定が必要であるかもしれない。モデル学習技術を用いて、（人間）オペレータの行動の状態機械モデルを構築することができる。組み込み制御システムが、例えばロボットの一部である場合、強化学習を使用して、特定のミッションを達成するための戦略を学習することができる。故障の可能性、保守事象などを予測するために統計的方法を使用することができる。システムが何をしているのかという特定さえも、データ[5]、[45]から「採掘」することができる。モデル（および仕様）がどこから来たかなどの疑問に対する回答の提供に加えて、学習テクニックは、モデルが利用可能になった後も続くMBDプロセスの改善に役立ちます。例えば、学習法を用いて、例や反例から不変量や他の条件を自動的に合成することができる[25]、[62]。 C.合成上述のように、学習は合成の領域に関連しており、一般的には、構造化によってφを満足するプログラムを正式なφを与えて自動的に生成することに関係している[22]、[28]。 （合成という用語は、演繹的プログラム合成[46]、反応性合成[22]、[51]、コントローラ合成[21]、[55]、現代的プログラム合成[28]の幾分異なるフィールドを包含するように、 ）学習と同様に、入力として使用される仕様のタイプと、出力として期待されるプログラムのタイプに応じて、合成問題の多くの変形があります。合成はMBDの重要な要素であり、DMDの重要な要素です。しかし、合成にはスケーラビリティの限界があり、実際に適用するのは困難でした。これらの制限は本質的に方法論的であり（実際のシステムの完全な正式な仕様を書くのは難しい）、アルゴリズム的である（多くの合成問題は計算上の複雑さがあるか、または決定不能でさえある）[52]、[70]、[71]以下では、合成と学習を強力な組み合わせに混合することで、これらの問題を改善する方法を提案します。 D.例と要件からの合成結合法を提示する前に、半正式記法で合成と学習の問題を要約してみましょう。これにより、類似点が明らかになりますが、いくつかの重要な相違点が明らかになり、以下に示す新しい提案につながります。問題1（合成）：仕様φが与えられたとき、SがS | =φと表すφを満たすようにシステムSを合成する。我々はφとSがどのようなものであるかを正式には定義しないであろうし、満足関係も=ではない。上記のように、問題の多くの変形があります。読者は文献に言及する。問題2（学習）：例Eの集合が与えられると、SがEと一致し、よく一般化するようにシステムSを合成する。一貫性のある用語を説明し、例を介して一般化してみましょう。例えば、自転車隊員と歩行者を区別するように訓練された画像分類器Sを考える。例Eの組は、訓練画像およびそれらの正しい分類を含む。クラシファイアが訓練された後、少なくとも訓練された例について正しく動作することが期待されます。つまり、Eの画像が与えられた場合、Sはそれを正しく分類する必要があります。これはSがEと一致することを意味しますが、実際にはSはそれ以上のことを期待しています。それが訓練された画像で正しく機能するだけでなく、これまでに遭遇したことのない画像でもうまく動作するはずです。つまり、Sは一般化すべきである。正確には、アプリケーションに依存することを意味し、形式化することは不可能であることに注意することが重要です。例えば、ウェルカムド・メイナは、通常の人でも、経験豊富なドライバーでも、あるいは少なくとも前のバージョンの自家用車であってもよい。学習問題を形式化することの難しさの1つは、一般化を形式化することの難しさから来ている。場合によっては、オッカムのカミソリなどの原則が使用されます。たとえば、オートマトン学習では、例と一致するオートマトンだけでなく、最小数のオートマトン（状態数）を必要とする場合があります。次に問題3は、他の利点の中で、いくつかの利点を持つ一般化の代替定義を提案する。問題3（例と仕様からの合成）：例Eと仕様φのセットを与え、（1）SはEと一致し、（2）S | =φとなるようにシステムSを合成する。問題3は、事例と仕様パラダイム（SES）からの合成と呼ぶ。 SESは多くの点で強力です：（1）シンセサイザには、合成と学習の両方の問題より多くの情報が提供されています。これには一連の例と仕様の両方が用意されています。両方の情報を持つことで、より効率的に計算されたソリューションがより多くの可能性を広げることができます。 （2）特に、これらの例は時には不完全な解S0でも簡単に生成されたシンセサイザをブートストラップするために使用されます。 S0は、実施例と一致するように構成することは容易であるが、全体の仕様を満足しない可能性がある。そして、この問題は、その仕様を満足させるために注意を払いながらS0を完了することの1つになります。この完了問題は、合成問題よりも容易に対処することができます[4]。 （3）仕様φは一般化境界として見ることができる。初期解S0の可能な補完は、例Eと一致する可能性のあるシステムのすべての可能な一般化として見ることができる。これらの一般化のうち、どちらが良い一般化であるか？ SESは、この質問に対する自然で正式な答えを提供します。良好な一般化とは、φを満たす補完です。 （4）形式仕様φを持つことは、AIシステムをより信頼できるものにする道を開く。例えば、ある安全特性を符号化するためにφを使用することができる。そうするために、シンセサイザは、例との整合性だけでなく、一般化も容易である（φを満たす必要があるため）安全である解を与える必要があります。分散プロトコルを合成する我々の以前の研究[2]〜[4]は、問題3のジェネリックな定式化に影響を与えたSESパラダイムの具体的な例と見ることができる。仕様からの分散プロトコル合成問題は一般に決めることができない[70]、[71]。 SESは、（φに加えて）シナリオ例Eのセットをシンセサイザに提供することによって、この決定不能な合成問題を決定可能な問題にする。私たちの場合、Eは一連のメッセージシーケンスチャートとして表されましたが、表現の正確な選択はそれほど重要ではありません。我々の実験は、分散プロトコルSESが理論上決定可能であるだけでなく、いくつかの興味深いプロトコル[2]〜[4]について実際に取り扱いやすいことを示した。アルゴリズム的に扱いやすいことに加えて、SESはまた、前述の合成の方法論的問題を緩和する。 SESでは、仕様φはシステムの完全な仕様である必要はありません。可能な一般化の集合を制約するだけでよい。例えば、φはデッドロックフリーであれば一般化可能であると述べることがある。これは、例のない合成に必要な完全な仕様と比較して、はるかに簡単です。 SES問題の他の事例および変形は、例えばFSM識別[74]および経路計画[76]のコンテキストを含むいくつかの最近の研究で研究されている。 SES処方は、上記のように私たちの仕事からインスピレーションを得ています。しかし、それは合成の分野で現れた他の最近のアイデアとも関係している。 1つは反例誘導誘導合成（CEGIS）[64]である。 CEGISは、合成問題を検索と検証の組み合わせに還元することに基づいています。可能な候補解について探索が行われ、各候補は検証者（例えば、モデルチェッカー[7]、[16]）を用いて正確さがチェックされる。候補が正しければ、解が見つかる。そうでない場合、検証者は反例を返し、それを用いて探索空間を刈り取ることができる。 SESはまた、システム構造に関する追加情報をシンセサイザに提供することを提案する審査[60]にも関連している。私たちの場合、そのような情報は問題に「組み込まれている」と仮定します（システムSのスペースは問題の定義によって固定されます）。同様の考え方が機械学習の分野にも現れている。 [47]は、例に加えて、学習者が提供される帰納的学習法（例との）と分析学習法を、「背景知識」を表すドメイン理論Bと区別する。たとえば、チェスを学ぶプログラムを開発する場合、Bはチェスのルールをエンコードすることがあります。 Bは、SEGの定式化では仕様φと見なすことができますが、補完とCEGISに基づくアルゴリズムは異なります。結論科学は私たちの予測を助ける知識です。科学が強ければ強いほど、予測が強くなります。我々は、シミュレーションとテストに基づいた試行錯誤の方法よりも強力な予測を可能にするMBDと正式な検証に基づくシステム設計の科学について主張した[73]。本稿では、データからモデルを学習するための手法とツールを用いてMBDを拡張するDMDに向けたさらなる開発について議論する。 DMDは、大規模なデータ革命を活用し、レガシーシステム、既に配備されたシステム、プロトタイプ、さらにはモデルとシミュレーションのデータやソフトウェアリポジトリからのデータを含むソースの情報を使用して情報を使用しようとしている[29]、[56]。 DMDはまた、データサイエンスや機械学習の最新の進歩を模索していますが、モデル学習などの他のタイプの学習も活用しようとしています。 DMDはこれをすべてやりたいと考えています。同時に、MBDの厳密さと保証を維持しながら、強固な数学的基盤に頼っています。この論文の目標は、DMDの完全なロードマップを与えることではありません。研究分野。同時に、私たちは、DMDにとって重要であると信じている要素、特に革新的で有望なSESアプローチへの合成と学習の組み合わせを特定しました。 DMDは、AI /機械学習の革命からどのようにシステム設計が得られるのかという疑問に対して、可能な答えは1つだけですか？システム設計のための学習テクニックを活用する他の多くの方法があります。例えば、[17]は機械学習技術を用いて非線形制約解消を改善する。 AIはシステム設計からどのように恩恵を受けられるのですか？大きな関心事です。我々が議論したように、今日のAIシステムは安全ではなく、安全ではなく、一般的に信頼性が低い。このことを是正するためには、正式なモデリングの進歩と学習可能なシステムの検証が必要であり、正式な方法のフィールドの次の課題です。参考文献[1] R. Alur、Cyber-Physical Systemsの原則。Dagstuhlのセミナーでは、Cyber-Physical SystemsのFormal Synthesis [8]を参照してください。 MIT Press、2015。[2] R. Alur、M. Martin、M. Raghothaman、C. Stergiou、S. Tripakis、およびA. Udupa、「シナリオと要件からの有限状態プロトコルの合成」、ハイファベリフィケーション会議、 LNCS、vol。第27回コンピュータ支援検証国際会議（CAV）において、R. Alur、M. Raghothaman、C. Stergiou、S. Tripakis、およびA. Udupa、 "Symmetryを用いた分散プロトコルの自動完成" ）、ser。 LNCS、vol。 9207. Springer、2015、pp。395-412。 [4] R. AlurとS. Tripakis、 "分散プロトコルの自動合成"、SIGACT News、vol。 48、no。第29回ACM SIGPLAN-SIGACTシンポジウム「プログラミング言語の原則、POPL'02」の「鉱業の仕様」を参照のこと。[5] G. Ammons、R.Bod'ık、J. R. ACM、2002、pp。4-16。 [6] D. Angluin、 "質問と反例から定期的なセットを学ぶ"、Inf。 Comput。、vol。 75、no。 2、pp.87-106、Nov. 1987。[7] C.Biier and J.-P. Katoen、モデル検査の原則。 MIT Press、2008. [8] C. A. Belta、R. Majumdar、M. Zamani、およびM. Rungger、 "サイバー物理システムの形式的合成（Dagstuhl Seminar 17201）"、Dagstuhl Reports、vol。 7、no。 5、pp。84-96、2017. [Online]。利用可能：http://drops.dagstuhl.de/opus/volltexte/2017/8281 [9]第40回ACM SIGPLAN-SIGACTシンポジウム原則に関するM.ボトカンとD.バビック、「シグマ*：入力出力仕様の象徴的学習」 Programming Languages、POPL'13、2013、pp。443-456を参照してください。 [10] A. BurnsとA. Welling、リアルタイムシステムとプログラミング言語。 Addison Wesley Longmain、2001。[11] G. Buttazzo、ハードリアルタイムコンピューティングシステム。 Kluwer Academic Publishers、1997. [12] P. Caspi、A. Curic、A. Maignan、C. Sofronis、S. Tripakis、P. Niebert、「SimulinkからSCADE / LustreからTTAへ：分散型埋め込みのための階層型アプローチアプリケーション」、2003年ACM SIGPLAN Conf。言語、コンパイラ、および組み込みシステム用ツール（LCTES'03）を参照してください。 ACM、2003年6月、153-162頁。 [13] P. Caspi、N. Scaife、C. Sofronis、およびS. Tripakis、 "同期プログラムのセマンティクス - 保存マルチタスク実装"、組み込みコンピューティングシステム（TECS）のvol。 7、no。 [14] S. Cassel、F. Howar、B. Jonsson、およびB. Steffen、 "Learning Extended Finite State Machines"、SEFM、2014、250-264頁。 [15] S. Chattopadhyay、A. Roychoudhury、J. Rosen、P. Eles、Z. Peng、「マルチコアプラットフォーム上の時間予測可能な組み込みソフトウェア：分析と最適化」、Electronic Design Automationの基盤と動向、vol 。 8、no。 3-4、pp。199-356、2014。[16] E. Clarke、O. Grumberg、およびD. Peled、Model Checking。 MIT Press、2000。[17] S. Dathathri、N. Arechiga、S。Gao、およびR. M. Murray、 "非線形拘束解法のための学習ベースの抽象化"、IJCAI-17,2017、pp.592-599。 [18] C. de la Higuera、文法推論：学習オートマトンと文法。 CUP、2010。[19] E. W. Dijkstra、 "The Humble Programmer"、ACM Turing Lecture 1972. [オンライン]。利用可能なもの：https://www.cs.utexas.edu/~EWD/transcriptions/ EWD03xx / EWD340.html [20] S. DrewsとL. D'Antoni、 "象徴的なオートマトンの学習"、建設のためのツールとアルゴリズムシステムの分析 - 第23回国際会議、TACAS 2017、 LNCS、vol。 10205,2017、pp.173-189に記載されている。 [21] R. Ehlers、S。Lafortune、S。Tripakis、およびM. Y. Vardi、「監督制御と反応合成：比較序論」Discrete Event Dynamic Systems、vol。 27、no。 2、pp.209-260、2017。[22] B. Finkbeiner、「Dependable Software Systems Engineering、ser。 NATO平和と安全のための科学シリーズ、D：情報通信セキュリティ、J. Esparza、O. Grumberg、and S. Sickert、Eds。、vol。 45. IOS Press、2016、pp。72-98。 [23]研究課題II：フィンランド人工知能センターの信頼性。 [オンライン]。利用可能：http：// fcai。fi / research / [24] A.フィッシャー、C.A。 Jacobson、EA Lee、RM Murray、A. SangiovanniVincentelli、およびE. Scholte、 "Complex Systems Design＆Management、M。Aiguier、F. Boulanger、D. Krob、およびC. Marchalの" Cyber-physical systems - icyphy " 、Eds。、2014、pp。21-37。 [25] P. Garg、C.L¨oding、P. Madhusudan、およびD. Neider、 "ICE：学習不変量のためのロバストなフレームワーク、" Computer Aided Verification、A.Biere and R. Bloem、Eds。 Springer、2014、pp。69-87。[26] G. GiantamidisとS. Tripakis、第21回定式化法に関する国際シンポジウム（FM 2016）の「InputOutput TracesからのMoore機械の学習」コンピュータサイエンスの講義ノート、J. S. Fitzgerald、C. L. Heitmeyer、S. Gnesi、A. Philippou、Eds。、vol。 9995、2016、pp。291-309。 [27] E.M.Gold、「限界内の言語の識別」、Information and Control、vol。 10、no。 [28] S. Gulwani、O. Polozov、およびR. Singh、 "Program synthesis、" Programming Languagesの基盤と動向、vol。5、pp。447-474、1967。 4、no。 1-2、pp。1-119、2017. [29] T. GveroとV. Kuncak、「2015年の自由形式問合せからのJava式の合成」ACM SIGPLAN Intl。 Conf。オブジェクト指向プログラミング、システム、言語、アプリケーション、 OOPSLA。 ACM、2015、pp.416-432に記載されている。 [30] G. Han、M.D。Natale、H. Zeng、X. Liu、およびW. Dou、 "分散型自動車アーキテクチャへのリアルタイムSimulinkモデルの実装の最適化"、Journal of Systems Architecture - Embedded Systems Design、vol。 59、no。 10-D、pp.1115-1127、2013. [31] M. Harbour、M. Klein、R. Obenza、B. Pollak、およびT. Ralya、リアルタイム分析のためのプラクティショナーズハンドブック：レート単調性ガイドリアルタイムシステムの分析Kluwer、1993。[32] T.Henzinger、C.Kirsch、M.Sanvido、およびW.Pree、「制御モデルストア - タイムコードからジオットまで」、IEEEControlSystemsMagazine、vol。 23、no。 1、pp.50-64,2003。[33] T.Henzinger and J. Sifakis、 "組み込みシステム設計の規律"、IEEE Computer、vol。 40、no。 [34] T.A.Henzinger、 "組み込みシステム設計の2つの課題：予測可能性と頑健性"、ロンドン王立協会の哲学的な論考：数学、物理学、工学、vol。10、pp。32-40、2007。 366、no。 VMCAI、2012、pp。251-266のF. Howar、B. Steffen、B. Jonsson、およびS. Casselの "Canonical Register Automataの推論"を参照されたい。 [36] X. Huang、M. Kwiatkowska、S. Wang、およびM. Wu、 "深層神経ネットワークの安全性検証"、CoRR、vol。 abs / 1610.06940,2016。[オンライン]。利用可能なバージョン：http://arxiv.org/abs/1610.06940 [37] B. Jonsson、「データで拡張されたオートマトンモデルの学習」、SFM 2011、Advanced Lectures、2011、pp。327-349。 [38] N. KalraとS. M. Paddock、「自転車の信頼性を実証するには何マイルの走行が必要か？」RAND Research Report RR-1478-RC、Tech。 Rep。、2016. [オンライン]。入手可能：https://www.rand.org/pubs/research reports / RR1478.html [39] G. Katz、CW Barrett、DL Dill、K. Julian、MJ Kochenderfer、「Reluplex：検証のための効率的なSMTソルバ深いニューラルネットワーク、 "CoRR、vol。 abs / 1702.01135、2017. [オンライン]。利用可能なもの：http://arxiv.org/abs/1702.01135 [40] K. Keutzer、A. Newton、J. Rabaey、およびA. Sangiovanni-Vincentelli、 "システムレベル設計：懸念とプラットフォームベースの設計の直交化、 "集積回路およびシステムのコンピュータ支援設計、IEEE Transact ions on、vol。 19、no。 12、pp。1523-1543、2000年12月。[41] Z. Kohavi、スイッチングオートマトン理論、第2版。 McGraw-Hill、1978を参照されたい。[42] D.LeeandM.Yannakakis、 "Principles and methoding fiestestate machine - A survey、" Proceedings of the IEEE、vol。 84、pp。1090-1126、1996。[43] I. Lee、J. Leung、およびS. Son、Eds。、リアルタイムおよび組み込みシステムのハンドブック。 Chapman＆Hall、2007. [44] L. Ljung、システム同定：ユーザのための理論、第2版。 Prentice Hall、1999。[45] D. Lo、S.-C. Khoo、J. Han、およびC. Liu、鉱業ソフトウェアの仕様：方法論とアプリケーション。 CRC Press、2011. [46] Z. MannaとR. Waldinger、「プログラム合成への演繹的アプローチ」、ACM Trans。プログラム。 Lang。 Syst。、vol。 2、no。 1、pp。90-121、Jan. 1980. [47] T. M. Mitchell、機械学習。 McGraw-Hill、1997。[48] S. Neema、 "保証された自治"、DARPAリサーチプログラム。 [オンライン]。入手可能：https://www.darpa.mil/program/assured-autonomy [49] G. NicolescuとP.J.Mosterman、Eds。、組み込みシステムのためのモデルベース設計。 CRC Press、2010. [50] A. V. Oppenheim、A. S. Willsky、およびS. H. Nawab、Signals＆amp; Systems、2nd ed。 Prentice-Hall、1996. [51] A. PnueliおよびR. Rosner、「反応性モジュールの合成について」、ACM Symp。第53回コンピュータ科学基礎学会IEEEシンポジウム講演予稿集、pp。746-757。[53] - 「分散反応システムは合成が難しい」 R. Poovendran、K.Sampigethaya、S.K。S. Gupta、I. Lee、K.V. Prasad、D.Corman、およびJ. Paunicka、 "サイバー物理システム特集"、IEEE議事録、vol。 100、no。 1、pp.6-12、Jan. 2012. [54] L. PulinaとA. Tacchella、 "抽象化のための再定義apCAV 2010、T. Touili、B. Cook、P. Jackson、Eds。、2010、pp。243-257に記載されている。 [55] P. Ramadge and W. Wonham、 "離散事象システムの制御"、IEEE、Proceedings of the IEEE、Jan. 1989. [56] V. Raychev、M. Vechev、およびA. Krause、 "大きなコード"、 "第42回ACM SIGPLAN-SIGACTシンポジウム、プログラミング言語の原則、POPL'15。 ACM、2015、pp.111-124。 [57] A. Sangiovanni-Vincentelli、「Quo Vadis SLD：システムレベル設計のトレンドと課題についての推論」、IEEE議事録、vol。 95、no。 D. Sculley、G。Holt、D. Golovin、E. Davydov、T. Phillips、D. Ebner、V. Chaudhary、M. Young、J.- F. Crespo、およびD。Dennison、「機械学習システムにおける隠された技術的負債」、第28回神経情報処理システム国際会議 - 第2巻、 NIPS'15。 MIT Press、2015、pp.2503-2511。第34回機械学習に関する国際会議、D.Precup and Y.W. Teh、Eds。、vol。 70. PMLR、2017、pp。3047-3056。 [60] S.A.Seshia、 "Sciduction：検証と合成のための誘導、控除、構造の組み合わせ"、Design Automation Conference（DAC）議事録、2012年6月、356-365ページ。 [61] M. ShahbazとR. Groz、 "Mealy Machinesを推論する"、FM 2009、2009、pp。207-222。静的解析、F.ロゴッツォ、およびM.F。アンドリッチ、Eds。の「R. Sharma、S. Gupta、B. Hariharan、A. Aiken、およびA. V. Nori、「幾何学的概念の学習としての検証」。 Springer、2013、pp。388-411。 [63] J. Sifakis、S. Tripakis、およびS. Yovine、 "アプリケーションソフトウェアからのリアルタイムシステムのモデル構築、" IEEEの予稿集、組込みソフトウェアのモデリングと設計に関する特集号、vol。 91、no。 1、pp。100-111、Jan. 2003. [64] A. Solar-Lezama、 "スケッチによるプログラム合成"、Ph.D. [65] J. Stankovic、M. Spuri、K. Ramamritham、およびG. Buttazzo、リアルタイムシステムのためのデッドラインスケジューリング：EDFおよび関連アルゴリズム。 Kluwer Academic Publishers、1998. C. Szegedy、W. Zaremba、I. Sutskever、J. Bruna、D. Erhan、I. J. Goodfellow、およびR. Fergus、 "ニューラルネットワークの興味深い特性"、CoRR、vol。 abs / 1312.6199、2013。[オンライン]。利用可能なもの：http://arxiv.org/abs/1312.6199 [67] J. Sztipanovits and G. Karsai、 "Model-integrated computing"、Computer、vol。 30、no。 J. Sztipanovits、X. Koutsoukos、G. Karsai、N. Kottenstette、P. Antsaklis、V. Gupta、B. Goodwine、J. Baras、およびS. Wang。 、 "サイバー物理システム統合の科学に向けて"、IEEE Proc。、vol。 100、no。 1、pp.29-44、Jan. 2012. [69] P. Tabuada、ハイブリッドシステムの検証と制御：記号的アプローチ。 Springer、2009. [70] J. Thistle、 "非集中監督における決定不能性"、Systems＆Control Letters、vol。 54、no。 [71] S。Tripakis、 "Regular Languagesにおける分散観察と制御の決定不可能な問題"、情報処理学会誌、vol.5、pp。503-509、2005。 90、no。 [72] S. Tripakis、C. Pinello、A. Benveniste、A. Sangiovanni-Vincentelli、P. Caspi、およびMD Natale、 "Loosely Time-Triggeredでの同期モデルの実装"アーキテクチャ、 "IEEE Transactions on Computers、vol。 57、no。 10、pp。1300-1314、Oct. 2008. [73] S. Tripakis、 "システム設計の科学における構成性"、IEEE議事録、vol。 104、no。 5、pp。960-972、May 2016。[74] V. Ulyantsev、I. Buzhinsky、およびA. Shalyto、「シナリオと時間的特性からの厳密なファインステートマシン同定」、STTT、vol。 20、no。 1、pp。35-55、2018。[75] F. Vaandrager、 "Model learning、" Commun。 ACM、vol。 60、no。 [76] M. Wen、I. Papusha、およびU. Topcu、IJCAI、2017、pp。3055-3061の "高レベルの副情報を用いたデモンストレーションから学ぶ"、第2巻、第86-95頁、 。 [77] M. Yannakakis、「ICALP-LICS'04の招待講演」、「テスト、最適化、ゲーム」