Applying optimal control theory to complex epidemiological models to inform real-world disease management

はじめに

数学的モデル化は侵略的疾病に関する政策や管理決定を通知する上で重要性が増している． しかし、効果的で費用効率の高い制御をモデルに基づいて特定することは、特に、モデルが病気の感染過程を非常に詳細に表現している場合には、困難である。 最適な戦略を設計するための様々な数学的ツールがあるが、数学的に動機づけられた単純化の結果を実践に移すための標準はない。 未解決の問題は、真に最適な戦略を特定できるようにしながら、防除策の影響を正確に予測できるように、モデルに十分な現実性を組み込む方法である。 この論文では、実用的に有用な最適戦略を達成するための困難と潜在的な解決策を明らかにし、簡単な例を通じて、オープンループとモデル予測制御の潜在的な役割を強調します。 資源が限られており、防除方法と病気の両方に経済的コストがかかる場合、この最小化は困難な場合がある。 流行の予想される経過をシミュレートし，介入策の効果を明示的にモデル化する方法を用いれば，与えられた戦略の潜在的な影響を迅速に定量化することができる． これらのシミュレーションモデルは、現実のシステムの動態を正確に捉えることができるため、リアルタイムの管理対応や将来の脅威に対する備えの強化に関する政策決定を評価するための重要なツールとなっている。 例えば、英国におけるヒトパピローマウィルスのワクチン接種政策、口蹄疫の家畜淘汰政策とワクチン接種最適化、柑橘類とオーク材の突然死の樹木病に対する最適宿主除去戦略など、疾病動態の様々な複雑性、例えば空間不均一性や感受性と病原体伝播における固有の個人差（リスク構造）は、流行拡大のパターンと速度を決定する重要な要因であると示されてきた。 正確な疫病予測を行うためには、意思決定を支援するために設計されたシミュレーションモデルにこれらの要因を含める必要がある。 しかし、これらの不均質性を含めると、通常、多くの可能な管理策を持つ非常に複雑なモデルになり、介入策を組み合わせることができる場合、特に管理策が時間的、空間的、または疾患リスクに応じて変化する場合、最適化は計算上実行不可能になる。 ほとんどのシミュレーション・モデルにとって、唯一の実行可能な選択肢は、流行期間中固定されたままである、もっともらしい戦略の小さなサブセットを評価するためにモデルを使用することであり、淘汰半径のような単一のパラメータを走査する可能性もある。 我々はこのアプローチを「戦略テスト」と呼ぶことにする。 この方法を用いると、最適な戦略を選択するための枠組みがないため、テスト対象の戦略セットに偏りが生じやすく、高い信頼性を得ることが難しくなる。 さらに、テストするセットは制御オプションの空間全体に及ぶことができないため、真の最適が見つかる可能性は低い。

(b) epidemiological modelの最適制御

Many mathematical techniques exist for characterizing the true optimal control for a disease, such as equilibrium or final size analysis, depending on the system being analyzed . ここでは、最適制御理論（OCT）が広く用いられている力学系の時変制御の最適化に着目する． OCTは、疾患のダイナミクスを記述する一連の方程式を解析することで、与えられた制御方法に対する最適な展開戦略を数学的に特徴付け、シミュレーションモデルの最適化に必要な反復シミュレーションを行うことなく、基礎となるダイナミクスに対する洞察を提供することができます。 しかし，その根底にある数学的な複雑さのために，病気が広がるための基礎となるモデルが高度に単純化されない限り，OCT はほとんど進展しない． OCT の初期の研究は，ワクチン接種と治療の最適レベルに焦点を当てたもので，検疫，スクリーニング，健康増進キャンペーンなど，さらなる介入を考慮した拡張は後に現れたものである． OCTによって特定された最適戦略は非常に複雑であり、しばしば流行の過程で特定の時期に戦略を切り替える制御を指定することができる。 このようなスイッチング制御の複雑さは，空間的に明示的なモデルでテストした場合には疾病管理を著しく改善するが，スイッチングの正確な時間が分からない場合，例えばパラメータの不確実性がスイッチングの可能な時間の広い範囲を与える場合には，パフォーマンスの低下につながる可能性がある． このように、OCTは不確実性と複雑性のために、実世界に直接適用することができない場合が多いのです。 また、OCT から得られる知見をどのように実用的なアドバイスに変換することができるかも不明です。 実際に使用できる頑健な戦略に向かうために，最近の研究では，OCT で使用するモデルに追加の機能や不均質性を含めること，特に空間的な力学に焦点が当てられている． 空間は通常、空間戦略を最適化するためにメタポピュレーションモデル（例えば）や偏微分方程式（例えば）を用いるなど、限られた範囲でしか含まれないため、追加された不均一性が頑健で実用的な制御戦略を特定するのに十分かどうかは未解決のままです。

(c) Making towards practical control

数理的には最適制御戦略を見つけても、OCTを用いて進展を図るためにモデル化したシステムに大きな単純化が必要であります。 したがって、政策立案者がこれらの戦略を採用した場合にどのように機能するかは、しばしば不明である。 一方，政策に直接役立つような十分な現実性を持つモデルは，しばしば完全に最適化することが不可能である． 従って、政策決定に必要なシミュレーション型モデルの正確な予測とOCTの最適化能力を組み合わせるためのフレームワークが必要である。

第2章では、OCTの結果を適用するための制御システム工学からの2つの手法を説明し、第3章では簡単な例示モデルを用いてストラテジーテストと比較する。

Applying optimal control to realistic systems

疫学以外では、OCTは複雑系の近似モデルで広く使われている。 最近の研究では，エージェントベースモデル（ABM），すなわち自律的なエージェントの個々の行動をシミュレートするタイプのモデルに対するOCTの利用が検討されている． Anらは、ABMのダイナミクスを近似するモデルの使用を提案しており、最適制御の数学的分析が可能なほど単純になるように設計されています。 適切な近似モデルを選択し、実データまたはABMからの合成データに適合させる。 近似モデルから得られたOCTの結果は、次にテストされるABMにマッピングされる。このプロセスは「リフティング」と呼ばれるが、この論文で検討されている詳細な疫病シミュレーションモデルにも同様に適用できる。 (a) 開ループ制御

最初の方法は、制御リフティングの最も単純なアプリケーションであり、An らによって暗黙的に提案された枠組みである。 シミュレーションモデルの初期条件を用いて、一旦、近似モデル上で制御を最適化する。 その結果得られた最適制御をシミュレータにリフティングし、シミュレーションの全実行時間に適用する（図1）。 シミュレーションモデル上でOCT戦略のシミュレーションを繰り返すことで、他の可能な制御戦略との比較評価を行うことができます。 この最適化では，すべてのシミュレーションの実現に対して，時間に依存した単一の制御戦略を与えるため，いかなるフィードバックも組み込まれません． したがって，シミュレーションの初期条件と近似モデルによって予測される軌道によって完全に特定されるため，「オープンループ」制御と呼ばれる． 疫学での使用は一般的ではありませんが，Clarkeらは近似モデルでOCTを使用して，クラミジアのスクリーニングとコンタクトトレーシングの最適レベルを求め，それをネットワークシミュレーションにマップしています． オープンループとモデル予測制御（MPC）。 モデル階層を示し、近似モデルから最適化された制御がシミュレーション・モデルに直接持ち込まれる。 実システムは緑色、モデルとフィッティングプロセスは青色、制御フレームワークはオレンジ色で示されている。 オレンジ色の破線のフィードバックループがなければ、これは開ループ制御です。 MPCは定期的な更新ステップで近似モデルの状態をリセットし、次の更新時間まで再最適化し、シミュレーションモデルに制御を持ち越す。

(b) モデル予測制御

オープンループ制御は近似モデルが流行全体の時間スケールで正確であることが必要である。 しかし、扱いやすさのために、近似モデルは、空間効果やリスク構造など、シミュレーション・モデルに存在する多くの不均質性を必然的に省かなければならない。 OCTから得られた戦略をシミュレーションモデルや実システムに適用すると、病気の進行が近似モデルで予測された軌道から系統的に逸脱する可能性がある。 モデル予測制御（MPC）は、このような摂動を考慮したシステムのフィードバックを組み込んだ最適化手法である。 定期的な更新時に、近似モデルの状態変数の値は、その時点のシミュレーションの値と一致するようにリセットされます。 その後、制御が再最適化され、新しい制御戦略が次の更新時間までシミュレーションに適用されます。 そのため、近似モデルとシミュレーションモデルは同時並行で実行され、実現ごとに複数の最適化が行われ、近似モデルと制御戦略が個々のシミュレーションの実現と密接に一致するようにします（図1）。

MPC は疫学的な文献でも使用されていますが、その大部分は集団レベルでの疫病の制御というよりも、単一個体に対する薬物適用の制御のために使用されています。 例としては，測定ノイズやモデリングエラーに頑健なHIVの管理戦略の発見や，糖尿病患者におけるインスリン投与量の管理などが挙げられる。 これらの研究はMPCがロバスト制御、すなわちシステムの摂動にもかかわらず有効な制御を行うことの利点を強調しています。 しかし、伝染病管理に焦点を当てた研究は1つしかなく、その研究はシミュレーションでフィードバック制御を明示的にテストしていません。

(a) Methods

オープンループとMPCによる流行管理を示すために、ホストの人口統計とリスク構造を含む確率SIRネットワークモデルを使用します。 このモデルは、基礎となる考え方がヒト、動物、植物の疾病に広く適用できることを示すために、意図的に単純にしてある。 このモデルとそのパラメータは任意であり、特定の疾患を表すものではありませんが、シミュレーションモデルが実際の疾患システムにすでに適合しているシナリオを表すために使用しています。 各ノードには、高リスク群と低リスク群に層別された宿主集団が存在する。 感染は、ノード内の個体間および接続されたノード間で広がることができる。 ノードiにおけるリスクグループrの純感染率は

ここでSとIはそれぞれ感受性と感染ホストの数、添字はノード、上付き文字は高リスク（H）または低リスク（L）グループを指定する。 ノードjからノードiへの相対的な伝播強度はσij、リスク構造は2×2行列ρで与えられる。 モデルの詳細は電子補足資料S1に記載されている。 これらの応用に限定されないが、式（3.1）のモデルは、農場を通じて広がる作物や家畜の病気、または町、都市、または国を通じて広がる性感染症を表すことができる。 (a)例示的なシミュレーションモデルに使用されるネットワーク。 流行は地域Aの赤いノードに播種され、接続されたノード（灰色の線）間で広がることができる。 (b)では、1回のスペースベースMPCの実行における制御配分を示しており、対応するオープンループの配分は黒い点線で示されている。 (c) スペースベースのオープンループ制御を1回実行した場合の感染個体の総数。 制御は初期条件から始まる近似モデルの予測に基づく。 (d) (b)で行ったMPC制御に対応するシミュレーションと空間ベースの近似モデルにおける感染個体数。 ここでは、更新ステップ（0.5時間単位）ごとに予測値がシミュレーションと一致するようにリセットされ、制御が再最適化される。 MPC は，初期に行われた不正確な予測に依存するのではなく，短期的なモデル予測と実際の感染者数との差を繰り返し補正することにより，オープンループと比較して，シミュレーション状態の予測精度が向上し，制御も改善されます（Y 軸のスケールが異なることに注意してください）．

集団ワクチン接種は、リスクグループと地域の両方に基づいてターゲットを絞る可能性があり、宿主の感染状態（すなわち、感染率）間で無作為化された、我々が考慮する唯一の介入である。 は、すべての宿主にワクチンを投与するが、感受性の高い宿主にのみ有効である）。 リスクグループと地域間で分割できる最大総ワクチン接種率（ηmax）により、ロジスティクスと経済的な制約が含まれる。 各グループ内では，感受性者はfηmaxS/Nでワクチン接種され，fはそのグループに割り当てられたコントロールの割合，Nはグループの総人口である． J=∫t=0TI(t) dt.となる。 我々が考慮する特定の制御とリスクおよび空間構造に共通して、目的関数のこの単純な選択は、単に我々の方法を説明するために行われたが、フレームワークはより複雑な設定に直ちに一般化される。 近似の最良のレベルを評価するために、我々はシミュレータの2つの異なる決定論的な近似モデルを検討する。 最初のモデルは、純粋にリスク構造化されたもので、すべての空間的情報を無視し、高リスクと低リスクの人口グループを1つずつ残したものである。 このモデルは決定論的であり、すべてのノードが空間的によく混ざり合っているという仮定に基づくものである。 第二の近似モデルは、同じく決定論的でリスク構造化されている点で、より複雑であるが、さらに、地域のホスト情報を含むことによって、ホストの空間構造の第一近似を含んでいる。 最適制御の結果を得るために十分な単純性を維持するために，3つの地域間ではなく，地域内の空間力学が含まれており，それによって，ノードはそれぞれの地域内で空間的にうまく混合されていると仮定している． これは、例えば、国レベルでは制御を最適化するが、地域レベルでは最適化しないことを表すことができる。 このモデルを空間近似モデルと呼ぶ。 シミュレーション・モデルの実行のアンサンブルから得られたデータに対して、各モデルについて1組のパラメータを当てはめる。 そして、2つの近似モデルのうちどちらが制御最適化に有用であるかを検証する。 近似モデル、フィッティング、最適化手順の詳細は、電子補足資料S1およびS2に記載されています。

(iii) 制御シナリオ

我々は、純粋にシミュレーションモデルに基づく制御の戦略テスト（シナリオ1と2）、オープンループとMPCを我々の近似モデルの両方を使用して適用（シナリオ3-6）を比較した6種類の制御シナリオをテストします：

• (1) ‘High’: ハイリスクの個人のみにワクチン接種します。

• (2) ‘Split’：事前に行った最適化により、高リスクグループと低リスクグループに制御リソースを分割する。

• (3) ‘Risk OL’: リスクベースの概算モデルによるオープンループ制御。 リスクベースの近似モデルを用いたMPC.

• (5) ‘Space OL’: 空間近似モデルを用いたオープンループ制御.

• (6) ‘Space MPC’: 空間近似モデルを用いたMPC.

のように、分割値の範囲ごとに多くのシミュレーションモデル実現を行い、「分割」戦略の最適定数配分を求め、平均流行コストが最も低くなる値を選択した（電子補足資料、図S8）。

(b) Results

リスクベースの近似モデルにおけるワクチン接種戦略の最適化のためのOCT結果は，高リスク者だけに最初にワクチンを接種し，その後優先順位を変えてより人口の多い低リスクグループにほぼ独占的に治療することを導く． 空間近似モデルによるOCTの結果は，これと同じ切り替えを示すが（図2b），多くの空間的な切り替えも見られ，流行が3つの地域を通って進行するのを追跡できるように制御している（電子補足資料，図S9）．

制御シナリオをシミュレーションモデルに適用し、流行コストを比較すると、MPCの使用と同様に、より複雑な近似モデルを通じて、より現実的なものを取り入れることで、疾病管理を改善できることがわかった（図3および電子補足資料、図S10）。 定数と純粋なシミュレーションに基づく「ユーザー定義」戦略のうち、リスクグループ間で管理を分けることは、高リスクグループにワクチン接種を行うだけよりもわずかに効果的である。 分割」戦略で使用される高リスクグループへの最適な配分は，ワクチン接種資源の63％であり，残りは低リスクの個人へのワクチン接種に使用されるが，これは流行コストの広い最小値で発生する（電子補足資料，図S8）． リスクベースの近似モデルからの最適化をシミュレーションモデルに適用すると，「ユーザー定義」戦略のいずれよりも改善されるが，オープンループとMPCの枠組みの間で流行コストにほとんど差はない（下記参照）． 近似モデルに空間を追加すると、制御がさらに改善され、空間MPCフレームワークを使用した場合に、最小の流行コストをもたらす。

例示モデルは、オープンループとMPCの両方にOCTを組み合わせることによって達成できる管理の改善を示しています。 OCT 分析の重要な結果は、制御スイッチング時間です。 オープンループ制御でいずれかの近似モデルからのスイッチング制御を使用すると，素朴に選択した「ユーザー定義」戦略よりも低い流行コストが得られます． MPCコントローラに存在するフィードバックは、流行コストをさらに削減することができます。 流行中にスイッチのタイミングを再評価し、潜在的に追加のスイッチを含めることで、制御は現在のシミュレーション実現の正確な軌道により近く反応することができます（図2b-d）。 これにより、近似モデルにおける不確実性や系統誤差に対してよりロバストな制御が可能となり、複雑なシミュレーションモデルに対してより良いパフォーマンスを発揮する。

リスクベースの戦略では、オープンループとMPCの間にほとんど差がない。 これは，高リスク群から低リスク群へのワクチン接種の正確な切り替えタイミングが，流行コストに大きな影響を与えないためである（電子補足資料，図S11）． 地域BとCへの疾病導入のタイミングは、シミュレーション実行間で大きく変動している（電子補足資料、図S2）。 空間近似モデルでスイッチを追加できる可能性があるため，MPCコントローラがこの変動に対応するための柔軟性が増し，空間MPCは摂動に適応できないオープンループよりも大きな改善を示している． 制御の性能は、近似モデルの精度と密接に関係しています。 我々の例では、地域間の拡散のタイミングから空間ダイナミクスが明らかに重要であるため、空間モデルのより情報に基づいた制御はリスクベースの戦略を上回る。

議論

我々の結果は、近似モデルの選択がオープンループとMPC戦略の両方の性能に影響を与えることを示すものである。 ここでは、アドホックな方法で適切な近似モデルを見つけたが、今後の重要な課題は、最も適切な近似モデルを選択するための、より正式な方法を開発することである。 より正確なモデルはより良い予測、ひいては真の最適に近い制御を与えるかもしれませんが、より単純なモデルで十分な場合も多く、精度は複雑さの追加や最適化の制約とのバランスをとる必要があります。 その際、数学的・計算的な実現可能性の境界が必ずしも明確でないため、実際にどの程度までモデルを複雑にできるかが1つの難点となります。 また、ダイナミクスのどの側面を正確に捉えることが重要なのかを、体系的に数学的に判断することも困難である。

実際の疾病管理では、流行の状態を評価するために実際のシステムを調査する必要があります。 オープンループもMPCも将来のダイナミクスの予測を用いて制御を最適化するので、どちらもフィードフォワード制御器となる。 これらのフレームワークの基礎となる近似モデルは、調査間でより多くの情報に基づいた決定を可能にし、結果として真の最適に近い制御を行うことができます。 正確な予測により、高価でロジスティックに困難な連続的な調査や非常に頻繁な調査を避けることができます。 前述したように、MPCのフィードバックループで繰り返される更新は、これらの予測を改善し、その結果、制御の性能を向上させる。 しかし、各更新は実システムの監視を必要とするので、更新の頻度は、システムの知識の向上と監視の制約のバランスをとるように選択されなければならない。 同様に，多くの研究はシミュレーションモデルなしでOCTを使用し，得られた最適制御の実用化を考慮することはほとんどない． このようなボトムアップ的なアプローチでは、現実的なシステムで結果を検証する仕組みが不可欠であり、その結果がさらなる現実性に対してロバストであることを確認することが重要です。 ここで検討したような MPC フレームワークを使用することは、OCT 研究者がより多くの聴衆に彼らの研究の潜在的な影響を示すことができる 1 つの方法となり得る。

代替シミュレーション モデルのパラメータ化の徹底的なテストはこの研究の範囲外であるが、一般に、空間 MPC は他の妥当なパラメータ セットでも最高の性能を示すことがわかった（電子補足資料、S3）。 我々は、問題の実システムの正確なシミュレーションモデルが構築され、選択された決定論的近似モデルに対して1組のパラメータが適合されることを、全体を通して仮定している。 実際には、シミュレータのパラメータにはかなりの不確実性があるため、単一の決定論的モデルを当てはめることは困難である可能性があります。 今後の研究課題としては、これらの不確実性をどのように扱うか、また、おそらくシミュレーションの進行に伴い、パラメータに関するより良い知識を取り入れることであろう。 この目的関数は非常に単純なものであるが，これを拡張して，制御や戦略の各スイッチに関連するコストを含めるようにすれば，これらの複雑な戦略の実行の実用性について，より詳細な評価が可能になるであろう． 例えば、治療費と疾病負担など、非常に異なるコストのバランスをどのように定量化するかについては、さらなる研究が必要である。 ヒトの疾患では、費用対効果分析は通常、質調整生存年数に基づいて行われる。 植物や動物の病気にも同様のコンセプトを用いることができるかもしれない。例えば、収穫量の損失、福祉、生物多様性、観光への影響などの計算が含まれる。 しかし、これまで述べてきた方法は、制御や目的関数の形式に依存しない。 適切な近似モデルであれば、MPCのフィードバックは正確な予測を保証するので、オープンループよりも常にパフォーマンスを向上させるはずである。 本稿では、フィードバック制御とシミュレーションモデルおよびOCTを組み合わせることで、ヒト、動物および植物集団の病原体を管理するための効果的で堅牢な介入戦略の設計に役立つことを示しました。 これらの技術は，最適制御の結果をより現実的なシミュレーションに移行させ，実用化することができるかもしれないが，発見された戦略は結果の伝達可能性の問題を提起している。 複雑な構造を持ち、数学的にも複雑な2つのモデル間の複雑なフィードバック戦略では、全体の結果を説明するのはもはや単純ではありません。 したがって、今後の研究では、シミュレーションモデルの精度を向上させ、その信頼性を分析し、シミュレーションを使用して、これらの複雑なOCTベースの戦略の利点を決定的に立証できるようにすることに重点を置く必要があります。

データへのアクセス

すべてのコードとアニメーションはhttps://github.com/ehbussell/Bussell2018Modelで入手できます。

著者の貢献

競合利益

我々は競合利益を有していない。

Funding

E.H.B. は、英国バイオテクノロジー・生物科学研究会議（BBSRC）によるケンブリッジ大学DTP博士課程を通じた支援に感謝します。

脚注

テーマ号「ヒト、動物、植物における感染症発生のモデル化：疫病予測と制御」への16件の投稿のうち1件を掲載。

電子補足資料はhttps://dx.doi.org/10.6084/m9.figshare.c.4462796でオンライン公開されています。

発行：英国王立協会（the Royal Society. All rights reserved.

.