Applying optimal control theory to complex epidemiological models to inform real-world disease management

Introduction

Mathematical modelling plays an increasingly important role in informing policy and management decisions concerning invading diseases . Jednakże, oparta na modelach identyfikacja skutecznych i efektywnych kosztowo kontroli może być trudna, szczególnie gdy modele zawierają bardzo szczegółowe reprezentacje procesów przenoszenia chorób. Istnieje wiele narzędzi matematycznych do projektowania optymalnych strategii, ale nie ma standardu do zastosowania w praktyce wyników matematycznie umotywowanych uproszczeń. Otwartym pytaniem jest, jak wprowadzić do modelu wystarczająco dużo realizmu, aby umożliwić dokładne przewidywanie wpływu środków kontroli, zapewniając jednocześnie, że prawdziwie optymalna strategia może być nadal zidentyfikowana. W tym artykule, identyfikujemy trudności – jak również potencjalne rozwiązania – w osiąganiu praktycznie użytecznej optymalnej strategii, podkreślając potencjalną rolę otwartej pętli i kontroli predykcyjnej modelu poprzez prosty przykład.

(a) Realistyczne modele symulacyjne

Optymalizacja zarządzania chorobą obejmuje określenie najbardziej odpowiedniej metody (metod) kontroli, np. szczepienia, kwarantanny lub gryzonia, oraz najlepszej strategii wdrażania tej metody lub kombinacji metod w celu zminimalizowania wpływu choroby. Minimalizacja ta może być trudna, gdy zasoby są ograniczone i istnieją koszty ekonomiczne związane zarówno ze środkami kontroli, jak i z chorobą. Metody, które symulują oczekiwany przebieg epidemii i wyraźnie modelują efekty interwencji, mogą szybko określić ilościowo potencjalny wpływ danej strategii. Te modele symulacyjne dokładnie oddają dynamikę rzeczywistego systemu i dlatego stały się ważnymi narzędziami oceny decyzji politycznych odnoszących się do reakcji zarządzania w czasie rzeczywistym, jak również do zwiększonej gotowości na przyszłe zagrożenia. Przykłady obejmują politykę szczepień przeciwko wirusowi brodawczaka ludzkiego w Wielkiej Brytanii, politykę uboju zwierząt gospodarskich i optymalizację szczepień przeciwko pryszczycy oraz optymalne strategie usuwania żywicieli w przypadku chorób drzew cytrusowych i nagłej śmierci dębu. Wykazano, że różne złożoności dynamiki chorób, na przykład heterogeniczność przestrzenna i nieodłączne indywidualne różnice w podatności i przenoszeniu patogenów (struktura ryzyka), są ważnymi czynnikami determinującymi wzorce i tempo rozprzestrzeniania się epidemii. Aby zapewnić dokładne prognozy epidemii, czynniki te muszą być uwzględnione w modelach symulacyjnych zaprojektowanych w celu wspierania procesu podejmowania decyzji. Jednakże uwzględnienie tych heterogeniczności zazwyczaj prowadzi do wysoce złożonych modeli z wieloma możliwymi środkami kontroli, co sprawia, że optymalizacja jest obliczeniowo niewykonalna, gdy interwencje mogą być łączone, a w szczególności gdy środki kontroli mogą również zmieniać się w czasie, w przestrzeni lub w zależności od ryzyka choroby. Dla większości modeli symulacyjnych, jedyną realną opcją jest wykorzystanie modelu do oceny małego podzbioru prawdopodobnych strategii, które pozostają stałe podczas epidemii, potencjalnie skanując jeden parametr, taki jak promień uboju. Podejście to będziemy nazywać „badaniem strategii”. Stosowanie tego podejścia utrudnia uzyskanie wysokiego zaufania do najlepiej działającej strategii, ponieważ przy braku ram dla jej wyboru, zbiór testowanych strategii będzie prawdopodobnie tendencyjny. Ponadto, ponieważ zestaw do testowania nie może obejmować całej przestrzeni opcji kontroli, jest mało prawdopodobne, że prawdziwe optimum zostanie znalezione.

(b) Optymalna kontrola modeli epidemiologicznych

Istnieje wiele technik matematycznych dla scharakteryzowania prawdziwej optymalnej kontroli dla choroby, takich jak równowaga lub analiza wielkości końcowej, w zależności od analizowanego systemu. Skupiamy się tutaj na optymalizacji zmiennej w czasie kontroli systemów dynamicznych, dla których teoria optymalnej kontroli (OCT) jest szeroko stosowana. Analizując zestaw równań opisujących dynamikę choroby, OCT może matematycznie scharakteryzować optymalną strategię rozmieszczenia dla danej metody kontroli i zapewnić wgląd w podstawową dynamikę, bez wielokrotnych symulacji wymaganych do optymalizacji modeli symulacyjnych. Jednakże, z powodu matematycznej złożoności, postęp w OCT jest niewielki, chyba że podstawowe modele rozprzestrzeniania się choroby są bardzo uproszczone. Wczesne prace w zakresie OCT koncentrowały się na optymalnych poziomach szczepień i leczenia, przy czym rozszerzenia w celu rozważenia dalszych interwencji, w tym kwarantanny, badań przesiewowych i kampanii promujących zdrowie, pojawiły się później. Modele chorób mogą być również sprzężone z efektami ekonomicznymi, a w OCT zostało to wykorzystane do zrównoważenia wielu kosztów, takich jak nadzór i kontrola lub leczenie profilaktyczne i reaktywne. Optymalne strategie zidentyfikowane przez OCT mogą być bardzo złożone, często określając kontrole, które zmieniają strategie w określonym czasie w trakcie epidemii. Dodatkowa złożoność tych przełączających kontroli może znacznie poprawić zarządzanie chorobą, gdy jest testowana na modelu przestrzennie jednoznacznym, ale może prowadzić do słabej wydajności, jeśli dokładny czas przełączenia nie jest znany, na przykład, gdy niepewność parametrów daje szeroki zakres możliwych czasów przełączenia. Pokazuje to, że niepewność i dodatkowa złożoność często uniemożliwiają bezpośrednie zastosowanie OCT w świecie rzeczywistym. Nie jest również jasne, w jaki sposób wiedza uzyskana dzięki OCT mogłaby zostać przełożona na praktyczne porady. Aby przejść do solidnych strategii, które mogłyby być stosowane w praktyce, ostatnie prace skupiły się na włączeniu dodatkowych cech i heterogeniczności do modeli stosowanych w OCT, w szczególności dynamiki przestrzennej. Przestrzeń jest zwykle uwzględniana tylko w ograniczonym zakresie, na przykład poprzez wykorzystanie modeli metapopulacji (np. ) lub równań różniczkowych cząstkowych (np. ) do optymalizacji strategii przestrzennych, więc to, czy dodane heterogeniczności są wystarczające do określenia solidnych i praktycznych strategii kontroli, pozostaje kwestią otwartą.

(c) Przejście do praktycznej kontroli

Pomimo znalezienia matematycznie optymalnej strategii kontroli, wymagane są znaczne uproszczenia w modelowanym systemie, aby umożliwić postęp przy użyciu OCT. Dlatego często nie jest jasne, jak te strategie sprawdziłyby się, gdyby zostały przyjęte przez decydentów. Z drugiej strony, modele o wystarczającym realizmie, aby bezpośrednio informować o polityce, są często niemożliwe do pełnej optymalizacji. Dlatego też potrzebne są ramy łączące możliwości optymalizacyjne OCT z dokładnymi przewidywaniami modeli typu symulacyjnego, które są wymagane w procesie tworzenia polityki. Pytanie brzmi więc, jak powinniśmy wykorzystać OCT w praktyce?

W §2, opisujemy dwie metody z inżynierii systemów sterowania do zastosowania wyników OCT i porównujemy je z Testem Strategii przy użyciu prostego modelu ilustracyjnego w §3. Staramy się odpowiedzieć jak, przy obecnych ograniczeniach obliczeniowych, wyniki z OCT mogą być zastosowane przy zachowaniu realizmu wymaganego do praktycznego zastosowania.

Zastosowanie optymalnej kontroli do realistycznych systemów

Poza epidemiologią, OCT ma szersze zastosowanie w przybliżonych modelach złożonych systemów. Niedawno przeprowadzony przegląd wykorzystania OCT w modelach opartych na agentach (ABM), rodzaju modelu, który symuluje indywidualne zachowanie autonomicznych agentów. An et al. sugerują użycie modelu, który przybliża dynamikę ABM, zaprojektowanego tak, aby był wystarczająco prosty, aby umożliwić matematyczną analizę optymalnego sterowania. Odpowiedni model przybliżony jest wybierany i dopasowywany albo do danych rzeczywistych, albo do danych syntetycznych z ABM. Wyniki OCT z modelu przybliżonego są następnie odwzorowywane na ABM, który ma być testowany: proces określany jako „podnoszenie”, który mógłby równie dobrze mieć zastosowanie do szczegółowych modeli symulacji epidemii rozważanych w tym artykule. Opisujemy teraz dwie możliwe ramy z inżynierii systemów sterowania do wykorzystania tego podejścia do podnoszenia sterowania.

(a) Sterowanie w otwartej pętli

Pierwsza metoda jest najprostszym zastosowaniem podnoszenia sterowania i ramą domyślnie zasugerowaną przez An et al. Sterowanie jest optymalizowane na modelu przybliżonym raz przy użyciu warunków początkowych modelu symulacyjnego. Wynikająca z tego optymalna strategia sterowania jest przenoszona do symulatora i stosowana przez cały czas trwania symulacji (rysunek 1). Wielokrotna symulacja strategii OCT na modelu symulacyjnym pozwala na ocenę w porównaniu z innymi możliwymi strategiami sterowania. Optymalizacja daje pojedynczą, zależną od czasu strategię dla wszystkich realizacji symulacji, a więc nie zawiera żadnego sprzężenia zwrotnego. Dlatego jest ona określana jako kontrola „otwartej pętli”, ponieważ jest ona w pełni określona przez warunki początkowe symulacji i trajektorię przewidywaną przez model przybliżony. Zastosowanie w epidemiologii jest rzadkie, chociaż Clarke i in. używają OCT w modelu przybliżonym, aby znaleźć optymalne poziomy badań przesiewowych w kierunku chlamydii i śledzenia kontaktów, które są następnie odwzorowane w symulacji sieciowej.

(b) Model predictive control

Sterowanie w otwartej pętli wymaga, aby model przybliżony pozostał dokładny w skali czasowej całej epidemii. Jednakże, dla zachowania tractability, model przybliżony musi z konieczności pomijać wiele heterogeniczności obecnych w modelu symulacyjnym, takich jak efekty przestrzenne i struktura ryzyka. Kiedy strategie wynikające z OCT są następnie stosowane do modelu symulacyjnego lub do systemu rzeczywistego, postęp choroby może systematycznie odbiegać od trajektorii przewidywanej przez model przybliżony. Sterowanie predykcyjne modelem (MPC) jest techniką optymalizacji zawierającą systemowe sprzężenie zwrotne, które może uwzględniać takie perturbacje. W regularnych okresach aktualizacji, wartości zmiennych stanu w modelu przybliżonym są resetowane, aby dopasować je do wartości występujących w symulacji w tym czasie. Następnie sterowanie jest ponownie optymalizowane, a nowa strategia sterowania jest stosowana w symulacji do czasu następnej aktualizacji. Model przybliżony i symulacyjny są zatem uruchamiane równolegle, z wieloma optymalizacjami na realizację, aby zapewnić, że model przybliżony i strategia sterowania ściśle odpowiadają każdej indywidualnej realizacji symulacji (rysunek 1). Te wielokrotne optymalizacje są kosztowne obliczeniowo, ale wykonalne, w przeciwieństwie do wykonywania optymalizacji na pełnym modelu symulacyjnym.

MPC miało pewne zastosowanie w literaturze epidemiologicznej, przy czym większość z nich dotyczyła kontroli aplikacji leków dla pojedynczych osób, a nie kontroli epidemii na poziomie populacji. Przykłady obejmują znalezienie strategii zarządzania dla HIV, które są odporne na szum pomiarowy i błędy modelowania, oraz kontrolę podawania insuliny u pacjentów z cukrzycą. Badania te podkreślają korzyści płynące z MPC dla solidnej kontroli, tj. kontroli, która pozostaje skuteczna pomimo perturbacji systemu. Jednak tylko jedno badanie koncentruje się na zarządzaniu epidemią i nie testuje wyraźnie sterowania ze sprzężeniem zwrotnym na symulacjach.

Strategie optymalizacji na ilustracyjnym modelu sieci

(a) Metody

Aby zademonstrować otwartą pętlę i MPC dla zarządzania epidemią, używamy stochastycznego modelu sieci SIR, w tym demografii gospodarza i struktury ryzyka. Model jest celowo utrzymywany w prostocie, aby pokazać, jak koncepcja leżąca u jego podstaw ma szerokie zastosowanie w przypadku chorób ludzi, zwierząt i roślin. Podczas gdy model i jego parametry są arbitralne i nie reprezentują konkretnej choroby, używamy go do przedstawienia scenariusza, w którym model symulacyjny został już dopasowany do rzeczywistego systemu chorobowego; model sieciowy jest zatem używany tutaj jako przybliżenie dla potencjalnie bardzo szczegółowego modelu symulacyjnego.

(i) Model symulacyjny

W naszym modelu, infekcja rozprzestrzenia się stochastycznie przez sieć węzłów, które są skupione w trzech odrębnych regionach (rysunek 2a). Każdy węzeł zawiera populację gospodarzy podzieloną na grupy wysokiego i niskiego ryzyka. Infekcja może rozprzestrzeniać się pomiędzy osobnikami w obrębie węzłów oraz pomiędzy połączonymi węzłami. Wskaźnik netto infekcji grupy ryzyka r w węźle i jest dany przez

gdzie S i I są liczbami podatnych i zainfekowanych gospodarzy, odpowiednio, indeksy dolne identyfikują węzeł, a indeksy górne określają grupę wysokiego (H) lub niskiego (L) ryzyka. Suma obejmuje wszystkie połączone węzły, w tym sam węzeł główny, przy czym względna siła transmisji do węzła i z węzła j jest określona przez σij, a struktura ryzyka jest określona przez macierz 2 × 2 ρ. Pełne szczegóły modelu są podane w elektronicznym materiale uzupełniającym, S1. Chociaż nie ogranicza się do tych zastosowań, model w równaniu (3.1) mógłby reprezentować choroby upraw lub zwierząt gospodarskich rozprzestrzeniające się w gospodarstwach rolnych, lub infekcje przenoszone drogą płciową rozprzestrzeniające się w miastach, miasteczkach lub krajach.

Szczepienie masowe jest jedyną rozważaną przez nas interwencją, z możliwością ukierunkowania na podstawie zarówno grupy ryzyka jak i regionu, ale randomizowaną w zależności od statusu zakażenia gospodarza (tj. szczepionka jest podawana wszystkim nosicielom, ale jest skuteczna tylko w stosunku do osób podatnych). Ograniczenia logistyczne i ekonomiczne są uwzględnione poprzez określenie maksymalnej całkowitej liczby szczepień (ηmax), którą można podzielić między grupy ryzyka i regiony. W każdej grupie osoby podatne na zakażenie są szczepione w tempie: fηmaxS/N, gdzie f jest odsetkiem kontroli przydzielonym tej grupie, a N jest całkowitą populacją grupy.

Optymalny przydział środków na szczepienia minimalizuje koszt epidemii J reprezentujący obciążenie epidemią wszystkich zakażonych gospodarzy w czasie symulacji (T): J=∫t=0TI(t) dt. W związku z konkretną kontrolą, którą rozważamy oraz ryzykiem i strukturami przestrzennymi, ten prosty wybór funkcji celu został dokonany jedynie w celu zilustrowania naszych metod, ale ramy natychmiast uogólniają się na bardziej złożone ustawienia.

(ii) Przybliżone modele

Wyczerpująca optymalizacja kontroli przy użyciu modelu symulacyjnego, w przestrzeni, grupie ryzyka i czasie, jest oczywiście bardzo kosztowna obliczeniowo. Aby ocenić najlepszy poziom przybliżenia, rozważamy dwa różne deterministyczne modele przybliżone symulatora. Pierwszy model ma wyłącznie strukturę ryzyka, pomija wszystkie informacje przestrzenne i pozostawia jedną grupę populacji o wysokim i jedną o niskim ryzyku. Model ten jest deterministyczny i opiera się na założeniu, że wszystkie węzły są przestrzennie dobrze wymieszane ze sobą. Drugi model przybliżony jest bardziej złożony, ponieważ jest również deterministyczny i oparty na strukturze ryzyka, ale dodatkowo zawiera pierwsze przybliżenie struktury przestrzennej gospodarza poprzez uwzględnienie informacji o gospodarzu regionalnym. Dynamika przestrzenna jest włączona pomiędzy, ale nie w obrębie trzech regionów, aby zachować wystarczającą prostotę do uzyskania optymalnych wyników kontroli, zakładając tym samym, że węzły są przestrzennie dobrze wymieszane w obrębie każdego regionu. Może to oznaczać, na przykład, optymalizację kontroli na poziomie kraju, ale nie na poziomie regionalnym. Określamy ten model jako przestrzenny model przybliżony. Pojedynczy zestaw parametrów jest dopasowywany dla każdego modelu do danych z zespołu przebiegów modelu symulacyjnego. Następnie testujemy, który z dwóch modeli przybliżonych jest bardziej przydatny do optymalizacji sterowania. Pełne szczegóły dotyczące modeli przybliżonych, procedur dopasowania i optymalizacji są podane w elektronicznych materiałach uzupełniających, S1 i S2.

(iii) Scenariusze kontroli

Testujemy sześć różnych scenariuszy kontroli, które porównują strategię Testowanie kontroli opartej wyłącznie na modelu symulacyjnym (scenariusze 1 i 2) z otwartą pętlą i MPC stosowaną przy użyciu obu naszych modeli przybliżonych (scenariusze 3-6):

• (1) „Wysoka”: szczepić wyłącznie osoby z grupy wysokiego ryzyka.

• (2) „Split”: podział zasobów kontrolnych między grupy wysokiego i niskiego ryzyka na podstawie optymalizacji przeprowadzonej z wyprzedzeniem.

• (3) „Risk OL”: sterowanie w pętli otwartej z wykorzystaniem modelu przybliżonego opartego na ryzyku.

• (4) „Risk MPC”: MPC z wykorzystaniem modelu przybliżonego opartego na ryzyku.

• (5) „Space OL”: sterowanie w pętli otwartej z wykorzystaniem modelu przybliżonego przestrzennego.

• (6) „Space MPC”: MPC z wykorzystaniem przestrzennego modelu przybliżonego.

Optymalny stały przydział dla strategii „Split” znaleziono, uruchamiając wiele realizacji modelu symulacyjnego dla każdej z szeregu wartości partycji, jak w , i wybierając wartość, która dała najniższy średni koszt epidemii (elektroniczne materiały uzupełniające, rysunek S8). Sześć strategii jest ocenianych przez wielokrotne uruchamianie modelu symulacyjnego przy każdym scenariuszu kontroli.

(b) Wyniki

Wyniki OCT dla optymalizacji strategii szczepień w modelu przybliżonym opartym na ryzyku prowadzą do początkowego szczepienia tylko osób z grupy wysokiego ryzyka, przed zmianą priorytetów i leczeniem prawie wyłącznie bardziej licznej grupy niskiego ryzyka. Wyniki OCT z przybliżonego modelu przestrzennego pokazują tę samą zmianę (ryc. 2b), ale widać również szereg zmian przestrzennych, co pozwala na śledzenie epidemii w miarę jej postępu w trzech regionach (elektroniczny materiał uzupełniający, ryc. S9). Strategie przestrzenne są zatem znacznie bardziej złożone niż kontrole oparte na ryzyku.

Zastosowanie scenariuszy kontroli do modelu symulacyjnego i porównanie kosztów epidemii pokazuje, że włączenie większego realizmu, poprzez bardziej złożony model przybliżony, jak również poprzez zastosowanie MPC, pozwala na lepsze zarządzanie chorobą (rysunek 3 i elektroniczne materiały uzupełniające, rysunek S10). Spośród stałych i czysto symulacyjnych strategii „zdefiniowanych przez użytkownika”, podział kontroli pomiędzy grupy ryzyka jest nieco bardziej efektywny niż samo szczepienie grupy wysokiego ryzyka. Optymalny przydział do grupy wysokiego ryzyka stosowany w strategii „Podziel” wynosi 63% środków na szczepienia, a resztę przeznacza się na szczepienia osób z grupy niskiego ryzyka, chociaż ma to miejsce w szerokim minimum kosztów epidemii (elektroniczny materiał uzupełniający, ryc. S8). Zastosowanie optymalizacji z modelu przybliżonego opartego na ryzyku do modelu symulacyjnego daje poprawę w stosunku do każdej ze strategii „zdefiniowanych przez użytkownika”, chociaż różnica w kosztach epidemii między ramami otwartej pętli i MPC jest niewielka (patrz poniżej). Dodanie przestrzeni do modelu przybliżonego jeszcze bardziej poprawia kontrolę, prowadząc do najmniejszych kosztów epidemii w przypadku zastosowania ram przestrzennego MPC.

Przykładowy model demonstruje poprawę zarządzania, którą można osiągnąć poprzez połączenie OCT zarówno z otwartą pętlą, jak i MPC. Kluczowymi wynikami analiz OCT są czasy przełączania sterowania. Zastosowanie sterowania przełączaniem z obu przybliżonych modeli z kontrolą w pętli otwartej daje niższe koszty epidemii niż naiwnie wybrane strategie „zdefiniowane przez użytkownika”. Sprzężenie zwrotne obecne w kontrolerach MPC pozwala na dalsze obniżenie kosztów epidemii. Poprzez ponowną ocenę czasu przełączników podczas epidemii i potencjalnie włączenie dodatkowych przełączników, sterowanie może reagować w sposób bardziej zbliżony do dokładnej trajektorii bieżącej realizacji symulacji (rysunek 2b-d). Daje to sterowanie, które jest bardziej odporne na niepewność i błędy systematyczne w modelu przybliżonym, a tym samym działa lepiej na złożonym modelu symulacyjnym.

W strategiach opartych na ryzyku, istnieje niewielka różnica między otwartą pętlą a MPC. Dzieje się tak dlatego, że dokładny czas przejścia ze szczepienia grupy wysokiego do niskiego ryzyka nie wpływa znacząco na koszt epidemii (elektroniczne materiały uzupełniające, ryc. S11). Momenty wprowadzenia choroby do regionów B i C są bardzo zmienne w różnych przebiegach symulacji (elektroniczny materiał uzupełniający, rysunek S2). Możliwość dodatkowych przełączników w przestrzennym modelu przybliżonym daje kontrolerowi MPC większą elastyczność w reagowaniu na tę zmienność, a zatem przestrzenne MPC wykazuje znaczną poprawę w stosunku do otwartej pętli, która nie może dostosować się do perturbacji. Wydajność sterowania jest ściśle związana z dokładnością modelu przybliżonego. W naszym przykładzie, dynamika przestrzenna jest wyraźnie ważna ze względu na czas rozprzestrzeniania się między regionami, a więc bardziej świadome kontrole modelu przestrzennego przewyższają strategie oparte na ryzyku.

Dyskusja

Nasze wyniki pokazują, że wybór modelu przybliżonego wpływa na wydajność zarówno strategii otwartej pętli jak i MPC. W tym przypadku znaleźliśmy odpowiedni model przybliżony w sposób ad hoc, ale kluczowym wyzwaniem na przyszłość jest opracowanie bardziej formalnej metody wyboru najbardziej odpowiedniego modelu przybliżonego. Dokładniejszy model może dać lepsze przewidywania, a tym samym sterowanie, które jest bliższe prawdziwemu optimum, ale prostsze modele są często wystarczające i dokładność musi być zrównoważona z dodatkową złożonością i ograniczeniami optymalizacji. Jedną z trudności jest to, że nie zawsze jest jasne, gdzie jest granica matematycznej lub obliczeniowej wykonalności, a więc jak złożony model może być wykonany w praktyce. Trudno jest również określić matematycznie, w sposób systematyczny, które aspekty dynamiki są ważne do dokładnego uchwycenia. Ta kluczowa kwestia musi być jednak rozważona, ponieważ jej implikacje odnoszą się bezpośrednio do zastosowań w świecie rzeczywistym.

Praktyczna kontrola chorób wymaga badań rzeczywistego systemu w celu oceny stanu epidemii. Zarówno open-loop jak i MPC optymalizują kontrolę używając przewidywań przyszłej dynamiki, co czyni je obydwoma kontrolerami typu feed-forward. Przybliżony model leżący u podstaw tych ram pozwala na podejmowanie bardziej świadomych decyzji pomiędzy badaniami, co skutkuje sterowaniem, które jest bliższe prawdziwemu optimum. Dokładne prognozy pozwalają uniknąć ciągłych lub bardzo częstych badań, które mogą być drogie lub stanowić wyzwanie logistyczne. Jak omówiono wcześniej, powtarzające się aktualizacje w pętli sprzężenia zwrotnego MPC poprawiają te przewidywania, a tym samym wydajność sterowania. Jednakże, każda aktualizacja będzie wymagała nadzoru rzeczywistego systemu, więc częstotliwość aktualizacji musi być tak dobrana, aby zrównoważyć lepszą znajomość systemu z wszelkimi ograniczeniami nadzoru.

W tym artykule skupiliśmy się na podejściu top-down, znajdując solidne, praktycznie stosowane strategie poprzez wykorzystanie OCT do optymalizacji modeli symulacyjnych. Podobnie, wiele badań wykorzystuje OCT bez modeli symulacyjnych, rzadko rozważając praktyczne zastosowanie uzyskanych optymalnych kontroli. Przy takim oddolnym podejściu, system testowania wyników na realistycznych systemach jest niezbędny, aby zapewnić, że wyniki te są odporne na dodatkowy realizm. Wykorzystanie ram MPC, jak rozważane tutaj, mogłoby być jednym ze sposobów, w jaki badacze OCT mogliby zademonstrować potencjalny wpływ swojej pracy szerszej publiczności.

Wyczerpujące testowanie alternatywnych parametryzacji modelu symulacyjnego wykracza poza zakres tego badania, ale ogólnie stwierdzamy, że przestrzenne MPC również działa najlepiej w innych rozsądnych zestawach parametrów (elektroniczny materiał uzupełniający, S3). W całym opracowaniu założyliśmy, że można zbudować dokładny model symulacyjny rzeczywistego systemu i że można dopasować pojedynczy zestaw parametrów dla wybranego deterministycznego modelu przybliżonego. W rzeczywistości, może istnieć znaczna niepewność w parametrach symulatora, więc dopasowanie pojedynczego modelu deterministycznego może być wyzwaniem. Pytanie dla przyszłych badań byłoby jak radzić sobie z tymi niepewnościami, być może również włączając lepszą wiedzę o parametrach w miarę postępu symulacji. Strategie znalezione przez OCT są wysoce zależne od dokładnej formy funkcji celu, którą wybraliśmy tutaj jako bardzo prostą. Rozszerzenie celu, aby uwzględnić koszty związane z kontrolą, jak również z każdym przełączeniem strategii, pozwoliłoby na bardziej szczegółową ocenę praktyczności wdrożenia tych złożonych strategii. Potrzebne są dalsze badania nad tym, jak określić ilościowo bilansowanie bardzo różnych kosztów, na przykład kosztów leczenia i obciążenia chorobą. W przypadku chorób ludzkich analizy efektywności kosztowej są zazwyczaj oparte na latach życia skorygowanych o jakość. Podobna koncepcja może być stosowana w przypadku chorób roślin i zwierząt, w tym obliczenia strat w plonach, jak również wpływ na dobrobyt, różnorodność biologiczną i turystykę, na przykład . Metody, które opisaliśmy, nie są jednak zależne od formy funkcji kontrolnej lub funkcji celu. Dla odpowiedniego modelu przybliżonego, sprzężenie zwrotne w MPC zapewnia dokładne prognozy i dlatego powinno zawsze poprawiać wydajność w stosunku do pętli otwartej. Opisane przez nas ramy mogą być wykorzystane do zapewnienia dodatkowego, bezstronnego scenariusza kontroli do procesu testowania strategii, który jest już w powszechnym użyciu.

W niniejszej pracy wykazaliśmy, że sprzężenie sterowania ze sprzężeniem zwrotnym z modelami symulacyjnymi i OCT może pomóc w zaprojektowaniu skutecznych i solidnych strategii interwencyjnych do zarządzania patogenami populacji ludzkich, zwierzęcych i roślinnych. Podczas gdy te techniki mogą być w stanie przenieść wyniki optymalnej kontroli do bardziej realistycznych symulacji, a więc do praktycznego zastosowania, znalezione strategie podnoszą kwestię komunikatywności wyników. Przy złożonych strategiach sprzężenia zwrotnego pomiędzy dwoma modelami, z których jeden ma złożoną strukturę, a drugi jest skomplikowany matematycznie, ogólny wynik nie jest już prosty do wyjaśnienia. Przyszłe badania muszą zatem skupić się na poprawie dokładności modeli symulacyjnych i analizie ich wiarygodności, tak aby symulacje mogły być wykorzystane do ostatecznego ustalenia korzyści płynących z tych złożonych strategii opartych na OCT.

Dostępność danych

Wszystkie kody i animacje są dostępne na stronie https://github.com/ehbussell/Bussell2018Model.

Wkład autorów

Konkurencyjne interesy

Nie mamy konkurencyjnych interesów.

Funding

E.H.B. przyznaje Biotechnology and Biological Sciences Research Council of the United Kingdom (BBSRC) for support via a University of Cambridge DTP PhD studentship.

Footnotes

Jeden wkład 16 do numeru tematycznego „Modelling infectious disease outbreaks in humans, animals and plants: epidemic forecasting and control”.

Elektroniczne materiały uzupełniające są dostępne online pod adresem https://dx.doi.org/10.6084/m9.figshare.c.4462796.

.