Wprowadzenie do Deconvolution

Deconvolution jest obliczeniowo intensywne techniki przetwarzania obrazu, który jest coraz częściej wykorzystywane do poprawy kontrastu i rozdzielczości obrazów cyfrowych przechwyconych w mikroskopie. Podstawy opierają się na zestawie metod, które mają na celu usunięcie lub odwrócenie rozmycia obecnego w obrazach mikroskopowych wywołanego przez ograniczoną aperturę obiektywu.

Niemal każdy obraz pozyskany w cyfrowym mikroskopie fluorescencyjnym może zostać zdekonwoluowany, a kilka nowych aplikacji jest rozwijanych, które stosują techniki dekonwolucji do obrazów światła przechodzącego zebranych w ramach różnych strategii zwiększania kontrastu. Wśród najbardziej odpowiednich przedmiotów do poprawy przez dekonwolucję są trójwymiarowe montaże skonstruowane z serii przekrojów optycznych.

Podstawowe koncepcje dotyczące pozyskiwania obrazów serii z do analizy dekonwolucji są przedstawione za pomocą schematu na rysunku 1. Rejestruje się serię obrazów próbki, z których każdy jest nieznacznie przesunięty względem siebie wzdłuż osi z. Ta zmiana płaszczyzny ogniskowej skutkuje nieco innym obrazem, z subtelnymi zmianami spowodowanymi nieostrym światłem pochodzącym z góry i z dołu aktualnej płaszczyzny z. Podczas analizy dekonwolucji, cała seria z jest analizowana w celu stworzenia wyraźniejszego, wyższej rozdzielczości zestawu danych, który nie jest zagmatwany przez nieostrą fluorescencję.

Dekonwolucja jest często sugerowana jako dobra alternatywa dla mikroskopu konfokalnego, ponieważ obie techniki dążą do zminimalizowania wpływu nieostrej fluorescencji na końcowy obraz. Nie jest to ścisła prawda, ponieważ obrazy uzyskane przy użyciu apertury pinhole w mikroskopie konfokalnym korzystają z przetwarzania dekonwolucji. Mikroskopia konfokalna zapobiega wykrywaniu nieostrego światła poprzez umieszczenie otworka pomiędzy obiektywem a detektorem, przez który mogą przechodzić tylko promienie świetlne znajdujące się w ognisku. W przeciwieństwie do tego, mikroskopy szerokopolowe pozwalają, aby nieostre światło przechodziło bezpośrednio do detektora. Dekonwolucja jest następnie stosowana do uzyskanych obrazów, aby albo odjąć nieostre światło, albo przypisać je z powrotem do źródła. Mikroskopia konfokalna szczególnie dobrze nadaje się do badania grubych okazów, takich jak embriony lub tussues, podczas gdy szerokopolowe przetwarzanie dekonwolucyjne okazało się być potężnym narzędziem do obrazowania okazów wymagających ekstremalnie niskiego poziomu oświetlenia. Narzędzia te mogą być nawet łączone w celu redukcji szumu w obrazach uzyskanych za pomocą mikroskopu konfokalnego. Jednakże, większość eksperymentów dekonwolucji opisanych w literaturze dotyczy obrazów zarejestrowanych w standardowym mikroskopie fluorescencyjnym szerokopolowym.

Źródła degradacji obrazu

Pogorszenie obrazu można podzielić na cztery niezależne źródła: szum, rozproszenie, odblaski i rozmycie. Rysunek 2 przedstawia przykłady wizualnego wpływu każdego z nich na ten sam obraz.

Szum można opisać jako quasi-losowe rozproszenie szczegółów w obrazie, które (w swojej najpoważniejszej formie) ma wygląd białego szumu lub szumu typu „sól i pieprz”, podobnego do tego, co można zobaczyć w telewizji przy złym odbiorze (Rysunek 2(a)). Ten rodzaj szumu jest określany jako „quasi-losowy”, ponieważ rozkład statystyczny może być przewidziany, jeśli znana jest mechanika źródła. W mikroskopii cyfrowej, głównym źródłem szumu jest albo sam sygnał (często określany jako szum strzału fotonu) albo cyfrowy system obrazowania. Mechanika obu źródeł szumu jest zrozumiała i dlatego znany jest statystyczny rozkład szumu. Szum zależny od sygnału może być scharakteryzowany rozkładem Poissona, podczas gdy szum pochodzący z systemu obrazowania często ma rozkład gaussowski. Ponieważ źródło i rozkład wspólnego szumu w obrazach cyfrowych jest tak dobrze zrozumiany, może być łatwo usunięty przez zastosowanie odpowiednich filtrów obrazu, które są zwykle zawarte w większości pakietów oprogramowania do dekonwolucji jako opcjonalna procedura „wstępnego przetwarzania”.

Rozproszenie jest zwykle określane jako losowe zaburzenie światła wywołane przez zmiany współczynnika załamania światła w całej próbce. Efektem netto rozproszenia jest prawdziwie losowy rozkład szczegółów obrazu, jak pokazano na rysunku 2(b). Pomimo, że nie opracowano w pełni satysfakcjonującej metody przewidywania rozproszenia światła na danej próbce, wykazano, że stopień rozproszenia światła zależy w dużym stopniu od grubości próbki oraz właściwości optycznych próbki i otaczających ją materiałów osadzonych. Rozproszenie wzrasta zarówno z grubością próbki jak i z heterogenicznością współczynnika załamania światła prezentowanego przez wewnętrzne elementy próbki.

Podobnie do rozproszenia, odblaski są przypadkowymi zaburzeniami światła, ale występują w elementach optycznych (soczewki, filtry, pryzmaty, itp.) mikroskopu, a nie w próbce. Poziom odblasków w nowoczesnym mikroskopie został zminimalizowany dzięki zastosowaniu soczewek i filtrów z powłokami antyrefleksyjnymi, a także dzięki udoskonaleniu technik formowania soczewek, cementów optycznych i składu szkła. Rysunek 2(c) ilustruje efekt niekontrolowanego odblasku.

Rozmycie jest opisywane przez nielosowe rozprzestrzenianie się światła, które występuje podczas przechodzenia przez tor optyczny systemu obrazowania (Rysunek 2(d)). Najbardziej znaczącym źródłem rozmycia jest dyfrakcja, a obraz, którego rozdzielczość jest ograniczona tylko przez rozmycie, jest uważany za ograniczony dyfrakcyjnie. Stanowi to nieodłączne ograniczenie każdego systemu obrazowania i jest czynnikiem decydującym przy ocenie granicy rozdzielczości systemu optycznego. Na szczęście, dostępne są zaawansowane modele rozmycia w mikroskopie optycznym, które mogą być wykorzystane do określenia źródła fotonów nieostrych. Jest to podstawa dekonwolucji. Ze względu na jego fundamentalne znaczenie w dekonwolucji, teoretyczny model rozmycia zostanie omówiony znacznie bardziej szczegółowo w innych częściach tego rozdziału. Należy jednak podkreślić, że wszystkie systemy obrazowania wytwarzają rozmycie niezależnie od innych form degradacji obrazu wywołanych przez preparat lub towarzyszącą mu elektronikę instrumentalną. To właśnie ta niezależność optycznego rozmycia od innych rodzajów degradacji umożliwia możliwość usuwania rozmycia przez techniki dekonwolucji.

Interakcja światła z materią jest podstawowym fizycznym źródłem rozproszenia, odblasku i rozmycia. Jednakże, skład i układ cząsteczek w danym materiale (czy to szkło, woda, lub białka) nadaje każdemu materiałowi jego własny szczególny zestaw właściwości optycznych. Dla celów dekonwolucji, to co odróżnia rozproszenie, odblaski i rozmycie to lokalizacja, w której występują oraz możliwość wygenerowania modelu matematycznego dla tych zjawisk. Ponieważ rozproszenie jest zlokalizowanym, nieregularnym zjawiskiem występującym w próbce, okazało się ono trudne do modelowania. Z drugiej strony, ponieważ rozmycie jest funkcją systemu optycznego mikroskopu (głównie obiektywu), może być modelowane w stosunkowo prosty sposób. Taki model umożliwia matematyczne odwrócenie procesu rozmycia, a dekonwolucja wykorzystuje ten model do odwrócenia lub usunięcia rozmycia.

Funkcja rozproszenia punktu

Model rozmycia, który rozwinął się w optyce teoretycznej, oparty jest na koncepcji trójwymiarowej funkcji rozproszenia punktu (PSF). Koncepcja ta ma fundamentalne znaczenie dla dekonwolucji i powinna być jasno zrozumiana w celu uniknięcia artefaktów obrazowania. Funkcja rozchodzenia się punktów opiera się na nieskończenie małym punktowym źródle światła pochodzącym z przestrzeni próbki (obiektu). Ponieważ system obrazowania mikroskopu zbiera tylko ułamek światła emitowanego przez ten punkt, nie może on skupić światła w doskonały trójwymiarowy obraz punktu. Zamiast tego, punkt wydaje się poszerzony i rozprzestrzeniony w trójwymiarowy wzór dyfrakcyjny. Tak więc, funkcja rozrzutu punktu jest formalnie zdefiniowana jako trójwymiarowy wzór dyfrakcji generowany przez idealne punktowe źródło światła.

Zależnie od wykorzystywanego trybu obrazowania (szerokie pole, konfokalny, światło przechodzące), funkcja rozrzutu punktu ma inny i unikalny kształt i kontur. W mikroskopie fluorescencyjnym szerokopolowym, kształt funkcji rozrzutu punktu przypomina podłużną „piłkę” świetlną otoczoną flarą rozszerzających się pierścieni. Aby opisać funkcję rozproszenia punktu w trzech wymiarach, często stosuje się układ współrzędnych składający się z trzech osi (x, y i z), gdzie x i y są równoległe do płaszczyzny ogniskowej próbki, a z jest równoległe do osi optycznej mikroskopu. W tym przypadku, funkcja rozrzutu punktu pojawia się jako zbiór koncentrycznych pierścieni w płaszczyźnie x-y i przypomina klepsydrę w płaszczyznach x-z i y-z (jak pokazano na Rysunku 3). Przekrój x-y przez środek funkcji rozrzutu punktu szerokiego pola ujawnia zestaw koncentrycznych pierścieni: tak zwany dysk Airy’ego, który jest powszechnie przywoływany w tekstach dotyczących klasycznej mikroskopii optycznej.

Dwa rzuty x-z funkcji rozrzutu punktu pokazujące różne stopnie aberracji sferycznej są przedstawione na Rysunku 3. Oś optyczna jest równoległa do osi pionowej obrazu. Funkcja rozrzutu punktu po lewej stronie wykazuje minimalną aberrację sferyczną, podczas gdy funkcja po prawej stronie wykazuje znaczny stopień aberracji. Należy zauważyć, że asymetria osiowa i poszerzenie węzła centralnego wzdłuż osi optycznej na obrazie po prawej stronie prowadzi do pogorszenia rozdzielczości osiowej i rozmycia sygnału. W teorii wielkość funkcji rozrzutu punktów jest nieskończona, a całkowite zsumowane natężenie światła w płaszczyznach odległych od ogniska jest równe zsumowanemu natężeniu w ognisku. Jednak natężenie światła szybko spada i w końcu staje się nie do odróżnienia od szumu. W niezniekształconej funkcji rozproszenia punktów zarejestrowanej za pomocą obiektywu olejowego o wysokiej aperturze numerycznej (1,40) światło zajmujące 0,2 mikrometra kwadratowego w płaszczyźnie ogniska jest rozproszone na 90 razy większy obszar 1 mikrometra powyżej i poniżej ogniska. Próbka użyta do zarejestrowania obrazów funkcji rozproszenia punktu była fluorescencyjną kulką o średnicy 0,1 mikrometra zamontowaną w glicerolu (współczynnik załamania światła równy 1,47), z olejkami immersyjnymi o współczynnikach załamania światła podanych na rysunku.

Ważną kwestią jest to, jak funkcja rozproszenia punktu wpływa na tworzenie obrazu w mikroskopie. Teoretyczny model powstawania obrazu traktuje funkcję rozrzutu punktu jako podstawową jednostkę obrazu. Innymi słowy, funkcja rozpraszania punktów jest dla obrazu tym, czym cegła dla domu. Najlepszym obrazem, jaki może być, jest złożenie funkcji rozrzutu punktów i zwiększenie powiększenia nie zmieni tego faktu. Jak zauważono podręcznik optyki teoretycznej (Born i Wolf: Principles of Optics) wyjaśnia, „To jest niemożliwe, aby wydobyć szczegóły nieobecne w pierwotnym obrazie poprzez zwiększenie mocy okularu, dla każdego elementu pierwotnego obrazu jest mały wzór dyfrakcji, a rzeczywisty obraz, jak widziany przez okular, jest tylko zespół powiększonych obrazów tych wzorów”.

Jako przykład, rozważ populację sub-rozdzielczości fluorescencyjnych kulek umieszczonych pomiędzy szkiełkiem nakrywkowym i mikroskopem. Zogniskowany obraz tego okazu ujawnia chmurę kropek, która w rzeczywistości jest dyskiem otoczonym przez mały zestaw pierścieni (w efekcie dysk Airy’ego; patrz Rysunek 4(a)). Jeśli próbka zostanie nieco odsunięta od ogniska, w miejscu, gdzie na zogniskowanym obrazie znajdowała się każda kropka, pojawi się większy zestaw koncentrycznych pierścieni (Rysunek 4(b)). Po zebraniu trójwymiarowego obrazu próbki, dla każdego z koralików rejestrowana jest pełna funkcja rozrzutu punktów. Funkcja rozrzutu punktu opisuje, co dzieje się z każdym punktowym źródłem światła po jego przejściu przez system obrazowania.

Opisany właśnie proces rozmycia jest matematycznie modelowany jako konwolucja. Operacja konwolucji opisuje zastosowanie funkcji rozproszenia punktów do każdego punktu w próbce: światło emitowane z każdego punktu obiektu jest konwertowane z funkcją rozproszenia punktów w celu uzyskania ostatecznego obrazu. Niestety, konwolucja ta powoduje, że punkty próbki stają się rozmytymi obszarami obrazu. Jasność każdego punktu na obrazie jest liniowo związana z fluorescencją każdego punktu na próbce. Ponieważ funkcja rozrzutu punktu jest trójwymiarowa, rozmycie wynikające z funkcji rozrzutu punktu jest z natury zjawiskiem trójwymiarowym. Obraz z dowolnej płaszczyzny ogniskowej zawiera rozmyte światło z punktów znajdujących się w tej płaszczyźnie zmieszane z rozmytym światłem z punktów pochodzących z innych płaszczyzn ogniskowych.

Sytuację można podsumować ideą, że obraz jest tworzony przez zwołanie próbki z funkcją rozrzutu punktów. Dekonwolucja odwraca ten proces i próbuje zrekonstruować próbkę z rozmytego obrazu.

Aberracje w funkcji rozrzutu punktu

Funkcja rozrzutu punktu może być zdefiniowana teoretycznie poprzez wykorzystanie matematycznego modelu dyfrakcji lub empirycznie poprzez uzyskanie trójwymiarowego obrazu fluorescencyjnej kulki (patrz Rysunek 3). Teoretyczna funkcja rozrzutu punktu ma zazwyczaj symetrię osiową i promieniową. W efekcie, funkcja rozrzutu punktu jest symetryczna powyżej i poniżej płaszczyzny x-y (symetria osiowa) i obrotowo wokół osi z (symetria radialna). Empiryczna funkcja rozprzestrzeniania się punktów może znacznie odbiegać od idealnej symetrii (jak przedstawiono na rysunku 3). Odchylenie to, częściej określane jako aberracja, powstaje w wyniku nieprawidłowości lub błędnego ustawienia dowolnego elementu układu optycznego systemu obrazowania, zwłaszcza obiektywu, ale może również wystąpić w przypadku innych elementów, takich jak zwierciadła, rozdzielacze wiązki, soczewki rurowe, filtry, diafragmy i przysłony. Im wyższa jakość komponentów optycznych i lepsze ustawienie mikroskopu, tym bardziej empiryczna funkcja rozrzutu punktu zbliża się do idealnego symetrycznego kształtu. Zarówno mikroskopia konfokalna jak i dekonwolucyjna zależą od tego, czy funkcja rozrzutu punktów jest jak najbliższa idealnego przypadku.

Najczęstszą aberracją spotykaną w mikroskopii optycznej, dobrze znaną każdemu doświadczonemu i profesjonalnemu mikroskopiście, jest aberracja sferyczna. Przejawem tej aberracji jest asymetria osiowa w kształcie funkcji rozrzutu punktów, z odpowiadającym jej wzrostem rozmiaru, szczególnie wzdłuż osi z (Rysunek 3). Skutkiem tego jest znaczna utrata rozdzielczości i intensywności sygnału. W praktyce, typowym źródłem aberracji sferycznej jest niedopasowanie współczynników załamania światła pomiędzy medium zanurzeniowym przedniej soczewki obiektywu a medium montażowym, w którym zanurzona jest próbka. Ogromny nacisk należy położyć na znaczenie minimalizacji tej aberracji. Chociaż dekonwolucja może częściowo przywrócić utraconą rozdzielczość, żadna ilość przetwarzania obrazu nie może przywrócić utraconego sygnału.

.