Articles /

Proces Grama-Schmidta

by Marco Taboga, PhD

Proces (lub procedura) Grama-Schmidta jest sekwencją operacji, które pozwalają na przekształcenie zbioru wektorów liniowo niezależnych w zbiór wektorów ortonormalnych, które obejmują tę samą przestrzeń, w której znajduje się zbiór oryginalny.

Table of Contents

Preliminaria

Dokonajmy przeglądu kilku pojęć, które są niezbędne do zrozumienia procesu Grama-Schmidta.

Przypomnijmy, że o dwóch wektorach $r$ i $s$ mówi się, że są ortogonalne wtedy i tylko wtedy, gdy ich iloczyn wewnętrzny jest równy zeru, czyli,

Biorąc pod uwagę iloczyn wewnętrzny, możemy zdefiniować normę (długość) wektora $s$ w następujący sposób:

Zbiór wektorów nazywamy ortonormalnym wtedy i tylko wtedy, gdy jego elementy mają normę jednostkową i są względem siebie ortogonalne. Innymi słowy, zbiór K wektorów jest ortonormalny wtedy i tylko wtedy, gdy

Udowodniliśmy, że wektory zbioru ortonormalnego są liniowo niezależne.

Gdy podstawa przestrzeni wektorowej jest jednocześnie zbiorem ortonormalnym, to nazywamy ją podstawą ortonormalną.

Projekcje na zbiorach ortonormalnych

W procesie Grama-Schmidta wielokrotnie korzystamy z następnej propozycji, z której wynika, że każdy wektor można rozłożyć na dwie części: 1) jego projekcję na zbiór ortonormalny oraz 2) resztę, która jest ortogonalna do danego zbioru ortonormalnego.

Propozycja Niech $S$ będzie przestrzenią wektorową wyposażoną w iloczyn wewnętrzny . Niech będzie zbiorem ortonormalnym. Dla dowolnego $sin S$, mamygdzie $arepsilon _{S}$ jest ortogonalny do $u_{k}$ dla dowolnego $k=1,ldot ,K.$

Proof

DefineThen, for each $j=1,ldots ,K$, we have thatwhere: w krokach $rame{A}$ i $rame{B}$ wykorzystaliśmy fakt, że iloczyn wewnętrzny jest liniowy w swoim pierwszym argumencie; w kroku $rame{C}$ wykorzystaliśmy fakt, że jeśli $keq j$, ponieważ mamy do czynienia ze zbiorem ortonormalnym; w kroku $rame{D}$ wykorzystaliśmy fakt, że norma $u_{j}$ jest równa 1. Zatem $arepsilon _{S}$, zgodnie z powyższą definicją, jest ortogonalny do wszystkich elementów zbioru ortonormalnego, co dowodzi prawdziwości tezy.

Wyraz nazywamy rzutem liniowym $s$ na zbiór ortonormalny , zaś wyraz $arepsilon _{S}$ nazywamy residuami rzutu liniowego.

Normalizacja

Innym, być może oczywistym faktem, który będziemy wielokrotnie wykorzystywać w procesie Grama-Schmidta jest to, że jeśli weźmiemy dowolny niezerowy wektor i podzielimy go przez jego normę, to wynikiem podziału jest nowy wektor, który ma normę jednostkową.

Innymi słowy, jeśli to, na mocy własności definitywności normy, mamy, że

W konsekwencji możemy zdefiniować i, na mocy pozytywności i absolutnej jednorodności normy, mamy

Przegląd procedury

Teraz, gdy wiemy jak znormalizować wektor i jak rozłożyć go na rzut na zbiór ortonormalny i resztę, jesteśmy gotowi do wyjaśnienia procedury Grama-Schmidta.

Zamierzamy przedstawić ogólny zarys procesu, po czym wyrazimy go formalnie jako tezę, a wszystkie szczegóły techniczne omówimy w dowodzie tej tezy.

Oto zarys.

Dany jest zbiór liniowo niezależnych wektorów .

Aby rozpocząć proces, normalizujemy pierwszy wektor, czyli definiujemy

W drugim kroku rzutujemy $s_{2}$ na $u_{1}$:gdzie $arepsilon _{2}$ jest resztą z rzutowania.

Następnie normalizujemy resztę:

Później udowodnimy, że (aby można było przeprowadzić normalizację), ponieważ wektory początkowe są liniowo niezależne.

Otrzymane w ten sposób dwa wektory $u_{1}$ i $u_{2}$ są ortonormalne.

W trzecim kroku rzutujemy $s_{3}$ na $u_{1}$ i $u_{2}$: i obliczamy resztę projekcji $arepsilon _{3}$.

Następnie normalizujemy ją:

Postępujemy w ten sposób, aż otrzymamy ostatnią znormalizowaną resztę $u_{K}$.

Na końcu procesu wektory tworzą zbiór ortonormalny, ponieważ:

  1. są one wynikiem normalizacji, a w konsekwencji mają normę jednostkową;

  2. każda $u_{k}$ jest otrzymana z reszt, które mają własność bycia ortogonalnymi do .

Aby uzupełnić ten przegląd, pamiętajmy, że rozpiętość liniowa to zbiór wszystkich wektorów, które można zapisać jako kombinacje liniowe ; oznaczamy ją przez i jest to przestrzeń liniowa.

Ponieważ wektory są liniowo niezależnymi kombinacjami , każdy wektor, który można zapisać jako kombinację liniową , można również zapisać jako kombinację liniową . Zatem rozpiętości tych dwóch zbiorów wektorów pokrywają się:

Stwierdzenie formalne

Sformalizujemy tu proces Grama-Schmidta w postaci propozycji, której dowód zawiera wszystkie szczegóły techniczne procedury.

Propozycja Niech $S$ będzie przestrzenią wektorową wyposażoną w iloczyn wewnętrzny . Niech będą wektorami liniowo niezależnymi. Wówczas istnieje zbiór wektorów ortonormalnych takich, żedla dowolnego $kleq K$.

Dowód

Dowód jest przez indukcję: najpierw dowodzimy, że teza jest prawdziwa dla $k=1$, a następnie dowodzimy, że jest prawdziwa dla ogólnego k, jeśli zachodzi dla $k-1$. Gdy $k=1$, wektor ma normę jednostkową i sam w sobie stanowi zbiór ortonormalny: nie ma innych wektorów, więc warunek ortogonalności jest trywialnie spełniony. Zbiór jest zbiorem wszystkich skalarnych wielokrotności $s_{1}$, które są jednocześnie skalarnymi wielokrotnościami $u_{1}$ (i odwrotnie). Wobec tego Załóżmy teraz, że teza jest prawdziwa dla $k-1$. Wtedy możemy rzutować $s_{k}$ na :gdzie reszta $arepsilon _{k}$ jest ortogonalna do . Załóżmy, że $arepsilon _{k}=0$. Wtedy,Ponieważ, z założenia, dla dowolnego $jleq k-1$, mamy, że dla dowolnego $jleq k-1$, gdzie $lfa _{jl}$ są skalarami. Zatem,Innymi słowy, założenie, że $arepsilon _{k}=0$ prowadzi do wniosku, że $s_{k}$ jest kombinacją liniową . Jest to jednak niemożliwe, gdyż jednym z założeń tej tezy jest to, że są liniowo niezależne. W konsekwencji musi być tak, że . Możemy zatem znormalizować resztę i zdefiniować wektor, który ma normę jednostkową. Wiemy już, że $arepsilon _{k}$ jest ortogonalny do . Wynika z tego, że również $u_{k}$ jest ortogonalny do . Zatem jest zbiorem ortonormalnym. Weźmy teraz dowolny wektor $sin S$, który można zapisać jako, gdzie są skalarami. Ponieważ, z założenia, mamy, że równanie (2) można też zapisać jakogdzie są skalarami, oraz: w kroku $rame{A}$ wykorzystaliśmy równanie (1); w kroku $rame{B}$ wykorzystaliśmy definicję $u_{k}$. Udowodniliśmy zatem, że każdy wektor, który można zapisać jako kombinację liniową można również zapisać jako kombinację liniową . Założenie (3) pozwala w całkowicie analogiczny sposób udowodnić, że jest odwrotnie:Innymi słowy, każda kombinacja liniowa jest również kombinacją liniową . Dowodzi to, że i kończy dowód.

Każda przestrzeń produktu wewnętrznego ma ortonormalną podstawę

Następująca propozycja przedstawia ważną konsekwencję procesu Grama-Schmidta.

Propozycja Niech $S$ będzie przestrzenią wektorową wyposażoną w iloczyn wewnętrzny . Jeśli $S$ ma skończony wymiar , to istnieje ortonormalna podstawa dla $S$.

Proof

Ponieważ $S$ jest skończenie wymiarowy, istnieje co najmniej jedna podstawa dla $S$, składająca się z K wektorów . Do tej podstawy możemy zastosować procedurę Grama-Schmidta i otrzymać zbiór ortonormalny . Ponieważ jest bazą, to rozciąga się na $S$. Zatem jest ortonormalną bazą $S$.

Rozwiązane ćwiczenia

Poniżej znajdziesz kilka ćwiczeń z objaśnionymi rozwiązaniami.

Ćwiczenie 1

Rozważmy przestrzeń $S$ wszystkich $3 razy 1$wektorów mających rzeczywiste wpisy i iloczyn wewnętrznygdzie $r,sin S$ oraz $s^{op }$ jest transpozycją $s$. Zdefiniuj wektor

Normalizuj $s$.

Rozwiązanie

Norma wektora $s$ wynosiDlatego, normalizacja $s$ wynosi

Ćwiczenie 2

Rozważmy przestrzeń $S$ wszystkich $2 razy 1$wektorów o rzeczywistych pozycjach i iloczynie wewnętrznymgdzie $r,sin S$ . Rozważmy dwa liniowo niezależne wektory

Przekształćmy je w zbiór ortonormalny za pomocą procesu Grama-Schmidta.

Rozwiązanie

Norma $s_{1}$ wynosi Więc, pierwszy wektor ortonormalny toIloczyn wewnętrzny $s_{2}$ i $u_{1}$ toRzut $s_{2}$ na $u_{1}$ toReszta z rzutu toNorma tej reszty toa znormalizowana reszta toTak więc, zbiór ortonormalny, którego szukaliśmy to

Jak cytować

Please cite as:

Taboga, Marco (2017). „Proces Grama-Schmidta”, Wykłady z algebry macierzy. https://www.statlect.com/matrix-algebra/Gram-Schmidt-process.

Leave a Reply