Regularyzacja Tichonowa

Tichonow uregulowanie jest metoda uregulowania najbardziej wykorzystywane do rozwiązywania problemów, które nie są dobrze określone i problem odwrotny . Wyobraził to sobie rosyjski matematyk Andriej Nikołajewicz Tichonow . W statystyce metoda ta znana jest również pod nazwą regression edge ( regresja grzbietowa ). Jest to związane z algorytmem Levenberg-Marquardt do rozwiązywania nieliniowych z najmniejszych kwadratów .

Rozwój

Problem

Klasyczne podejście do rozwiązywania układu przedokreślonych równań liniowych wyrażonych przez

{\ displaystyle A \ mathbf {x} = \ mathbf {b}}

jest znana jako metoda najmniejszych kwadratów i polega na zminimalizowaniu pozostałości

{\ Displaystyle \ | A \ mathbf {x} - \ mathbf {b} \ | ^ {2}}

gdzie jest norma euklidesowa . Jednak macierz $A$ może być słabo uwarunkowana lub nieodwracalna , co prowadzi do dużej liczby rozwiązań. ${\ Displaystyle \ | \ cdot \ |}$

Regularyzacja

Aby faworyzować określone rozwiązanie, które posiada właściwości, które wydają się istotne, w minimalizacji wprowadza się termin regularyzacyjny:

{\ Displaystyle \ | A \ mathbf {x} - \ mathbf {b} \ | ^ {2} + \ | \ Gamma \ mathbf {x} \ | ^ {2}}

„ Macierz Tichonowa ” $Γ$ musi być rozważnie dobrana do rozważanego problemu. x jest wektorem, który próbujemy wyrazić. x jest często dyskretyzowanym przybliżeniem funkcji ciągłej. W wielu przypadkach macierz $Γ$ jest macierzą tożsamości $Γ = I$ , co sprzyja rozwiązaniom z małymi normami. W innych przypadkach operatorów górnoprzepustowych , na przykład operator różnicy lub ważony operator Fouriera może być użyty w celu wyeliminowania szybkich zmian funkcji, jeśli istnieje dobry powód, by sądzić, że wektor x jest l przybliżeniem funkcji ciągłej.

Ta regularyzacja poprawia uwarunkowanie problemu, umożliwiając w ten sposób znalezienie rozwiązania numerycznego.

Rozwiązanie

Numeryczne rozwiązanie, które nazwiemy, to: ${\ hat {x}}$

{\ Displaystyle {\ kapelusz {x}} = (A ^ {T} A + \ Gamma ^ {T} \ Gamma) ^ {- 1} A ^ {T} \ mathbf {b}}

Efekt regularyzacji zależy od wyboru macierzy $Γ$ . Gdy $Γ$ jest równe zero, wracamy do przypadku nieregulowanego rozwiązania najmniejszych kwadratów, pod warunkiem, że istnieje $( A T A ) -1$ .

Regularyzacja uogólniona

{\ Displaystyle \ | A \ mathbf {x} - \ mathbf {b} \ | _ {P} ^ {2} + \ | \ mathbf {x} - \ mathbf {x} _ {0} \ | _ {Q } ^ {2} \,}

lub:

$x 0$ oznacza oczekiwanie $x$ ,
${\ displaystyle Q = \ Gamma ^ {T} \ Gamma}$ oznacza odwrotność macierzy kowariancji $x$ ,
$P.$ oznacza odwrotność macierzy kowariancji $b$ ,
${\ Displaystyle \ lewo \ | \ cdot \ prawo \ | _ {P} ^ {2}}$ oznaczają $x T P x$ , to znaczy kwadrat ważonej normy.

Uogólnione rozwiązanie

{\ Displaystyle {\ kapelusz {\ mathbf {x}}} = \ mathbf {x} _ {0} + (A ^ {T} PA + Q) ^ {- 1} A ^ {T} P (\ mathbf { b} -A \ mathbf {x} _ {0}). \,}

Źródła

(fr) Ten artykuł jest częściowo lub w całości zaczerpnięty z artykułu w angielskiej Wikipedii zatytułowanego „ Regularyzacja Tichonowa ” ( zobacz listę autorów ) , którego źródła:
- Tichonow AN, 1943, O stabilności problemów odwrotnych , Dokl. Akad. Nauk SSSR, 39, nr 5, 195-198
- Tichonow AN, 1963, Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji , Soviet Math Dokl 4, 1035-1038 Angielskie tłumaczenie Dokl Akad Nauk SSSR 151, 1963, 501-504
- Tikhonov AN and Arsenin VA, 1977, Solution of Ill- poseed Problems , Winston & Sons, Washington, ( ISBN 0-470-99124-0 ) .
- Hansen, PC, 1998, Rangi deficytu i dyskretne źle postawione problemy , SIAM
- Hoerl AE, 1962, Application of ridge analysis to regression problems , Chemical Engineering Progress, 58, 54-59.
- Foster M, 1961, Zastosowanie teorii wygładzania Wienera-Kołmogorowa do inwersji macierzy , J. SIAM, 9, 387-392
- Phillips DL, 1962, Technika numerycznego rozwiązania pewnych równań całkowych pierwszego rodzaju , J Assoc Comput Mach, 9, 84-97
- Tarantola A, 2004, Inverse Problem Theory ( bezpłatna wersja PDF ), Society for Industrial and Applied Mathematics, ( ISBN 0-89871-572-5 )
- Wahba, G, 1990, modele spline dla danych obserwacyjnych , SIAM