Niezalena analiza komponentów



Informacje, które udało nam się zgromadzić na temat Niezalena analiza komponentów, zostały starannie sprawdzone i uporządkowane, aby były jak najbardziej przydatne. Prawdopodobnie trafiłeś tutaj, aby dowiedzieć się więcej na temat Niezalena analiza komponentów. W Internecie łatwo zgubić się w gąszczu stron, które mówią o Niezalena analiza komponentów, a jednocześnie nie podają tego, co chcemy wiedzieć o Niezalena analiza komponentów. Mamy nadzieję, że dasz nam znać w komentarzach, czy podoba Ci się to, co przeczytałeś o Niezalena analiza komponentów poniżej. Jeśli informacje o Niezalena analiza komponentów, które podajemy, nie są tym, czego szukałeś, daj nam znać, abyśmy mogli codziennie ulepszać tę stronę.

.

Niezalena analiza skadowych (w jzyku angielskim, niezalenej analizy skadowych lub ICA ) jest metod analizy danych (patrz eksploracji danych ) wchodzce w statystykach , e sieci neuronowe i przetwarzania sygnaów . Jest dobrze znana i historycznie znana jako metoda separacji ze róda lepego, ale zostaa nastpnie zastosowana do rónych problemów. Gówne skadki zebrano w ksice wydanej w 2010 roku przez P.Comona i C. Juttena.

Historyczny

Pierwsze sformuowanie problemu zostao sformuowane w 1984 r. Przez J. Héraulta i B. Ansa, dwóch badaczy zajmujcych si neuronaukami i przetwarzaniem sygnaów, w celu biologicznego modelowania kodowania ruchu. Praca ta utorowaa drog do sformuowania problemu separacji róda lepego . Spoeczno powstaa wokó tego tematu w drugiej poowie lat 80., gównie we Francji i Finlandii. Francuska spoeczno zajmujca si przetwarzaniem sygnaów przyja formalizm statystyczny, podczas gdy fiscy badacze dyli do rozszerzenia analizy gównych skadowych za pomoc formalizmu koneksjonistycznego . Algorytm zaproponowany w 1985 roku by zaskakujco solidny, ale teoretyczne wyjanienia jego waciwoci byy niepene. Pierwszy formalizm problemu separacji róda lepego , a take algorytm umoliwiajcy uzyskanie rozwizania zaproponowali C. Jutten i J. Hérault w 1991 roku. Przeprowadzono formalizacj matematyczn w najprostszym przypadku (liniowa migawka mieszania). w 1994 przez P. Comona, prowadzc do koncepcji niezalenej analizy skadowej .

Badania w tej dziedzinie stay si bardzo aktywne od lat 90. XX wieku, a problemem zainteresowali si badacze z caego wiata. Oprócz wyej wymienionych europejskich zespoów badacze amerykascy i japoscy byli zainteresowani zwizkiem midzy ACI a kodowaniem neuronowym . Istnieje kilka specjalistycznych prac, podajcych szczegóy niektórych proponowanych rozwiza, jak równie teoretyczne rozwinicia z nimi zwizane.

Midzynarodowa konferencja powicona konkretnie temu tematowi istnieje od 1999 roku. Pocztkowo miaa odbywa si co 18 miesicy, a obecnie ma charakter coroczny. Pierwsze edycje odbyy si w Aussois (Francja, 1999), Helsinkach (Finlandia, 2000), San Diego (Kalifornia, 2001), Nara (Japonia, 2003), Granadzie (Hiszpania, 2004), Charleston (Karolina Poudniowa, Stany Zjednoczone, 2006), Londyn (Wielka Brytania, 2007) i Paraty (Brazylia, 2009).

Separacja róde (problem z koktajlami)

Klasyczn ilustracj separacji u róda jest problem koktajli . Podczas takiego wieczoru mikrofony ustawiane s w gstej sali, w której ludzie dyskutuj w rónej wielkoci grupach. Kady mikrofon rejestruje naoenie si przemówie ludzi wokó niego, a problem polega na odnalezieniu gosu kadej osoby (uwolniony od innych gosów uznanych za ingerencj).

ACI rozwizuje ten problem po prostu biorc pod uwag, e ludzie przemawiajcy w danym czasie maj niezalene przemówienia. Nie chodzi o uwzgldnienie semantyki tych wystpie (mona rzeczywicie mie nadziej, e niektóre gosy s spójne na tym poziomie!), Ani nawet o akustyk (co byoby bdne, gdyby tylko rozmówcy mieli identyczne jzyki. ..), ale traktowa je jako statystycznie niezalene sygnay losowe . W przeciwiestwie do chóru osoby, które mówi w tym samym czasie, wydaj niezalene dwiki .

Teoria zapewniajca ten wynik stawia jednak pewne zaoenia, w szczególnoci, e liczba mikrofonów jest wiksza lub równa liczbie osób. Symetrycznie istniej równie niepewnoci co do wyniku (oddzielne gosy). Mona je interpretowa w nastpujcy sposób:

  • nie mona przypisywa gosów osobom, które znaj tylko znalezione sygnay (ale ludzki suchacz mógby). Innymi sowy, nie znamy kolejnoci znalezionych sygnaów.
  • nie znamy intensywnoci gosu mówców. Zostanie to przydzielone arbitralnie, a ludzki suchacz moe polega tylko na tonie gosu i wiedzy osoby, która go okrela.

Ze wzgldów historycznych i edukacyjnych ACI jest czsto wprowadzane jako rozwizanie umoliwiajce rozwizanie problemu wyodrbnienia róde . Istniej jednak inne metody rozwizania tego problemu, które nie opieraj si cile na zaoeniu statystycznej niezalenoci midzy ródami ( na przykad oszczdno ).

Formalizm matematyczny

W najprostszym przypadku ( chwilowy model liniowy bez szumu) teoria jest bardzo dobrze opanowana. Jednak ten model mieszania czsto wydaje si zbyt restrykcyjny, aby modelowa praktyczne przypadki. Prace nad bardziej zoonymi modelami mieszania s do tej pory przedmiotem aktywnych bada.

Bezszumowy chwilowy model liniowy

W przypadku wybrania informacji wzajemnej jako szczególnej funkcji kontrastu niezalena analiza skadowych wektora losowego sprowadza si do zidentyfikowania nastpujcego bezszumowego chwilowego liniowego modelu generatywnego:

gdzie skadowe wektora s wzajemnie niezalene, a macierz ma stay rozmiar . Niemniej jednak, aby mie pewno, e model znajdziemy (teoretycznie), naley zweryfikowa nastpujce warunki identyfikowalnoci :

  • co najwyej jedno ze róde (skadowych ) moe mie rozkad normalny (Gaussa),
  • pozycja macierzy musi by równa liczbie róde (do znalezienia).

Pierwszy warunek wynika z niewanoci momentów i skumulowanych rzdów wikszych ni dwa dla rozkadu Gaussa. Niezaleno sprowadza si wic do prostej dekorelacji, a hipoteza o statystycznej niezalenoci nie pozwala na rozdzielenie róde Gaussa. Moliwe jest jednak znalezienie innych róde niegaussowskich.

Drugi warunek wymaga obserwacji co najmniej tylu danych, ile jest róde do zidentyfikowania. Jednak praca nad oszczdnymi reprezentacjami pokazaa, e moliwe jest wydobycie wikszej liczby róde ni dostpnych obserwacji. I odwrotnie, zawsze mona zmniejszy rozmiar dostpnych obserwacji, na przykad za pomoc analizy gównych skadowych (PCA).

Jednak gdy te dwa warunki identyfikowalnoci zostan zweryfikowane, pozostaj dwie niepewnoci :

  • Zmiana kolejnoci róde nie zmienia ich wzajemnej niezalenoci. W konsekwencji róda zidentyfikowane przez ACI nie s uporzdkowane (w przeciwiestwie do PCA, gdzie róda s uporzdkowane zgodnie z wartociami wasnymi macierzy wariancji / kowariancji)
  • Statystyczn niezaleno zachowuje si, gdy skadniki s pomnoone przez niezerow sta. Innymi sowy, istnieje nieokrelono amplitudy róde.

Te dwa okrelenia nie s specyficzne dla bezszumowego chwilowego modelu liniowego i s weryfikowane w ogólnym przypadku.

Haaliwy chwilowy model liniowy

Bardziej realistycznie ni w poprzednim modelu sprowadza si to do identyfikacji nastpujcego modelu:

gdzie jest haas.

Non-momentalny model liniowy

Mieszanina moe by konwolucyjna. Niemniej jednak moemy nastpnie zredukowa do modelu liniowego, uywajc na przykad transformaty Fouriera .

Mieszaniny nieliniowe

Jest to najbardziej ogólny przypadek, w którym obserwacje wynikaj z nieliniowej transformacji róde:

gdzie jest dowolna funkcja nieliniowa. Nie znamy ogólnej metody w tym przypadku. Niektórzy autorzy zaproponowali jednak metody dla okrelonych przypadków. To bardzo aktywny obszar bada. W najbardziej ogólnym przypadku problem le postawionego rozwizania wcale nie jest wyjtkowy.

Gówne algorytmy

Celem tej sekcji jest przedstawienie gównych pomysów dotyczcych najbardziej znanych algorytmów rozwizywania problemu ACI. Algorytmy te zostay wybrane tak, aby przedstawi zrónicowany zestaw podej. W literaturze naukowej mona znale wiele innych metod.

Rozwaamy tutaj bezszumowy chwilowy model liniowy i poszukujemy oszacowania niezalenych róde oraz macierzy separacji weryfikujcej:

Algorytm HJ

Pierwszy algorytm ACI (nazwany na cze dwóch jego autorów) wywodzi si z podejcia neuromimetycznego : polega na wykorzystaniu narzdzi przetwarzania sygnaów do modelowania zjawiska inspirowanego funkcjonowaniem neuronów. Ten algorytm by typu Robinsa-Monro i iteracyjnie szuka wspólnych zer dwóch funkcji. Opiera si na rekurencyjnej sieci neuronowej, której wagi s niediagonalnymi warunkami macierzy separacji , przy czym wyrazy diagonalne s ograniczone do niewanoci. Oszacowanie róda jest wic podane przez:

Z nastpujc regu adaptacji dla terminów innych ni diagonalne:

i bdc rónymi nieparzystymi funkcjami nieliniowymi, które maj by wybrane jako funkcja gstoci prawdopodobiestwa róde, które maj by oszacowane. Kolejne prace uzasadniy form tej zasady uczenia si i pokazay, e nieliniow funkcj naley wybra w sensie najwikszego prawdopodobiestwa . Miar niezalenoci lec u podstaw tego algorytmu jest anulowanie kumulantów wyszego rzdu.

Maksymalizacja kontrastu (CoM)

Ta rodzina algorytmów zostaa zaproponowana przez Comon w 1991 roku. Algorytmy te przechodz przez skanowanie kolejno wszystkich par wyników. Algorytm CoM moe obliczy wszystkie skumulowane obserwacje (takie jak JADE) lub na danie, za kadym razem, gdy obliczana jest optymalna rotacja. Wyboru mona dokona w taki sposób, aby zminimalizowa cyfrow zoono.

Zaproponowano kilka wersji, w zalenoci od zastosowanego kontrastu. W 1991 r. Bya to na przykad suma moduów kwadratowych kracowych kumulantów wyników: ten kontrast nazywa si teraz CoM2. Póniej Moreau zaproponowa inny kontrast, CoM1: sum moduów kracowych kumulantów wyników. Gdy róda maj kracowe kumulacje, wszystkie o tym samym znaku, wykazano, e warto bezwzgldn mona usun. To uproszczenie dao pocztek innym zwartym rozwizaniom algebraicznym opracowanym przez Comon.

Póniej w literaturze zaproponowano inne, bardziej ogólne formy kontrastu oparte na kumulantach.

JADEIT

( Wspólna przybliona diagonalizacja macierzy wasnych )

Napinacz z kumulanty (za cztery) jest matryca zawierajca wszystkie cztery wymiarach skrzyowane póniezmiennika porzdku cztery. Jest to równie liniowa mapa przestrzeni macierzowej jednego rozmiaru na inn przestrze macierzow o jednakowym rozmiarze. Diagonalizacja tego liniowego zastosowania umoliwia wykonanie danego rozdzielenia w okrelonych warunkach. Istotnie, statystyczna niezaleno jest tutaj postrzegana jako denie do niewanoci wszystkich momentów i kumulantów (we wszystkich rzdach), co sprowadza si do anulowania wszystkich niediagonalnych elementów macierzy zwizanych z wspomnian map liniow. Cardoso i Souloumiac zaproponowali wspóln metod diagonalizacji, umoliwiajc zastosowanie tej zasady w praktyce. Sprowadza si to do zminimalizowania sumy kwadratów wszystkich kumulantów poza przektn (do rzdu czterech) (kumulacja midzy dwoma rónymi sygnaami). W praktyce JADE wymaga obliczenia wszystkich kumulantów rzdu czwartego, a zatem ma zoono .

Fast-ICA

Hyvärinen i Oja proponuj oszacowanie niezalenych skadników za pomoc miary nie-Gaussa. Rzeczywicie, centralne twierdzenie graniczne stwierdza, e suma zmiennych niezalenych dy asymptotycznie do rozkadu normalnego . W rozwaanym przypadku oszacowania s tak sum zmiennych niezalenych ( ), a zatem maj tendencj do rozkadu Gaussa . Starajc si zmaksymalizowa niegaussowsko , kady z jej skadników bdzie dy do oszacowania niezalenych róde (z wyjtkiem dwóch nieokrelonych). Zaproponowano kilka miar niegaussowskich, z których najczciej stosowan jest negentropia, która jest rónic midzy entropi zmiennej Gaussa a entropi mierzonego wektora. Hyvärinen zaproponowa róne przyblienia tej miary, pozwalajce na algorytmiczn implementacj ujawnionej zasady.

Aby zapobiec zbienoci wszystkich szacunków w kierunku tego samego róda, konieczne jest naoenie ortogonalnoci (przy ograniczeniu wybielania sprowadza si to do dekorelacji danych, na przykad za pomoc analizy skadowej gównej ). Istniej dwie metody narzucenia tej ortogonalnoci. Tak zwana wersja deflacyjna iteracyjnie szacuje róda i ortogonalizuje kade oszacowanie za pomoc metody Grama-Schmidta . Wersja symetryczna jednoczenie ortogonalizuje wszystkie oszacowania.

Fast-ICA podkrela zatem silne powizania midzy niezalen analiz komponentów a realizacj projekcji .

Infomax

Zasada ta, sformuowana przez Linskera, zakada, e realizacja modelu zdolnoci poznawczych ssaków za pomoc sztucznych sieci neuronowych musi by taka, aby szybko przesyania informacji z jednej warstwy neuronów do nastpnej bya maksymalna. Ten wskanik informacji mona w szczególnoci zmierzy za pomoc entropii, gdy spojrzymy na formalizm Shannona .

Nadal i Parga wykazali, e w pewnych warunkach zasada ta jest równowana z zasad redukcji nadmiarowoci, która stwierdza, e celem systemów sensorycznych ssaków jest efektywne kodowanie bodców (wizualnych, dwikowych itp.). Ponowne umieszczenie si w formalizmie Shannona sprowadza si do zminimalizowania nadmiarowoci informacji w ich rodowisku i uzyskania kodowania czynnikowego (tj. Kodowania, które minimalizuje zalenoci statystyczne midzy wymiarami, zwane take kodowaniem minimalnej entropii).

Bell i Sejnowsky wykorzystali t równowano, piszc:

gdzie jest wzajemna informacja midzy wyjciami i wejciami sieci neuronowej, parametry tej sieci i entropia wyj. Powysza zaleno dokadnie wyraa, e maksymalizacja wzajemnej informacji o wynikach sieci (tj. Uzyskanie najbardziej wydajnego moliwego kodu silniowego) jest tym samym, co maksymalizacja informacji, która przechodzi przez sie.

Wyprowadzili regu uczenia parametrów sieci, która po pewnych uproszczeniach i zastosowaniu reguy typu gradient wzgldny wynosi:

K jest macierz diagonaln, której elementy s warte 1 dla róde nadgaussowskich i -1 dla róde subgaussowskich.

Wykazano, e podejcie to jest równowane podejciu opartemu na maksymalnym prawdopodobiestwie.

Zobacz te

Linki zewntrzne

Bibliografia

  1. P.Comon, C. Jutten, Handbook of Blind Source Separation, Independent Component Analysis and Applications , Academic Press, 2010. ( ISBN  978-0-12-374726-6 )
  2. J. Hérault i B. Ans, Sie neuronowa z modyfikowalnymi synapsami: dekodowanie zoonych komunikatów sensorycznych przez nienadzorowane i cige uczenie si, Comptes Rendus de l'Académie des Sciences Paris, seria 3 , 299: 525-528, 1984.
  3. J. Herault, Jutten C. i B. Years, Detection of prymitywne wielkoci w wiadomoci zoonej z architektur oblicze neuronowych w uczeniu si bez nadzoru, w Proceedings of the X th Conference GRETSI, vol. 2, Nicea, Francja, maj 1985, s. 10171022.
  4. C. Jutten i H. Hérault, lepa separacja róde, cz i: algorytm adaptacyjny oparty na architekturze neuromimetycznej, Przetwarzanie sygnau, tom. 24, s. 110, 1991
  5. Jutten, Ch. I Taleb, A. Wydzielenie róda: od zmierzchu do witu ICA 2000, strony 15-26 (referat na zaproszenie), Helsinki, Finlandia, czerwiec 2000.
  6. P. Comon, Niezalena analiza komponentów - nowa koncepcja Przetwarzanie sygnau, vol. 36, nie. 3, s. 287314, 1994.
  7. A. Hyvärinen, J. Karhunen i E. Oja, Independent Component Analysis. John Wiley and Son, 2001
  8. C. Jutten i J. Karhunen, Postpy w lepym ródle separacji (BSS) i niezalenej analizie skadników (ICA) dla mieszanin nieliniowych. International Journal of Neural Systems, tom. 14, nr 5, 2004, s. 267-292.
  9. P.Comon, C. Jutten i H. Hérault, lepa separacja róde, cz II: stwierdzenie problemu, Przetwarzanie sygnau, t. 24, s. 11-20,1991
  10. DT Pham, P. Garat. Przetwarzanie sygnau IEEE T, 45 (7): 1712-1725, 1997
  11. P. Comon, Contrasts, Independent Component Analysis i Blind Deconvolution, Int. Journal Adapt. Control Sig. Proc., Wiley, Apr. 2004. cze HAL
  12. Tong L., Inouye Y., Liu RW, wavefomr-preserving blind estymation of multiple niezalene sources , IEEE T. Signal Processing, 41 (7): 2461-2470, 1993
  13. Cardoso J.-F, Souloumiac A., Blind beamforming for non- gaussian signal , IEE postpowanie-F, 140 (6): 362-370, 1993
  14. Linsker R., Samoorganizacja w sieci percepcyjnej, IEEE Computer , 21: 105-117, 1988
  15. Nadal J ;-P., Parga N., Sie: obliczenia w systemach neuronowych , 5: 565-581, 1994
  16. Barlow HB, Komunikacja sensoryczna, wyd. WA Rosenblith, str. 217-34. Cambridge, MA: MIT press, 1961
  17. Bell T, Sejnowsky TJ, Neural Computation , 7: 1129-1159, 1995
  18. Cardoso J.-F, Laheld, IEEE T. Signal Processing , 44 (12): 3017-3030, 1996
  19. H. Le Borgne, Analiza scen wedug niezalenych komponentów , praca doktorska, INP Grenoble, 2004. Rozdzia 3.

Mamy nadzieję, że informacje, które zgromadziliśmy na temat Niezalena analiza komponentów, były dla Ciebie przydatne. Jeśli tak, nie zapomnij polecić nas swoim przyjaciołom i rodzinie oraz pamiętaj, że zawsze możesz się z nami skontaktować, jeśli będziesz nas potrzebować. Jeśli mimo naszych starań uznasz, że informacje podane na temat _title nie są całkowicie poprawne lub że powinniśmy coś dodać lub poprawić, będziemy wdzięczni za poinformowanie nas o tym. Dostarczanie najlepszych i najbardziej wyczerpujących informacji na temat Niezalena analiza komponentów i każdego innego tematu jest istotą tej strony internetowej; kierujemy się tym samym duchem, który inspirował twórców Encyclopedia Project, i z tego powodu mamy nadzieję, że to, co znalazłeś o Niezalena analiza komponentów na tej stronie pomogło Ci poszerzyć swoją wiedzę.

Opiniones de nuestros usuarios

Wiktoria Olejniczak

Nie wiem, jak dotarłem do tego artykułu o zmiennej, ale bardzo mi się podobał.

Adrian Szymański

Wpis _zmienna bardzo mi się przydał.

Leszek Dziedzic

Mój tata rzucił mi wyzwanie, abym odrobił pracę domową bez używania czegokolwiek z Wikipedii. Powiedziałem mu, że mogę to zrobić, przeszukując wiele innych witryn. Na szczęście znalazłem tę witrynę, a ten artykuł o zmiennej Niezalena analiza komponentów pomógł mi odrobić pracę domową. wpadłem w pokusę pójścia na Wikipedię, bo nie mogłem znaleźć nic o zmiennej _, ale na szczęście znalazłem ją tutaj, bo wtedy mój tata sprawdził historię przeglądania, żeby zobaczyć, gdzie był. przejdź do Wikipedii? Mam szczęście, że znalazłem tę stronę i artykuł o Niezalena analiza komponentów tutaj. Dlatego daję ci moje pięć gwiazdek.

Natalia Sawicki

Zawsze dobrze jest się uczyć. Dziękuję za artykuł o zmiennej Niezalena analiza komponentów