Lucene
Apache Lucene
Lucene to biblioteka open source napisana w Javie, która umożliwia indeksowanie i wyszukiwanie tekstu. Jest używany w niektórych wyszukiwarkach .
Jest to projekt fundacji Apache udostępniony na licencji Apache . Jest również dostępny dla języków Ruby , Perl , C ++ , PHP , C # , Python .
Historyczny
Lucene jest najpierw dodany przez Doug Cięcie na SourceForge.net miejscu wMarzec 2000. Następnie jest udostępniany na warunkach licencji GNU Lesser General Public License . Jego przeniesienie do Apache Jakarta zostało ogłoszone wPaździernik 2001.
Projekt Lucene pochodzi z książki Lucene in Action (Lucene in action) opublikowanej w grudniu 2004 roku . Została napisana wspólnie przez Erika Hatchera, jednego z kierowników projektów open source Ant , Lucene i Tapestry oraz przez Otisa Gospodnetic, aktywnego członka projektu Apache Jakarta.
Plik 14 lutego 2005, Lucene migruje do projektu Apache Jakarta . Baza kodu źródłowego jest konwertowana na kontroler wersji SVN .
poniedziałek 12 grudnia 2005, Grant Ingersol przedstawia studium przypadku w Javie na ApacheCon US, dotyczące zaawansowanego wykorzystania komponentów Lucene, w tym szczegółów technicznych dotyczących przetwarzania języka naturalnego .
Dziś Lucene jest używany jako wyszukiwarka bardzo dużej liczby produktów i stron internetowych na całym świecie.
Jak działa Lucene
Indeksacja
Aż do wybuchu internecie , klasyfikacji dziesiętnej Deweya był bardzo skuteczny w kategoryzacji obiektów w bibliotece. Jednak w Internecie masa dostępnych danych stała się tak gigantyczna, że konieczne jest teraz korzystanie z alternatywnych i bardziej dynamicznych sposobów wyszukiwania informacji.
Sercem wszystkich wyszukiwarek jest automatyczny mechanizm indeksowania : jednorazowe przetwarzanie surowych danych i udostępnianie ich wielu wysoce wydajnych łączy przyspiesza operację wyszukiwania. Koncepcja jest dość podobna do indeksu terminologicznego znajdującego się zwykle na końcu książki, który pozwala szybko znaleźć strony poświęcone zadanemu tematowi.
Jeśli potrzebujesz objąć duże pole plików lub znaleźć określony ciąg znaków w jednym pliku, nie powinieneś skanować każdego pliku sekwencyjnie w poszukiwaniu podanej frazy. Ponieważ im większa liczba plików, tym dłużej trwa wyszukiwanie informacji . Lepiej jest ustanowić indeks tekstowy w formacie umożliwiającym szybkie wyszukiwanie, co pozwala uniknąć metody sekwencyjnej. Ten proces nazywa się indeksowaniem .
Badania
Badań jest działanie patrząc słowa w indeksie znaleźć odniesienia do dokumentów, gdy się one pojawią. Jakość wyszukiwania jest oceniana na podstawie pozycji i trafności wyników. Istnieją jednak inne czynniki, które wpływają na wyszukiwanie. Szybkość jest decydującym czynnikiem w przetwarzaniu dużej ilości informacji. Podobnie, możliwość obsługi prostych lub złożonych zapytań, odpytywania zdań, znaków, pozycjonowania i sortowania wyników jest tak samo ważna, jak łatwa do nauczenia się składnia do wprowadzania tych zapytań.
Zajęcia
Poniższe sekcje zawierają krótkie wprowadzenie do głównych klas używanych do tworzenia tej wyszukiwarki.
Klasy indeksujące
-
IndexWriter - Klasa IndexWriter jest centralnym składnikiem procesu indeksowania. Ta klasa tworzy nowy indeks i dodaje dokumenty do istniejącego indeksu. Możemy myśleć o nim jako o obiekcie, za pomocą którego możemy pisać w indeksie, ale który nie pozwala na jego odczyt lub przeszukiwanie.
-
Directory - klasa Directory reprezentuje lokalizację indeksu Lucene. IndexWriter używa jednej z implementacji katalogu , FSDirectory , do tworzenia indeksu w katalogu w systemie plików . Inna implementacja, RAMDirectory , pobiera wszystkie swoje dane w pamięci. Może to być przydatne w przypadku mniejszych indeksów, które można w pełni załadować do pamięci i mogą zostać zniszczone po zakończeniu działania aplikacji.
-
Analizator - zanim tekst znajdzie się w indeksie, przechodzi przez Analizator. Jest to klasa abstrakcyjna, która służy do wyodrębniania ważnych słów dla indeksu i usuwania pozostałych. Ta klasa jest ważną częścią Lucene i może być używana do więcej niż tylko filtru wejściowego.
-
Document - klasa Document reprezentuje zbiór pól. Pola w dokumencie reprezentują dokument lub metadane powiązane z tym dokumentem. Oryginalne źródło (takie jak rekordy z bazy danych, dokument Worda, rozdział z książki itp.) Jest nieistotne dla Lucene. Metadane, takie jak autor, tytuł, temat, data itp. są indeksowane i przechowywane oddzielnie jako pola w dokumencie.
-
Pole - każdy dokument jest indeksem zawierającym jedno lub więcej pól, wstawionych do klasy o nazwie Pole . Każde pole ( pole ) to część danych, która jest odpytywana lub pobierana z indeksu podczas wyszukiwania.
Zajęcia badawcze
-
IndexSearcher - Klasa IndexSearcher służy do wyszukiwania tego, co IndexWriter ma indeksować. Możemy o tym myśleć jako o klasie, która otwiera indeks w trybie tylko do odczytu.
-
Termin - termin to podstawowa jednostka wyszukiwania, podobna do obiektu pola . Jest to ciąg znaków: nazwa pola i jego wartość. Zwróć uwagę, że użyte terminy są również uwzględniane w procesie indeksowania.
-
Query - Klasa Query jest klasą abstrakcyjną, która obejmuje BooleanQuery , PhraseQuery , PrefixQuery , PhrasePrefixQuery , RangeQuery , FilteredQuery i SpanQuery .
-
TermQuery - jest to najbardziej podstawowa metoda zapytań Lucene. Służy do wyrównywania dokumentów zawierających pola o określonych wartościach.
-
QueryParser - Klasa QueryParser służy do generowania analitycznego dekompozytora, który może przeszukiwać indeks.
-
Hits - Klasa Hits jest prostym kontenerem indeksu do oceniania wyników wyszukiwania dokumentów, które pojawiają się dla danego zapytania. Ze względów wydajnościowych przykłady rankingowe nie ładują z indeksu wszystkich dokumentów dla danego zapytania, a tylko niektóre z nich.
Zasoby
Przybory
- Luke (Lucene Index Toolbox) to wygodne narzędzie diagnostyczne i programistyczne, które uzyskuje dostęp do istniejących indeksów Lucene i umożliwia wyświetlanie i edycję ich zawartości na wiele sposobów. Luke jest objęty licencją Apache, z wyjątkiem części jej kodu.
- LIMO (Lucene Index Monitor) dostarcza podstawowych informacji o indeksach używanych przez wyszukiwarkę Lucene. To projekt SourceForge.
Powiązane projekty
Wszystkie te projekty są lub były podprojektami Apache Lucene i pozwalają na implementację wyszukiwarki.
Składniki wyszukiwarki
Uwagi i odniesienia
-
„ LuceneTM Core News ” (dostęp 3 grudnia 2020 r. )
-
Strona Lucene na SourceForge
-
Sesja zaprezentowana na ApacheCon
-
(w) Lista aplikacji korzystających z Lucene
Załączniki
Bibliografia
- „ Wprowadzenie do Apache Lucene: konstrukcja systemów pełnotekstowego pobierania pełnotekstowego oprogramowania Java Open Source ” autorstwa Koshi Sekiguti; Gijutsu-Hyohron Co, Ltd; ( ISBN 4774127809 )
- „ Lucene w akcji ” Erika Hatchera i Otisa Gospodnetića; Manning Publications;grudzień 2004; ( ISBN 1932394281 ) (en) [1]
- Manfred Hardt, Dr. Fabian Theis: „ Suchmaschinen entwickeln mit Apache Lucene ”; Oprogramowanie i pomoc techniczna Verlag, Frankfurt nad Menem, Niemcy;Wrzesień 2004; ( ISBN 3935042450 )
Powiązane artykuły
Linki zewnętrzne