Repozytorium UB (Universal Backend)
Uniwersalne repozytorium (UB) służy do składowania danych zebranych ze wszystkich źródeł. Głównym zadaniem repozytorium jest przekazanie dokumentów do indeksowania.
Funkcjonalności UB
- przechowywanie dużych ilości danych (rzędu wielu GB)
- szybki dostęp do danych
- mechanizm wstawiania danych
- współpraca z silnikiem wyszukiwawczym USE
- wywołanie procesu indeksowania danych
- automatyczny wybór optymalnego poziomu indeksowania
- kontrola wersji indeksu
- zaawansowane planowanie indeksowania
- promocja treści – możliwość promocji dokumentów w wynikach wyszukiwarki
- transformacja danych
- czytanie tekstu z różnych typów dokumentów (doc, xls, ppt, pdf, html itd.)
- automatyczna modyfikacja danych oparta na: wyrażeniach regularnych, przetwarzaniu kodu HTML, usuwaniu lub modyfikacji zaznaczonych fragmentów danych, obliczaniu nowych elementów danych o automatyczna lub ręczna transformacja danych
- dostęp z poziomu linii komend (wprowadzanie, modyfikacja i podgląd danych)
- format danych wejściowych i wyjściowych konfigurowany w XML-u
- rozpoznanie języka i stemmer
- wsparcie usługi Misspelling
- automatyczne wydobycie słów kluczowych z dokumentów (Keyword Extractor)