TESLA

FIRMA GIS FEDERAL REWOLUCJONIZUJE DOSTĘP DO DANYCH GEOPRZESTRZENNYCH

Akcelerowana przez układy GPU baza danych GAIA zapewnia analitykę i wizualizację danych w czasie rzeczywistym

PROFIL KLIENTA

  • Firma GIS Federal skupia się na architekturze systemów klasy enterprise, obliczeniach w chmurze i obsłudze dużych zbiorów danych

WYZWANIE PROJEKTU

  • Stworzenie systemu, który zapewni armii Stanów Zjednoczonych dostęp prawie w czasie rzeczywistym do zróżnicowanych danych geoprzestrzennych w odległych lokalizacjach

ROZWIĄZANIE NVIDIA

  • Akceleracja przez układy GPU firmy NVIDIA® z wykorzystaniem technologii CUDA dała nowy poziom możliwości zapytań



W 2009 roku idea dostępu w czasie rzeczywistym do szczegółowych danych geoprzestrzennych, opartego na chmurze, była poza zasięgiem nawet najbardziej zaawansowanych silników obliczeniowych. W tym czasie firma GIS Federal rozpoczęła projekt badawczy dla armii Stanów Zjednoczonych, którego wyzwaniem było przefiltrowanie 10 milionów punktów w określonym obszarze zainteresowania. Cel ten udało się osiągnąć dzięki stworzeniu opartego o jednostki CPU systemu, który filtrował punkty w ciągu 92 minut. Firma GIS Federal poznała wady związane z intensywnymi obliczeniowo zadaniami analityki obliczeniowej przy wykorzystaniu tradycyjnych jednostek CPU. Superobliczenia oparte na układach GPU umożliwiły potężne wzrosty mocy obliczeniowej, redukując zarazem koszty związane z zużyciem energii. Układy GPU zmniejszyły czas obliczeń w przypadku intensywnych obliczeniowo zadań GIS z godzin do minut i z minut do sekund. Pozwala to użytkownikom na realizację złożonych zadań GIS w środowisku opartym na sieci, zapewniając większą moc obliczeniową w zdalnych lokalizacjach.

Na wrogim lub odległym terenie dostęp do aktualnych danych wywiadowczych jest kluczowy, toteż skrócenie czasu potrzebnego na ich dostarczenie od momentu przechwycenia jest krytyczne. „Dzięki zaprzęgnięciu do pracy układów GPU mogliśmy z laptopa dostarczyć dane miliarda punktów geoprzestrzennych w określonym obszarze zainteresowania w ciągu mniej niż 2 sekund i to już w 2010 roku” powiedział Amit Vij, dyrektor generalny firmy GIS Federal. „Połączenie naszej opatentowanej bazy danych GAIA i systemu z układami GPU zmienia reguły gry związane z dostępem do wywiadu geoprzestrzennego”

Opatentowany projekt bazy danych wykorzystuje akcelerację przez układy GPU

GIS Federal

Zdjęcie lotnicze tras ukazuje możliwości rasteryzacji geoprzestrzennej dużych zbiorów danych przy wykorzystaniu układów GPU. Zamiast dostarczania ograniczonej ilości danych przez przeglądarkę, firma GIS Federal ma możliwość pokazywania użytkownikowi wszystkich danych w locie tworząc raster lub obrazy PNG o wielkości 4 kilobajtów.

GAIA to rozproszona baza danych, która została specjalnie stworzona dla wielordzeniowych silników. „Różnica w przypadku bazy GAIA wynika z tego, że dane łączymy z wątkami jakich dostarcza układ GPU i to daje zupełnie nowy poziom możliwości zapytań, którego w przypadku tak dużych zbiorów danych zwykle programiści nie mają” powiedział Nima Negahban, dyrektor ds. technicznych w firmie GIS Federal. „Do bazy GAIA można włączyć funkcje join oraz group by, a to otwiera kompletnie nowe możliwości w analityce. Programista nie musi próbować tworzyć indeksu czy wstępnie przeliczać każdej możliwej kombinacji wartości stałych i zmiennych. Większość systemów pracujących na dużych zbiorach danych potrafi jedynie odesłać Cię do bardzo długiej listy, zapytać ile pozycji ona obejmuje, a Ty dłuższą chwilę będziesz czekać na odpowiedź. Tymczasem dzięki temu, że baza GAIA łączy wątki opracowane przez układ GPU z danymi jest w stanie robić te skomplikowane zagregowane obliczenia nadzwyczaj szybko”.

„Jednym z kluczowych założeń, jakie mieliśmy rozpoczynając pracę nad bazą GAIA było to, że chcemy aby nie każdy musiał znać się na technologii CUDA, ani na synchronizacji danych pomiędzy wieloma rdzeniami i maszynami” – mówił dalej Negahban. „Pozbyliśmy się tego z kontekstu, więc baza GAIA w dużym stopniu zachowuje się jak tradycyjna baza danych, do której możesz wprowadzić dane, dostajesz interfejs API zapytań i idziesz dalej, robiąc co Ci się podoba, nie musząc znać przyziemnych detali związanych z Twoją kartą czy klastrem”.

Dostęp prawie w czasie rzeczywistym do analityki predyktywnej w odległych lokalizacjach

Programista korzystający z bazy GAIA może dodawać obiekty z szerokiego zakresu źródeł i schematów, mając natychmiastowy dostęp do tworzenia skomplikowanych zapytań lub kombinacji danych, nie doświadczając opóźnień związanych z indeksowaniem, nawet zdalnie. „Wcześniej programiści zajmowali się tylko tym, co znajdowało się w moim obszarze zainteresowań i mogli uruchomić analitykę predyktywną, która dotyczyła bieżącego dnia lub trzech kolejnych” powiedział Vij. „W zależności od tego z jaką ilością danych mieli do czynienia, mogło to trwać minuty bądź godziny. Analitycy wywiadu mają pełną kontrolę w zasięgu swoich rąk. Mogą przełączać, dostosowywać i zmieniać różne zmienne w swych obliczeniach, aby bardzo szybko otrzymać dane jakich potrzebują. Zadania, które trwałaby całymi godzinami lub dniami, teraz wykonuje się prawie w czasie rzeczywistym”.

Na przykład, baza GAIA pozwala użytkownikom przeprowadzać analizę trendu i analitykę predyktywną wykrywania materiałów wybuchowych przy użyciu historii zdarzeń związanych z wybuchami takich materiałów na określonych trasach. Można to wykorzystać na potrzeby głównych i drugorzędnych tras zaopatrzenia misji. Istnieje także system ostrzegawczy, pokazujący prawie w czasie rzeczywistym najlepsze trasy w oparciu o ostatnie wydarzenia. „Pojazdy tworzą punkty co sekundę” powiedział Vij. „Daje to miliony ścieżek z miliardami punktów. Baza GAIA z akceleracją przez układy GPU może wykonywać obliczenia, które na systemach opartych o jednostki CPU zajęłyby lata. Z serwerem UV 2000 firmy SGI i jednostkami GPU NVIDIA K20X mamy 43 tysiące fizycznych rdzeni i 10 terabajtów pamięci RAM. Umożliwia to wykonywanie niewiarygodnej liczby operacji zmiennoprzecinkowych na sekundę, co nie byłoby możliwe w przypadku systemów opartych o jednostki CPU”.

Fuzja danych i inne przełomy przed bazą GAIA

Możliwy będzie dalszy rozwój związany z większą ilości analityki i algorytmów. „Otwiera się przed nami tak wiele możliwości” powiedział Vij. „Widzimy, które punkty powiązane są z innymi. Możemy stworzyć mapę ciepła powiązanych czasowo nagrań. Możemy rasteryzować złożone wyniki na mapie jako obraz bądź film w ciągu sekundy. Wizualizacja tego rodzaju nie była wcześniej możliwa. Zaawansowane możliwości typowania bazy GAIA tworzą także możliwości fuzji danych, co jest naprawdę fascynujące. Pojedyncze zapytanie może zostać użyte w stosunku do wielu rodzajów danych z wieloma schematami i system typowania bazy GAIA będzie wiedział jak połączyć te na pozór odrębne zdarzenia w jeden zwarty i połączony zestaw wyników”.