Nowości

Firma SRIS dostarcza wyniki przetwarzania geoprzestrzennego w czasie rzeczywistym

Innowacyjna, oparta na układach GPU, architektura 72x szybsza i 12x tańsza niż jednostki CPU

Wyzwanie przetwarzania danych geoprzestrzennych w czasie rzeczywistym

SRIS

Zestawienie źródeł niskich i wysokich temperatur

Systemy GIS (Geographic information systems - Systemy Informacji Geograficznej) są podstawą zrozumienia naszego świata. Do niedawna trudno było sobie wyobrazić dostęp do danych geoprzestrzennych w czasie rzeczywistym. Możliwość gromadzenia ogromnych ilości danych pozostawiła w tyle nasze zdolności wykorzystania bogactwa informacji, jakie te dane mogłyby zapewnić. Przykładowo, przetwarzanie danych z czujników i źródeł sygnału w celu śledzenia dzikich zwierząt na odległych terenach stanowi ogromne wyzwanie, wymagające miliardów obliczeń. Dane napływają nieustannie, czujniki i źródła są w ciągłym ruchu, nie mówiąc o różnorodności terenu i pogody, które mogą wpływać na zbieranie danych.

Firma SRIS stworzyła innowacyjną architekturę, akcelerowaną przez jednostki GPU NVIDIA Tesla®, służącą do przetwarzania ogromnych ilości danych w czasie rzeczywistym. „Okazało się, że zwiększona zdolność przetwarzania układów GPU umożliwia osiągnięcie pożądanych wyników” powiedział Srinivas Reddy, główny dyrektor ds. technologii w firmie SRIS. „Okazało się także, że w miarę wykładniczego skalowania wielkości danych pojawia się nowy problem, polegający na zarządzaniu ogromną liczbą danych w środowiskach rozproszonych klastrów GPU”. W tym celu, firma SRIS zaprojektowała specjalny system zarządzania i przetwarzania przepływów danych do klastrów GPU.

Redukcja czasu i kosztów dzięki akceleracji przy użyciu jednostek GPU w porównaniu do jednostek CPU

Firma SRIS stworzyła klaster przetwarzający dane geoprzestrzenne w czasie rzeczywistym. Spływające z wielu źródeł dane były poddawane wymaganej analizie i później przesyłane do serwera ESRI w celu ich wizualizacji. „Pierwsza była konfiguracja składająca się z jednostek CPU” powiedział Reddy. „Przy koszcie 1,2 miliona dolarów, wydajność systemu CPU wyniosła 3,6 minuty, co uniemożliwiało osiągnięcie rezultatów w czasie rzeczywistym. Po zastosowaniu akceleracji GPU, zmniejszyliśmy dwunastokrotnie koszt, schodząc do 100 tys. dolarów i jednocześnie zwiększyliśmy wydajność 72 razy, osiągając czas przetwarzania wynoszący 9 sekund, zbliżony do czasu rzeczywistego.

Firma SRIS stara się wytyczać nowe ścieżki. Ostatnio usprawniła swój algorytm GIS CUDA i technikę ładowania danych. Dzięki wykorzystaniu jednostki GPU NVIDIA K20 może teraz przetwarzać te same dane geoprzestrzenne w ciągu 0,0017 sekundy. To tak bliskie czasowi rzeczywistemu jak tylko jest to możliwe.

W celu osiągnięcia przepływu danych w czasie rzeczywistym, firma SRIS wybrała środowisko Storm i przetwarza dane geoprzestrzenne oraz dokonuje obliczeń korzystając z klastra złożonego z jednostek GPU Tesla K10 i K20. „Algorytmy zaszyte w CUDA umożliwiają efektywny dostęp do masowo równoległych obliczeń, oferowanych przez klastry GPU” kontynuował Reddy. „Do przechowywania i wyszukiwania danych źródłowych korzystaliśmy z klastra HyperDex, ze względu na jego zdolność ekstremalnie szybkiego wyszukiwania danych”.

W celu zarządzania i przetwarzania przepływów danych do klastrów GPU firma SRIS zaprojektowała specjalną platformę MonsterWave. „MonsterWawe pozwala nam na maksymalizowanie prędkości działania i wykorzystania mocy klastrów GPU” kontynuował Reddy. „Planuje i zarządza zadaniami tak, by optymalnie wykorzystywać jednostki GPU, ustalając kolejność zadań w celu uzyskania najbardziej efektywnych wyników”. Firma SRIS twierdzi, że jest to pierwsze skuteczne podejście do akceleracji obliczeń geoprzestrzennych w czasie rzeczywistym z dynamicznie zmieniającymi się podmiotami i zdarzeniami. „Dzięki temu systemowi możemy teraz korzystać z ogromnej liczby danych z wielu źródeł, łączyć je z dodatkowym zestawem danych źródłowych, przetwarzać wzbogacone dane z użyciem 18 złożonych algorytmów, wydobywać odpowiednie informacje i przedstawiać je użytkownikowi w czasie kilku sekund. Mając możliwość tak szybkiego przetwarzania danych, użytkownicy mogą podejmować błyskawiczne decyzje gdy wymagają tego okoliczności”.

Świetlana przyszłość aplikacji czasu rzeczywistego wykorzystujących układy GPU

Zespół SRIS widzi ogrom potencjału tych możliwości. „Aktualnie pracujemy nad algorytmami geoprzestrzennymi dla układów GPU i umożliwieniem bliskiego sprzęgnięcia baz danych z układami GPU” powiedział Reddy. „Pozwoli to oprogramowaniu hurtowni danych i systemom baz danych zaprząc moc układów GPU w domenie obliczeń geoprzestrzennych. Jesteśmy przekonani, że dzięki układom GPU podczas analizy określonych danych geoprzestrzennych możemy uzyskać informacje zwrotne w przeciągu milisekund”.

SRIS