Apache Storm jest popularny ze względu na funkcje przetwarzania w czasie rzeczywistym i wiele organizacji wdrożyło go jako część swojego systemu właśnie z tego powodu. Przyjrzyjmy się, jak organizacje integrują Apache Storm.
Przypadki użycia Apache Storm:
Świergot
Storm jest używany do zasilania różnych systemów Twittera, takich jak analiza w czasie rzeczywistym, personalizacja, wyszukiwanie, optymalizacja przychodów i wiele innych. Apache Storm asymiluje się z pozostałą częścią infrastruktury Twittera, która obejmuje systemy baz danych, takie jak Cassandra, Memcached itp., Infrastrukturę komunikacyjną, Mesos oraz systemy monitorowania i ostrzegania. Harmonogram izolacji Storm umożliwia wykorzystanie tego samego klastra zarówno do zastosowań produkcyjnych, jak i w trakcie opracowywania. Zapewnia skuteczny sposób planowania wydajności.
co wszyscy mogą monitorować nagios
Wieśniak!
Wieśniak! pracuje nad platformą nowej generacji, która umożliwia połączenie Big Data i przetwarzania o małych opóźnieniach. Chociaż Hadoop jest podstawową technologią używaną tutaj do przetwarzania wsadowego, Apache Storm umożliwia strumieniowe przetwarzanie zdarzeń użytkowników, źródeł treści i dzienników aplikacji.
Infochimps
Infochimps wykorzystuje Apache Storm jako źródło jednej z trzech swoich usług danych w chmurze - Data Delivery Services (DDS), która wykorzystuje Storm do zapewniania odpornej na błędy i liniowo skalowalnej usługi gromadzenia, transportu i złożonego przetwarzania danych w chmurze. . Podobnie jak Hadoop, który zapewnia wsadowe ETL i przetwarzanie analityczne na dużą skalę, DDS zapewnia również przetwarzanie w czasie rzeczywistym w czasie rzeczywistym i przetwarzanie w czasie rzeczywistym na dużą skalę.
Flipboard
Flipboard to jedno miejsce do odkrywania, gromadzenia i udostępniania interesujących Cię wiadomości. Flipboard wykorzystuje Storm do szerokiej gamy usług, takich jak wyszukiwanie treści, analizy w czasie rzeczywistym, niestandardowe źródła czasopism itp. Apache Storm jest zintegrowany z infrastrukturą obejmującą systemy takie jak ElasticSearch, Hadoop, HBase i HDFS, aby stworzyć wysoce skalowalną platformę danych.
Ooyala
Ooyala to prywatna firma wspierana przez venture capital, która dostarcza produkty i usługi w zakresie technologii wideo online dla niektórych z największych sieci, marek i firm medialnych na świecie. Ooyala ma silnik analityczny, który każdego dnia przetwarza ponad dwa miliardy zdarzeń analitycznych, generowanych przez prawie 200 milionów widzów na całym świecie, którzy oglądają wideo na odtwarzaczu opartym na technologii Ooyala. Ooyala korzysta z Apache Storm, aby zapewnić swoim klientom analizę strumieniową w czasie rzeczywistym dotyczącą zachowań konsumentów i trendów dotyczących treści cyfrowych. Storm umożliwia szybką eksplorację zbiorów danych wideo online w celu dostarczenia aktualnych informacji biznesowych, takich jak przeglądanie wzorców w czasie rzeczywistym, spersonalizowane sugestie dotyczące treści, przewodniki programowe i cenne informacje na temat sposobów zwiększania przychodów.
Taobao
Taobao, z pomocą Apache Storm, tworzy statystyki dzienników i wydobywa użyteczne informacje ze statystyk w czasie rzeczywistym. Dzienniki są odczytywane z trwałych kolejek komunikatów do strumieni, przetwarzane, a następnie przekazywane do topologii w celu obliczenia wymaganych wyników. Liczba dzienników wejściowych Taobao waha się od 2 milionów do 1,5 miliarda każdego dnia.
Klout
Klout to aplikacja, która wykorzystuje analizy mediów społecznościowych do oceniania swoich użytkowników w oparciu o wpływy społeczne online za pomocą „Klout Score”, który jest wartością liczbową od 1 do 100. Klout wykorzystuje wbudowaną abstrakcję Trident Apache Storm do tworzenia złożonych topologii, które przesyłają dane z kolektorów sieciowych za pośrednictwem Kafki, a następnie przetworzone i zapisane w HDFS.
php mysql_fetch_
Idziemy
Wega to wszechstronna na świecie wyszukiwarka podróży, działająca na całym świecie i używana przez niezliczonych podróżnych, aby uzyskać więcej opcji, aby zapłacić mniej i podróżować więcej. Wego porównuje i wyświetla w czasie rzeczywistym rozkłady lotów, dostępność hoteli, ceny i wyświetla inne strony podróżnicze na całym świecie. Tutaj Apache Storm przesyła dane metasearch w czasie rzeczywistym od podmiotów stowarzyszonych do użytkowników końcowych. Koncepcje topologii w Storm rozwiązują problemy ze współbieżnością, a jednocześnie pomagają im nieustannie integrować, analizować i czyścić dane. Ponadto narzędzia zawarte w Storm umożliwiają stopniową aktualizację w celu ulepszenia danych.
Paliwo rakietowe
Rocket Fuel zapewnia wiodącą platformę zakupu mediów w skali Big Data, która wykorzystuje moc sztucznej inteligencji (AI) do zwiększania zwrotu z inwestycji w media cyfrowe. Tworzą platformę czasu rzeczywistego na szczycie Storm, która naśladuje przepływy pracy, które mają krytyczne znaczenie dla czasu, istniejące już w potoku ETL opartym na Hadoop. Ta platforma śledzi w czasie rzeczywistym wyświetlenia, kliknięcia, konwersje, zapytania ofertowe itp.
Navsite
Navsite używa Apache Storm jako części swojego systemu monitorowania i audytu dzienników zdarzeń serwera. Komunikaty dziennika z tysięcy serwerów są wysyłane do klastra RabbitMQ, a Storm jest używany do porównywania każdego komunikatu z zestawem wyrażeń regularnych. Jeśli jest dopasowanie, wiadomość jest wysyłana do śruby przechowującej dane w MongoDB. W tej chwili obsługiwanych jest 5–10 000 wiadomości na sekundę, jednak istniejące klastry RabbitMQ + Storm zostały przetestowane z szybkością około 50 000 na sekundę.
Jest o wiele więcej organizacji wdrażających Apache Storm, a jeszcze więcej oczekuje się, że dołączy do tej gry, ponieważ Apache Storm nadal jest liderem w analityce w czasie rzeczywistym.
Sprawdź nasze .