Zrozumienie Big Data z korzyściami, charakterystyką i przykładami zastosowań Big Data

Zrozumienie Big Data

Zrozumienie Big Data Is

Termin Big Data pojawił się po raz pierwszy w 2000 r. Przez analityka przemysłowego z Zachodu o nazwisku Doug Laney. Globalnie Big Data to dane o wielu rzeczach, które są gromadzone w bardzo dużych ilościach z dużą prędkością. Duże dane mogą być analizowane i przetwarzane do celów decyzyjnych (tworzenie suszu), strategia biznesowa i prognozy biznesowe.

W terminologii klasycznego zarządzania danymi, związanej ze wzrostem wolumenu, Big Data można uznać za dane, których nie można rozwiązać baza danych (baza danych) i tradycyjne aplikacje do przetwarzania danych. Dlaczego stajemy się obraźliwi baza danych? Ponieważ w jego realizacji pojęcie Big Data można nazwać baza danych który jest bardzo duży, Bardzo duża baza danych (VLDB), którego konfiguracji używa System zarządzania bazą danych (DBMS).

W Big Data mieszane dane między danymi ustrukturyzowanymi a danymi nieustrukturyzowanymi. Jeśli uważasz, że NoSQL jest dość skomplikowany, Big Data jest dziesiątki razy bardziej skomplikowany. Nawet jeśli istnieją programy lub aplikacje specjalnie zaprojektowane do zarządzania nimi, wymagają projektowania algorytmów i zapytanie co nie jest powszechne.

Framework a aplikacje służące do zarządzania dużymi danymi nie są bezpośrednio połączone ze wszystkimi danymi, ale zamiast tego używają metod analitycznych. Framework lub aplikacja do zarządzania dużymi danymi jest powszechnie nazywana „środowisko analizy aplikacji big data„Ale niektórzy to nazywają”narzędzia do dużych zbiorów danych„Tylko.

Korzyści z Big Data

Zrozumienie Big Data i jego zalet

Duże zbiory danych mogą być przydatne tylko po analizie. Możemy przeanalizować tę analizę tutaj ramy który jest znacznie mniejszy, na przykład kiedy to robimy zapytanie przeciwko bazom danych na serwerze SQL. Jednak na bardzo dużej i ogromnej skali danych rodzaje danych będą bardziej zróżnicowane, ilość danych będzie większa, a struktura bardziej złożona. Ponieważ ta koncepcja technologii została wymyślona, ​​wdrożona i rozwinięta ramyDuże zbiory danych były w stanie zapewnić korzyści dla ludzkiego życia.

Cytując informacje z techinasia.com, oto krótkie podsumowanie przykładów wykorzystania Big Data w Indonezji przedstawione na konferencji „Big Data Week Indonesia” w 2015 r. (4 lata temu).

1. System informacji rolniczej

Regi Wahyu, CEO Mediatrac, firmy analitycznej Big Data, zwerbował wielu utalentowanych studentów z Padjadjaran University do prowadzenia badań na polu ryżu w zachodniej Jawie.

Informacje uzyskane z wyników tych badań są gromadzone w Big Data, które mogą być wykorzystane przez rolników do zwiększenia produkcji roślinnej, przewidzenia odpowiedniego czasu do uprawy roślin i innych.

2. System informacji podatkowej

Analiza dużych danych na Dyrekcja Generalna ds. Podatków (Dyrekcja Generalna ds. Podatków) wciąż w fazie rozwoju. Dzięki analizie Big Data oczekuje się, że będzie w stanie rozwiązać problemy związane z niską świadomością społeczności w zakresie płacenia podatków.

Szef ówczesnego dyrektora generalnego ds. Podatków, Iwan Djuniardi, w swojej prezentacji demo przedstawił szczegółowe wizualizacje, takie jak analiza drzewa genealogicznego, rodzajów i aktywów, a także rodzajów podatków i statusu płatności podatku.

3. System informacji o katastrofach

Quick Disaster to aplikacja dla Google Glass, która pomoże użytkownikom w trakcie i po katastrofie. Na przykład, gdy nastąpi trzęsienie ziemi, Google Glass powiadomi informacje o tym, co użytkownicy muszą zrobić, a następnie przedstawi zalecenia dotyczące dróg ewakuacyjnych po katastrofie. Aplikacja Quick Disaster została opracowana przez naukowca z Gajah Mada University (UGM) o nazwisku Daniel Oscar Baskoro.

4. System informacji o zdrowiu

Wciąż z UGM, badacz sektora zdrowia o imieniu Anis Fuad, wyjaśnił, że kliniki i szpitale w Indonezji nadal używają własnych aplikacji do rejestrowania danych pacjentów. Dane przesyłane do Departamentu Zdrowia są nadal minimalne i niekompletne.

Wykorzystanie analizy Big Data dla sektora opieki zdrowotnej zwiększy centralnie dokładność prognozowania chorób i poziom zdrowia populacji w całym kraju. Obecnie problem jest powoli monitorowany przez rozpoczęcie budowy baza danych w systemie BPJS online.

5. System informacji o języku

Ruli Manurung z University of Indonesia (UI) stwierdził, że za pomocą Big Data możemy klasyfikować i klasyfikować miliony słów w języku indonezyjskim. Można go również wykorzystać do mapowania zdań w celu wsparcia zastosowania tłumaczenia języka obcego na język indonezyjski lub odwrotnie.

Charakterystyka Big Data (5 V)

Zrozumienie Big Data i jego cech

Big data ma mianowicie 3V podstawowych znaków Tom, Prędkośćoraz Różnorodność. Jednak rozwój został dodany ponownie Wartość i Veracity, więc wiadomo, że ma podstawową postać 5 V. Poniżej opisano pięć cech.

1. Tom

Oznacza to gromadzenie danych w ilości i objętość który jest bardzo duży i czasami nieustrukturyzowany. Na przykład kanał Twitter, Kanały Istagram, dane tekstowe czatu i status Whatsapp, przepływ kliknięć użytkownik ze strony sieć. Wielkość przepływów danych może wynosić nawet tysiące terrabajtów (TB) na sekundę.

2. Prędkość

Dostęp do danych jest tak szybki, że można je wykorzystać natychmiast w tej samej sekundzie. Od ery przechowywanie w chmurze i przetwarzanie w chmurze W ciągu ostatnich kilku lat internauci odczuwali szybkość tego narzędzia dostępu do danych.

Jednym z dowodów jest istnienie systemu operacyjnego online oparty na Microsoft Silverlight, aplikacje biurowe (biuro) na podstawie sieć jak Office365, przechowywanie w chmurze jak Dropbox i GDrive, prędkość dostępu do strony sieć Aplikacja oparta na JavaScript sieć jak Pixlr, aplikacja programista Aplikacje na Androida sieć takie jak Kodular i MIT App Inventor, aplikacje projektantów schemat blokowy jak Draw.io i wiele innych.

3. Różnorodność

Oznacza to, że zawiera różne typy plik, zarówno ustrukturyzowane, jak i nieustrukturyzowane. Analiza nieustrukturyzowanych danych będzie wymagać nieco innych algorytmów, takich jak dane tekstowe, graficzne, dźwiękowe i wideo.

Ponieważ takie dane będą wymagały więcej czasu na ich przetworzenie, ponieważ może być tak, że w danych nieustrukturyzowanych są jeszcze inne dane lub nowe dane, które można wyodrębnić. Na przykład w zawartych danych MP3 IDv1 i Tag IDv2, w danych JPEG znajdują się dane typu używanego aparatu, w danych PDF jest nazwa twórcy aplikacji i wiele innych.

4. Wartość (Wartość)

Celem wartość to, jak wartościowe lub znaczące są dane. Na przykład biodata pracownika dla firmy poligraficznej nie będzie przydatna do celów analizy prognoz zatrudnienia w firmach farmaceutycznych.

Dane mogą nie być ważne lub cenne w jednym przypadku, ale mogą być bardzo ważne i bardzo cenne w innym przypadku. Dane, które w żadnym wypadku nie mają żadnej wartości, nie będą filtrowane w systemie aplikacji do analizy dużych zbiorów danych.

5. Veracity (Szczerość)

Charakter prawdziwość prowadzi do tego, jak dokładne i wiarygodne są dane. Kontynuuj jeden przykład w punktach wartość powyżej może znajdować się w pliku MP3 Tag IDv1został zmodyfikowany, aby zakwestionować autentyczność pliku MP3, zmiany Tag IDv1 może to wynikać z wyników wyjście aplikacja do przetwarzania dźwięku lub konwerter plików MP3 Dane, które nie mają charakteru uczciwości ani autentyczności, nie będą filtrowane do systemu analizy.

Przykład zastosowania Framework Analiza dużych zbiorów danych

Przykładowa platforma aplikacji do analizy dużych zbiorów danych

Apache Hadoop to zbiór aplikacji open source który służy do gromadzenia i analizy danych serwisowych online. Wielu nazywa to po prostu Hadoop. Hadoop zaczął powstawać około 2005 roku, oficjalnie wydany w 2006 roku pod oficjalną nazwą Apache Hadoop.

Hadoop został zaprojektowany przy użyciu języka programowania Java, dzięki czemu może działać na różnych platformach / systemach operacyjnych. Hadoop to zbiór aplikacji, które mogą działać jako moduł podstawowy, podmoduł, ekosystem lub kolekcja jednego dodatkowego pakietu oprogramowania (dodatkowe), które można zainstalować na nim lub obok siebie z głównym systemem Hadoop. Kolekcja aplikacji Hadoop obejmuje: Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Cloudera Impala, Apache Flume, Apache Sqoop, Apache Oozie i Apache Storm.

Historia i koncepcja Big Data zaczęły się w latach siedemdziesiątych, kiedy ludzie technologii informatycznych zaczęli otwierać swoje wgląd w analizę danych i ich związek ze statystykami. Trwało to do 2000 r., Kiedy media społecznościowe zaczęły gwałtownie rosnąć, uświadamiając ludziom znaczenie analizy danych na tych platformach społecznościowych.

Dane wprowadzane do mediów społecznościowych są zbyt duże, aby można je było przechowywać i przetwarzać w jednym scentralizowanym sklepie medialnym. Potem powoli pojawiła się nowa technologia rozwiązania tego problemu, narodziła się koncepcja NoSQL, która została opracowana w Apache Cassandra i ramy Analiza dużych danych w Apache Hadoop.

To wyjaśnienie zrozumienia dużych zbiorów danych wraz z korzyściami i przykładami zastosowań, które można wykorzystać do analizy dużych zbiorów danych. Mam nadzieję, że przydatne i łatwe do zrozumienia!