I zašto je to velika stvar?
"Veliki podaci" su nova nauka o razumevanju i predviđanju ljudskog ponašanja proučavajući velike količine nestrukturiranih podataka. Veliki podaci su poznati i kao "predskaziva analitika".
Analizirajući Twitter postove, Facebook feedove, eBay pretrage, GPS trackere i ATM mašine su neki veliki primjeri podataka. Proučavanje video zapisa o sigurnosti, podataka o saobraćaju, vremenskim obrascima, dolaskom letova, logovima tornja za mobitel i pulsima srčane frekvencije su drugi oblici. Veliki podaci predstavljaju nerednu novu nauku koja se menja nedeljno, a samo nekoliko eksperata to razume.
Koji su neki primeri velikih podataka u redovnom životu?
Iako je većina velikih projekata podataka veoma nejasna, postoje uspješni primjeri velikih podataka koji utiču na svakodnevni život pojedinaca, kompanija i vlada:
Predviđanje epidemija virusa: proučavajući socio-političke podatke, vremenske i klimatske podatke i bolničke / kliničke podatke, ovi naučnici sada predviđaju epidemiju mrznje dengue sa unapred obaveštenjem od 4 nedelje.
Homicide Watch: ovaj veliki profil podataka prikazuje žrtve ubistva, osumnjičene i kriminalce u Vašingtonu. Oba, kao način poštovanja pokojnika i kao izvor informacija za ljude, ovaj veliki projekat podataka je fascinantan.
Planiranje tranzitnog putovanja, NYC: WNYC radio programer Steve Melendez je kombinovao raspored online metroa sa programom za putovanje kroz putovanje. Njegova kreacija omogućava Njujorčarima da kliknu na svoju lokaciju na mapi, a predviđa se vreme putovanja za vozove i podzemne železnice.
Xerox je smanjio gubitak radne snage: rad centra za poziv je emocionalno iscrpljujući. Xerox je proučavao reams podataka uz pomoć profesionalnih analitičara, a sada mogu predvidjeti koji pozivni centar najverovatnije ostaje sa kompanijom najduže.
Podrška borbi protiv terorizma: proučavanjem društvenih medija, finansijskih evidencija, rezervacija leta i podataka o bezbednosti, policija može predvideti i locirati osumnjičene teroriste pre nego što izvrše svoje zlonamerne radnje.
Prilagođavanje marketinga brenda zasnovanim na pregledima društvenih medija : ljudi otvoreno i brzo dele svoje misli na internetu u pubu, restoranu ili fitnes klubu. Moguće je proučavati ove milione postova društvenih medija i pružiti povratne informacije kompaniji o tome šta ljudi misle o svojim uslugama.
Ko koristi velike podatke? Šta oni rade s njim?
Mnoge monolitne korporacije koriste velike podatke kako bi prilagodile svoje ponude i cijene kako bi povećale zadovoljstvo kupaca.
- Macy's robna kuća , na primjer, koristi velike podatke kako bi prilagodila svoje cijene na mjeri za više od 70 miliona proizvoda. Čak i svojim korisnicima šalju prilagođene e-poruke na osnovu toga što Macy veruje da ih zanima.
- Policijski odgovor na bombardovanje Bostonskog maratona : koristeći velike podatke za proučavanje video snimaka i snimaka za nadgledanje, policija je mogla brzo da umanji potragu za osumnjičenima.
- Morton's Steakhouse koristi Twitter da povuče tržišne stankove, uključujući čuvenu isporuku aerodroma u New Jersey-u na bakalini od porterhousea i večeru s kozama.
- Visa koristi velike podatke da bi identifikovala i uhvatila prevarante. Jedinstvene transakcije ovde i tamo lako mogu sakriti nepošteni korisnik kreditne kartice, ali pažljivo posmatrajući milione transakcija, mogu se otkriti obrasci prevare.
- Facebook koristi velike podatke za prilagođavanje oglašavanja . Pažljivim proučavanjem vaših FB-a i navika pretraživanja, gigant društvenih medija ima lagodan uvid u vaše ukuse. One bočne oglase koje vidite na vašem Facebook-u podrazumevaju veoma namerni i složeni algoritmi koji prate vaše Facebook navike.
Zašto je veliki podatak takav veliki posao?
4 stvari čine velike podatke značajnim:
1. Podaci su masivni. Neće se uklapati na jedan čvrsti disk , mnogo manje na USB stick . Obim podataka daleko prevazilazi ono što ljudski um može da zapazi (mislite na milijardu milijardi megabajta, a zatim ih umnožite za više milijardi).
2. Podaci su neuredni i nestrukturirani. 50% do 80% velikog rada podataka pretvara i čisti informacije tako da se mogu pretraživati i sortirati. Samo nekoliko hiljada stručnjaka na našoj planeti u potpunosti znaju kako čuvati ove podatke. Ovi stručnjaci takođe trebaju veoma specijalizovane alate, poput HPE i Hadoop, da rade svoj zanat. Možda će za 10 godina, veliki stručnjaci za podatke postati desetine desetina, ali su za sada veoma retka vrsta analitičara i njihov rad je i dalje veoma nejasan i dosadan.
3. Podaci su postali roba ** koja se može prodati i kupiti. Tržište podataka postoji kada kompanije i pojedinci mogu kupiti terabate društvenih medija i druge podatke. Većina podataka je zasnovano na oblaku, jer je prevelik da se uklapa na bilo koji hard disk. Kupovina podataka obično podrazumeva pretplatu u kojoj se priključujete na farmu cloud servera.
** Lideri velikih alata i ideja o podacima su Amazon, Google, Facebook i Yahoo. Pošto ove kompanije poslužuju toliko miliona ljudi svojim online uslugama, ima smisla da oni budu kolekcija i vizionari iza velike analize podataka.
4. Mogućnosti velikih podataka su beskrajne. Možda će lekari jednog dana predvideti srčani udar i moždane udarce za pojedince nedeljno pre nego što se desi. Smanjenje aviona i automobila moglo bi se smanjiti pomoću prediktivnih analiza njihovih mehaničkih podataka i saobraćajnih i vremenskih obrasca. Online dating može se poboljšati time što imaju velike prediktore podataka o tome ko su kompatibilni ličnosti za vas. Muzičari mogu dobiti uvid u to što je muzička kompozicija najprijateljstvena promenljivom ukusu ciljne publike. Nutricionisti bi mogli predvideti koja kombinacija hrane koju kupi prodavnica će pogoršati ili pomoći osobnim zdravstvenim stanjima. Površina je samo ogrebana, a otkrića u velikim podacima se dešavaju svake nedelje.
Veliki podaci su nesrežni
Veliki podaci su predskaziva analitika: pretvaranje masivnih nestrukturiranih podataka u nešto što se može pretraživati i sortirati. Ovo je neuredan i haotičan prostor koji zahteva posebnu vrstu znanja i strpljenja.
Uzmite na primer monolitnu uslugu isporuke UPS-a. Programeri u UPS-u istražuju podatke o GPS-u i pametnim telefonima vozača kako bi analizirali najefikasnije načine za prilagođavanje zagušenju saobraćaja. Podaci o GPS-u i smartfonu su veliki, a nisu automatski spremni za analizu. Ovi podaci prelaze iz različitih GPS i mapa baznih podataka, preko različitih hardverskih uređaja pametnog telefona. Analitičari UPS-a proveli su mjesecima pretvarajući sve te podatke u format koji se lako može pretraživati i sortirati. Ipak, trud je bio vredan toga. Danas, UPS je sačuvao više od 8 miliona galona goriva pošto su počeli da koriste ovu veliku analizu podataka.
Zbog toga što su veliki podaci neuredni i zahtevaju puno napora da se očiste i pripremi za korištenje, naučnici podataka postaju nadimci 'data janitors' za sve muke koje rade. -
Ipak, nauka o velikim podacima i prognoznoj analitici se svake nedelje poboljšava. Očekujte velike podatke da bi postali dostupni svima do 2025. godine.
Zar nisu veliki podaci Intruzivna pretnja privatnosti?
Da, ako naši zakoni i individualna zaštita privatnosti nisu pažljivo upravljani, onda veliki podaci upadaju u ličnu privatnost. Kako stoji, Google, YouTube i Facebook već prate vaše svakodnevne online navike . Vaš pametni telefon i računarski život ostavljaju digitalne otiske svaki dan, a sofisticirana preduzeća proučavaju te otiske.
Zakoni o velikim podacima se razvijaju. Privatnost je stanje bića za koji sada morate preuzeti ličnu odgovornost, jer više ne možete očekivati to kao podrazumevano pravo.
Šta možete učiniti kako biste zaštitili svoju privatnost:
Najveći korak koji možete preduzeti je da pokrijete svoje svakodnevne navike koristeći VPN mrežnu vezu . Usluga VPN će vam pomeriti svoj signal tako da vaš identitet i lokacija budu makar delimično maskirani od tragova. To vas neće učiniti 100% anonimnim, ali VPN će značajno smanjiti koliko svijet može da poštuje vaše online navike.
Gde mogu da naučim više o velikim podacima?
Veliki podaci su fascinantna stvar za ljude sa analitičkim umovima i ljubav prema tehnologiji. Ako ste to vi, definitivno posetite ovu stranicu zanimljivih velikih projekata.