Vad är Big Data?

Hur

FörbiRyan Dube

Senast uppdaterad den26 mars 2020

Under årens lopp blir många buzzwords trendiga i många branscher. Det finns få som har blivit så populära och så länge som stora data. Men vad är big data, exakt?

Big data avser ett virtuellt hav av information från en mängd olika källor, analyserade och filtrerade på ett sådant sätt att det skapar meningsfulla och handlingsbara resultat.

Processen att konvertera "big data" till meningsfulla resultat kan verka komplicerad och svår. När du först har förstått vad big data är och hur det fungerar, verkar det dock inte så komplicerat att förstå hur det är meningsfullt.

Vad är Big Data?

När du hör människor prata om "big data" är det vanligtvis med mycket viftande hand och stora ord. Men när du kokar ner hela hyperbolen, är faktiska "data" faktiskt många multipla datainmatningsströmmar.

För att förstå detta kan ett exempel hjälpa. Låt oss säga att du driver ett paraplytillverkningsföretag. Din marknadsavdelning letar efter ett sätt att bättre förutsäga när marknadens efterfrågan håller på att öka.

Före big data, skulle marknadsförare studera marknadstrender, skicka ut kundundersökningar och många andra aktiviteter.

De skulle samla in all den informationen och lagra den på sitt eget företags interna databaser. Någon kanske till och med ansvarar för att uppdatera marknadsundersökningsdata på års- eller kvartalsbasis.

Tillkomsten av big data utvidgar dock möjligheten att bedriva denna typ av forskning. I synnerhet är big data särskilt effektiva för att identifiera viktiga trender eller händelser i nära realtid.

Datainmatningar för den här typen av "big data" -analys kan inkludera dataströmmar i realtid genom att skriva kod som ansluts till Application Programming Interface (API) av många olika företag som har offentliggjort dessa uppgifter:

• Twitter och Facebook: Identifiera när och varför människor diskuterar köp av paraplyer.
• Väder: Identifiering väderförhållanden eller förutsägelser som kan förvandlas till högre paraplyförsäljning.
• Aktiemarknad: Säsongsförändringar i kostnaden för råvaror för att producera paraplyer.
• Kundens webbanvändning: Använda information från datorkakor av människor som besöker företagets katalog för att förstå köpbeteenden.
• Kundköpshistorik: Spåra geografin och årstiderna för försäljningstrender från återförsäljare.

För att använda big data måste företagets marknadsföringsteam i vissa fall installera ny teknik.

Big Data och Internet

Detta kan inkludera Internet of Things (IoT) -teknologin hos detaljhandlare som spårar och rapporterar om konsumentbeteenden. Eller det kan innebära att en programmerare skriver den kod som krävs för att gränssnittet med Twitter: s API för att filtrera bort alla tweets som nämner "paraplyer" eller företagsnamnet.

Var och en av dessa tekniker är nu tillgängliga tack vare internet. Internet tillåter vem som helst att utnyttja dataströmmar från hela världen.

Så här kan installationen i vårt eget exempel fungera i det här fallet.

Detta diagram visar hur data flyter in i företagets ”datasjön” från många olika källor. De inkommande uppgifterna kan struktureras annorlunda, men det viktiga är att samla in så mycket data som möjligt från alla källor.

Vad är en datasjö?

Till skillnad från en databas, som innehåller strukturerade data organiserade i specifika kolumner och rader, är en datasjö ett enormt arkiv för många olika former av data.

Data som lagras kan vara strukturerade eller ostrukturerade. Det betyder att det kan ha strukturerade rader och kolumner, eller så kan det inte. Data kan vara strängar som använder specifik formatering för att separera data. Varje datakälla kan skicka in data till en datasjön i vilken form den vill.

Bild på en datasjön som ett massivt bibliotek som innehåller många former av media, som böcker, bilder på mikrofiche och video på DVD-skivor.

Föreställ dig digital intelligens och dataanalytiker som beskyddare för det biblioteket. Dessa beskyddare kan digitalt dra data ur böcker, mikrofiche och DVD-skivor och hitta sätt att blanda och kombinera den informationen och lära sig saker från hur informationen korrelerar.

Av dessa lärdomar kommer faktisk, handlingsbar intelligens. Några av dessa från vårt exempel kan inkludera:

• Chatter på Twitter och Facebook indikerar en närmande storm i New York City, med tusentals kunder som planerar att köpa paraplyer.
• Datorkakor som köper data och kassamaskiner i detaljhandeln indikerar att köpare i Kalifornien är villiga att betala mer för designerparaplyer än människor i Virginia är.
• Ett stort stormmönster som närmar sig indikerar att större delen av östkusten kommer att täckas av en regnstorm under en hel vecka.

Alla dessa lärdomar kan få marknadsföringsteamet att investera i mer reklam geografiskt där efterfrågan på paraplyförsäljning är mycket starkare. Tillverkningsverksamheten kan också flytta sina produktionsinsatser till de områden i världen närmare där försäljningen är mer benägna att klättra.

På detta sätt kan alla företag med hjälp av big data effektivisera sin marknadsföring och verksamhet.

Vad är Hadoop?

Nästa fråga är, hur bearbetar företag så stora datamängder och identifierar trender?

Denna typ av dataknurr kräver enorma datorresurser. Så mycket att företag inte längre använder stora stordatorer på plats som de brukade. Många av dessa tjänster köper nu från molnet. Cloud data intelligence-tjänster som Apache Hadoop erbjuder många datornoder i ett stort molnätverk. Var och en av dessa noder bidrar till den processorkraft som krävs för att analysera massiva dataströmmar från flera källor.

Denna typ av processorkraft är hjärtat i maskin- eller digital intelligens och dataanalys. Hadoop är mjukvaruramen som gör hela detta nätverk av massivt beräkningskraftarbete som krävs för ingenjörer för digital intelligens.

När beräkningsmotorn producerar handlingsbar intelligens levereras dessa vanligtvis till företaget i form av instrumentpaneler eller rapporter.

Big Data är inte bara Buzzwords

Sanningen är att "big data" är mer än bara företagslingo. Många företag lär sig att de genom att utnyttja data bättre kan göra flera resultat.

• Tillverkare kan förbättra kritiska produktionsmätningar som avkastning, kvalitet och effektivitet.
• Återförsäljare kan bättre anpassa marknadsföring, reklam och affärsinvesteringar baserat på marknadsplatssignaler.
• Distributörer kan förutsäga potentiella problem i en leveranskedja för att i förväg utveckla beredskapsplaner.
• Nyhetsorganisationer kan snabbt identifiera nyhetsvärda händelser genom att analysera offentliga signaler på internet.
• Cybersäkerhetsexperter använda signaler över internet för att identifiera cyberattacker medan de pågår.

Även om mycket av vad big data har åstadkommit under de senaste åren förblir praktiskt taget osynligt för allmänheten, har big data faktiskt haft en betydande inverkan på vardagen för människor över hela världen.