Mis on suurandmed?

Kuidas

KõrvalRyan Dube

Viimati uuendatud26. märts 2020

Aastate jooksul on paljudes tööstusharudes moes hulgaliselt hüüdnimesid. Vähesed on muutunud nii populaarseks ja nii kaua kui suurandmed. Kuid mis täpselt on suurandmed?

Suurandmed viitavad mitmesugustest allikatest pärit virtuaalsele ookeanile, mida analüüsitakse ja filtreeritakse viisil, mis võimaldab saada asjalikke ja teostatavaid tulemusi.

„Suurandmete“ tähenduslikeks tulemusteks muundamise protsess võib tunduda keeruline ja keeruline. Kui aga olete aru saanud, mis suured andmed on ja kuidas need toimivad, ei tundu mõistmine, kuidas need oluliseks muuta, nii keeruline.

Mis on suurandmed?

Kui kuulete, kuidas inimesed räägivad suurtest andmetest, on see tavaliselt kätega vehkimine ja suurte sõnadega. Kuid kogu hüperbooli keema panemisel on tegelik „andmestik” tegelikult mitu mitut andmesisestusvoogu.

Selle mõistmiseks võib abiks olla näide. Oletame, et juhite vihmavarju tootvat ettevõtet. Teie turundusosakond otsib viisi, kuidas paremini ennustada, millal turunõudlus hakkab tõusma.

Enne suurandmete päevi uuriksid turundajad turusuundumusi, saadaksid klientide uuringuid ja paljusid muid tegevusi.

Nad koguksid kõik need andmed ja salvestaksid need oma ettevõtte siseandmebaasidesse. Keegi võib isegi vastutada turundusuuringute andmete ajakohastamise eest igal aastal või kord kvartalis.

Suurandmete tulek laiendab aga võimalust sedalaadi uuringuid läbi viia. Eelkõige on suurandmed eriti tõhusad oluliste suundumuste või sündmuste tuvastamiseks peaaegu reaalajas.

Sellise „suurandmete” analüüsi jaoks tuleb sisestada reaalajas andmevooge, kirjutades koodi, mis sisestatakse Rakenduse programmeerimisliides (API) paljudest erinevatest ettevõtetest, kes on need andmed avalikustanud:

• Twitter ja Facebook: Tuvastage, millal ja miks inimesed vihmavarjude ostmist arutavad.
• Ilm: Tuvastamine ilmastikutingimused või ennustusi, mis võivad muutuda suuremaks katusmüügiks.
• Aktsiaturg: Hooajalised muutused vihmavarjude tootmiseks kasutatava tooraine hinnas.
• Kliendi veebikasutus: Teabe kasutamine saidil arvutiküpsised inimestest, kes külastavad ettevõtte kataloogi, et mõista ostukäitumist.
• Kliendi ostmise ajalugu: Jaemüügiettevõtete müügipunktide geograafia ja aastaaegade jälgimine.

Suurte andmete kasutamiseks peaks selle ettevõtte turundusmeeskond mõnel juhul installima uue tehnoloogia.

Suurandmed ja Internet

See võib hõlmata asjade Interneti (IoT) tehnoloogiat jaemüüjates, mis jälgib ja näitab tarbijate käitumist. Või võib juhtuda, et programmeerija kirjutab Twitteri API-ga liidestamiseks vajaliku koodi, et filtrida välja kõik vihmavarju või ettevõtte nime mainivad Tweets.

Kõik need tehnoloogiad on nüüd tänu internetile saadaval. Internet võimaldab kõigil kasutada andmevooge kogu maailmast.

Siit saate teada, kuidas antud juhul võib meie enda näites seadistus töötada.

See diagramm näitab, kuidas andmed voolavad ettevõtte andmete järve paljudest erinevatest allikatest. Sissetulevad andmed võivad olla erinevalt üles ehitatud, kuid oluline on koguda kõigist allikatest võimalikult palju andmeid.

Mis on andmejärv?

Erinevalt andmebaasist, mis sisaldab struktureeritud andmeid kindlatesse veergudesse ja ridadesse, on andmejärv tohutu paljude eri vormide andmete hoidla.

Salvestatud andmed võivad olla struktureeritud või struktureerimata. See tähendab, et sellel võivad olla struktureeritud read ja veerud või ei. Andmed võivad olla stringid, mis kasutavad andmete eraldamiseks kindlat vormingut. Iga andmeallikas saab andmeid andmejärvele esitada mis tahes vormis, mis talle meeldib.

Pildistage andmejärve nagu massiline raamatukogu, mis sisaldab mitmesuguseid meediumivorme, näiteks raamatuid, pilte mikrofišil ja videot DVD-del.

Kujutage ette digitaalse intelligentsuse ja andmeanalüüsi inseneri selle raamatukogu patroonidena. Need kliendid saavad digitaalselt koguda andmeid raamatutest, mikrofišidest ja DVD-delt ning leida viise, kuidas neid andmeid segada ja kombineerida, ning õppida asju andmete korrelatsioonist.

Nendest õppetundidest tuleb tegelik, teostatav intelligentsus. Mõned neist meie näites võivad sisaldada järgmist:

• Vestlus Twitteris ja Facebookis osutab New Yorgis lähenevale tormisele, kus tuhanded kliendid plaanivad vihmavarju osta.
• Arvutiküpsiste ostmise andmed ja jaemüügi kassad näitavad, et Californias on ostjad valmis maksma disaineri vihmavarjude eest rohkem kui Virginia inimesed.
• Suur lähenev tormimuster näitab, et suurem osa idarannikust on terve nädala jooksul vihmahoogudega kaetud.

Kõik need õppetunnid võivad ärgitada turundusmeeskonda investeerima rohkem geograafilisse reklaami, kus katusemüügi nõudlus on palju tugevam. Tootmistoimingud võiksid ka oma tootmistegevuse ümber suunata maailma nendele piirkondadele, kus müük kasvab tõenäolisemalt.

Sel moel saab suurandmeid kasutades iga ettevõte oma turundust ja toiminguid sujuvamaks muuta.

Mis on Hadoop?

Järgmine küsimus on, kuidas ettevõtted töötlevad nii suurt andmemahtu ja tuvastavad suundumused?

Selline andmete krigistamine nõuab tohutuid arvuti ressursse. Nii palju, et ettevõtted ei kasuta enam suuri suurarvuti arvuteid ruumides nagu vanasti. Paljud neist teenustest on nüüd pilve ostud. Pilveandmete luureteenused nagu Apache Hadoop pakuvad suurel pilvivõrgul palju arvutisõlmeid. Kõik need sõlmed aitavad kaasa töötlemisvõimsusele, mis on vajalik mitmete allikate massiliste andmevoogude analüüsimiseks.

Selline töötlemisvõimsus on masina või digitaalse intelligentsuse ja andmete analüüsi keskmes. Hadoop on tarkvararaamistik, mis paneb kogu selle massiivse arvutusvõimsuse võrgu tööle nii, nagu seda vajavad digitaalse intelligentsuse insenerid.

Kui arvutusmootor on loonud rakendatava intelligentsuse, edastatakse need ettevõttele tavaliselt armatuurlaudade või aruannete kujul.

Suurandmed pole lihtsalt sõnad

Tõde on see, et “suurandmed” on midagi enamat kui pelgalt korporatiivne lingo. Paljud ettevõtted õpivad, et andmeid paremini ära kasutades on nad võimelised saavutama arvukaid saavutusi.

• Tootjad saavad parandada kriitilisi tootmismõõdikuid, näiteks saagikust, kvaliteeti ja tõhusust.
• Jaemüüjad saavad turunduse, reklaami ja äriinvesteeringuid paremini viia vastavusse turu signaalidega.
• Turustajad suudavad prognoosida situatsiooniplaanide ennetamiseks võimalikke probleeme tarneahelas.
• Uudisteorganisatsioonid saavad kiiresti tuvastada uudiste väärilisi sündmusi, analüüsides avalikke signaale Internetis.
• Küberturvalisuse eksperdid kasutage Interneti kaudu signaale küberrünnakute tuvastamiseks nende toimimise ajal.

Ehkki suur osa viimastel aastatel saavutatud suurandmetest jääb avalikkusele praktiliselt nähtamatuks, on suurandmetel tegelikult kogu maailma inimeste igapäevaelus oluline mõju.