Elokuun linkkitiistai keskittyy Big Dataan liittyviin juttuihin, kuten aiemmassa blogikirjoituksessa lupasin.

ReadWrite Enterprisen blogissa on hyvä yhteenveto Big Dataan liittyvistä käsitteistä (katso myös aiemmat osat). Saman julkaisun toisessa artikkelissa analysoidaan Gartnerin uusinta “Hype Cycle for Emerging Technologies 2011″ -ennustetta, johon myös Big Data on ilmestynyt. Big Datan keskeisiä määritteitä ja sen hyödyntämisen potentiaalia on visualisoitu myös infografiikan muodossa Get Satisfactionin blogissa.

• From Big Data to NoSQL: The ReadWriteWeb Guide to Data Terminology (Part 3), Klint Finley, 12.8.2011
• Gartner Adds Big Data, Gamification, and Internet of Things to Its Hype Cycle, Joe Brockmeier, 11.8.2011
• Get Satisfaction: Infographic: The Potential of Big Data, Andy Wibbels, 13.8.2011

BeyeNETWORKin kolumnissa tiivistetään tutkimusyhtiö McKinsey Global Instituten tekemän “Big Data”-raportin tuloksia. Raportin mukaan koko termi ja määritelmä on subjektiivinen ja vaihtelee toimialoittain. Kolumnissa kuitenkin kuvataan, millaisia hyötyjä big datan avulla voidaan saavuttaa.

• BeyeNETWORK: Big Data – The Next Frontier?, Steve Williams, 19.7.2011

SANDin Steven Green kuvaa tilanteita, joihin Big Datan yhteydessä usein mainittu MapReduce-malli, ja erityisesti tuote Hadoop soveltuu, ja milloin taas perinteiset tietokannat ovat parempi vaihtoehto.

Dion Hinchcliffe käsitteli aihetta jo pari vuotta sitten ebizQ:n blogissa. Hänen mielestään on selvää, ettei MapReduce-malli ei voi korvata perinteisiä relaatiotietokantoja, mutta voi näiden kanssa käytettynä mahdollistaa useita mielenkiintoisia ratkaisuja, joiden avulla voidaan lisätä joustavuutta, parantaa vasteaikoja je ratkoa uudenlaisia ongelmia. Hän kuvailee kymmenen tapaa, joilla perinteisten tietokantojen tehokkuutta voidaan lisätä.

Hinchcliffe palasi aiheeseen hiljattain pariinkin otteeseen. ebizQ:n blogissa hän lähestyy asiaa sosiaalisen median ja Business Intelligencen yhdistämisen näkökulmasta. Big Datan hyödyt esim. sosiaalisen median tapahtumien yhdistämisessä liiketoimintatietoon ja sen analysoimisessa ovat selviä. ZDNetin blogissa hän kirjoittaa haasteista, joita Big Datan hyödyntämiseen liittyy. Suurimmat haasteet liittyvät osaamiseen – käytön on oltava todella helppoa ja laajaa, muutoin suurimpia hyötyjä ei saavuteta.

• Big Data: Where Hadoop fits, Steven Green
• ebizQ: 10 Ways To Complement the Enterprise RDBMS Using Hadoop , Dion Hinchcliffe, 7.9.2009
• ebizQ: Harnessing Social Business Intelligence: Nine Strategic Uses , Dion Hinchcliffe, 22.8.2011
• ZDNet: The enterprise opportunity of Big Data: Closing the “clue gap” , Dion Hinchcliffe, 15.8.2011

MIT:n Technology Review kirjoittaa, kuinka tiedonlouhinta on muuttunut viime vuosina. Tutkittava tieto ei ole enää jäsenneltyä, vaan valtava strukturoimaton “sotku” ja tiedon hyödyntäminen on siirtynyt tutkijoilta liiketoiminnan puolelle.

• MIT Technology Review: The New Big Data, Erica Naone, 22.8.2011

Big Datasta kirjoittelu jatkuu varmasti kiivaana, joten palaan myös InfoBuildin blogissa jatkossa asiaan…

Mikko Muurinen

Jos lukee IT-alan julkaisuja, huomaa nopeasti, että tapetilla on taas uusi kuuma aihe, josta kaikki puhuvat. Big Datasta kirjoitettuja juttuja lentää silmille yhä useammin. Big Data nostettiin hiljan myös Gartnerin Hype Cyclen for Emerging Technologies 2011 -analyysiin.

Mitä Big Data sitten onkaan?

Big Datalla tarkoitettiin aluksi sellaista tietomäärää, jota ei käytännössä pystytty lataamaan relaatiotietokantoihin analysoitavaksi. Joko sitä oli liian paljon tai sitten se oli strukturoimatonta.

Tiedon määrän kasvu on tunnetusti ollut eksponentiaalista ja kaiken tarvittavan tiedon hakeminen, lataaminen, varastointi, jakelu, analysointi ja visualisointi on vaikeutunut kaiken aikaa. Tietoa tursuaa esim. uudenlaisista antureista, RFID-tägeistä tai reaaliaikaisemmasta prosessien seurannasta. Kaikesta tarvittavasta tiedosta on lisäksi reilusti suurin osa struktroimatonta, esim. uutistietoa, analyysejä tai dokumentteja.

Pelkkä tiedon määrä ei pysynyt pitkään ainoana Big Datan määrittäjänä. Joillain isot tietomassat saattavat tarkoittaa petatavuja, joissain yrityksissä vaikeuksia tulee jo huomattavasti pienemmillä määrillä. Useat tietokantateknologiat ja tietovarastot kykenevät fyysisesti käsittelemään suuriakin tietomassoja, mutta silti ongelmat eivät ratkenneet.

Kuvaukseen piti lisätä myös tiedon määrän (Volume) lisäksi tiedon muutos- tai tarvitsemisnopeus (Velocity) ja monipuolisuus (Variety). Mikä tahansa näistä kolmesta saattaa aiheuttaa ongelmia perinteisissä tiedon hallinnan ratkaisuissa…

Big Dataan liitetään usein myös pilvipalvelu-konsepti, sekä käsittelyn hajauttamisen, että erilaisten tietolähteiden hyödyntämisen näkökulmasta. Suhteellisen edullinen skaalautuvuus esim. MapReduce -tyyliseen käsittelyyn, jossa jaetaan sama kysely sadoille tai tuhansille koneille, mahdollistaa aivan uudentyyppisten analyysien teon. Enää ei tarvitse odottaa yön yli analyysien valmistumista.

Monessa kohtaa yllämainittua kuvausta tulee kuitenkin mieleen, että tämähän on sitä samaa asiaa, josta ollaan puhuttu jo kauan… Massiiviset tietovarastot, data mining, reaaliaikainen BI, useiden tietolähteiden yhdistäminen jne. ovat olleet osana ratkaisuja jo pitkään. Itse asiassa suurin osa kaikista Big Datan yhteydessä mainituista hyödyistä ja käytännön esimerkeistä on tehty jo aiemminkin.

Mikä sitten on muuttunut? Se, että uudet ratkaisut mahdollistavat yhä edullisemmin ja helpommin Big Data -tyyppisen tiedon hyödyntämisen. Eli tietoa voi olla aiempaa enemmän, useammasta lähteestä, jopa reaaliaikaisena, ja sitä pystytään käsittelemään ja analysoimaan yhä edullisemmin ja tehokkaammin.

Enää ei tarvitse lisätä rautaa rajalle, tehdä hirveitä virityksiä  tai jatkuvaa optimointia tietokantoihin tietomassojen kasvaessa. Jos lähtisi esim. analysoimaan perinteisellä tavalla Twitter- ja muun sosiaalisen median viestien vaikutusta myyntiin ja asiakastyytyväisyyteen, saisi pistää melkoisesti rahaa tietovaraston rautaan, lisensseihin ja latausprosesseihin.

Kannattaa kuitenkin tehdä tässäkin asiassa “reality check” – miksei parikin. Suurta osaa bisnes-ongelmista ei ratkota lisäämällä tiedon määrää tai päivitysnopeutta. Tärkein osa koneistoa on analysoijan ja tiedon hyödyntäjän pääkopan sisällä. Jos ei osata muodostaa oikeita kysymyksiä, ei pystytä hyödyntämään suurta osaa tiedosta. Mikään kone ei tuota tietämystä ihmisen puolesta.

Tiedon laatu on myös entistä tärkeämpää. Mitä väliä on valtavista tietomassoista, jos tiedot ovat vääriä tai ristiriitaisia, poissa kontekstistaan tai muuten laaduttomia? Millaisin oletuksin tietoja kerätään, millaisin prosessein tieto on syntynyt ja mitä on mahdollisesti jätetty pois? Onko nämä seikat kuvattu tiedon hyödyntäjälle?

Big Data on vielä alkuvaiheissaan. Aikaiset omaksujat ovat alkaneet tutkia asiaa ja Big Data tulee nousemaan vielä hypetyksessä hieman ylemmäs, ennen kuin ensimmäiset isot epäonnistumiset ilmaantuvat ja turhat kuvitelmat karisevat.

Kypsyessään Big Data mahdollistaa useilla aloilla – ja yhä pienemmillekin yrityksille – uudenlaista Business Intelligenceä. Mutta ei kannata pidättää hengitystä… Mainstreamia Big Datasta tulee vasta muutaman vuoden kuluttua. Tällä hetkellä uusia mahdollisuuksia kannattaa kuitenkin käyttää tietyissä erityistapauksissa, joissa tarvitaan innovatiivisia ratkaisuita ja joihin nykyiset menetelmät eivät pure.

Kuitenkin jo nyt Business Intelligence- ja integraatioratkaisuissa kannattaa ottaa huomioon Big Datan vaatimukset niin erilaisten tietolähteiden reaaliaikaisessa käytössä, skaalautuvuudessa kuin käsittelyn hajauttamisessakin. Nousevatpa esiin sitten termit, teknologiat tai tuotenimet kuten cloud computing, Hadoop, NoSQL, NewSQL, MapReduce, MPP, BigTable, 1010data, Netezza tai Teradata, on oltava valmiita. Liiketoiminnan tarpeet saattavat tarvita uusien menetelmien hyödyntämistä nopeallakin viiveellä. Älä unohda myöskään tiedon laadun hallinnan nivomista näihin…

Minua kiinnostaisi tietää, onko teillä Big Dataan liittyviä haasteita tai kokemuksia… Laita kommenttia niin saadaan keskustelua pystyyn! Jos julkinen kommentointi ei houkuta, laita vaikka suoraan meiliä mikko.muurinen -at- infobuild.fi…

Ps. Kerään seuraavaan Linkkitiistaihin parhaimpia Big Dataan liittyviä linkkejä.

Pps. Tilaa blogin RSS-syöte, niin saat uusimmat blogikirjoitukset suoraan syötteiden lukuohjelmaasi, eikä sinun tarvitse käydä tarkistamassa päivityksiä sivustolta!

Mikko Muurinen

Kirjoitussarja Business Intelligencen hyödyntämisvinkeistä jatkuu…

Vinkki 3: Älä tee vääriä johtopäätöksiä raportointitarpeiden kartoituksista

Miksi niin usein liiketoimintatiedon hallinnan hankkeiden lopputulokset ja ratkaisut eivät kartoituksista ja esivalmisteluista huolimatta saavuta täyttä käyttöpotentiaaliaan, eivätkä houkuta käyttäjiä niitä hyödyntämään?

Usein Business Intelligence -hankkeiden kartoitusvaiheessa kysellään käyttäjiltä heidän tarpeitaan ja odotuksiaan BI:n suhteen. Kysellään esim. mitä informaatiota tarvitaan, tai missä muodossa. Vastaukset ovat usein samankaltaisia. Käyttäjät kaipaavat joustavuutta ja vastauksia esille tuleviin “ac hoc” -kysymyksiin, sillä tarvittava tieto muuttuu jatkuvasti.

Vastaukset ovat usein melko ympäripyöreitä ja monitulkintaisia, sillä käyttäjät eivät välttämättä osaa muotoilla ja ilmaista tarpeitaan selkeästi.

IT tulkitsee nämä vastaukset usein väärin ja suunnittelee Business Intelligence -ratkaisun pohjautuen keskitettyyn tietovarastoon ja sen päällä käytettävään BI-työkaluun. Loppukäyttäjien vastaukset eivät kuitenkaan viitanneet työkaluihin tai tietovarastoon…

Muutaman asian ylimääräisellä tarkastelulla voidaan päästä käytännönläheisempiin vastauksiin ja oikeampaan tarpeiden täyttämiseen:

1. Millaiset ovat käyttäjien tietotekniset taidot?

Yleensä vain 10-15 prosenttia kaikista liiketoimintatiedon tarvitsijoista yrityksessä on tietotekniseltä osaamiseltaan sillä tasolla, että he pystyvät täyttämään tietotarpeensa käyttämällä erillistä BI-työkalua. Nyrkkisääntönä voisi pitää sitä, osaako käyttäjä esimerkiksi sujuvasti käyttää taulukkolaskentaohjelman kaavoja ja vaativampia toimintoja. Jos osaa, on BI-työkalun käyttö heille teknisesti mahdollista. Usein kuitenkin tällöinkin törmätään seuraavaan seikkaan:

2. Kuinka paljon käyttäjät voivat kuluttaa tiedon etsintään ja analysointiin?

Vain tietyillä käyttäjäryhmillä on mahdollista panostaa merkittäviä osia työajastaan tiedon etsintään ja analysointiin, useimmilla ei tällaista mahdollisuutta ole, vaan tieto pitäisi saada mahdollisimman nopeasti ja hyödynnettävässä muodossa. Analyytikoille tarkoitetut BI-työkalut ovat siis vain pienelle joukolle sopiva ratkaisu.

3. Minkä tyyppisiä kysymyksiä käyttäjät esittävät?

Eri tyyppisiin kysymyksiin löytyy vastaus eri tavoin. Kun kysytään, mikä jonkin tunnetun asian tilanne tällä hetkellä on, puhutaan usein raporteista, mittaristoista tai tuloskorteista. Sen sijaan jos tarvitaan tietoa, jota ei saada valmiina, mutta jonka tiedetään olevan olemassa, voidaan hyödyntää “ohjattua ad hoc”-, ad hoc- tai parametroitua raportointia.

Joskus ei tiedetä, mistä tieto löytyy. Kysymykset kuuluvat esim. “onko … olemassa?”, “mikä on …?”, “kuinka tehdään …?” Tämän tyyppisiä kysymyksiä hakukoneet kuten Google käsittelevät lukemattomia määriä päivässä, joten myös yritysmaailmassa lähestymistapa kysymyksiin voisi olla luontevimmin hakuteknologioihin perustuva.

Tiedon visualisointi puolestaan voi auttaa vastaamaan kysymyksiin poikkeavuuksista, trendeistä, riippuvuuksista tai eri asioiden välisistä suhteista. Ennakoivaa analytiikkaa ja mallintamista tarvitaan taas vastaamaan kysymyksiin tulevasta, erilaisista skenarioista ja riskeistä.

4. Kuinka paljon käyttäjät ovat liikkeellä (kuinka usein toimistolla)?

Sellaiset käyttäjät, jotka ovat merkittävän ajan työajastaan muualla kuin oman työpisteen äärellä, tarvitsevat monipuolisempia mahdollisuuksia päästä tietoon käsiksi. Tällaisten käyttäjien osalta puhutaan mm. mobiiliratkaisuista tai offline-analysoinnista.

5. Kuinka ajantasaista tiedon tulee olla?

Tiedon ajantasaisuuden tarve voi vaihdella käyttötarkoituksittain. Ajastettua tietojen päivittämistä voidaan käyttää silloin, kun tietojen ei tarvitse olla kuin tietyllä tarkkuustasolla ajantasaisia. “On demand”- tai tarvittaessa suoritettavat raportit tulevat kysymykseen silloin, kun tarvitaan tietää ajantasainen tieto operatiivisten järjestelmien tietokannoissa, esimerkiksi varastosaldo. Vain tietovarastoon pohjautuva arkkitehtuuri ei mahdollista tällaisten ad hoc -tarpeiden täyttämistä.

Todellinen reaaliaikaisuuden tarve tulee esille silloin, kun on tarve hallita ja seurata todellisia liiketoiminnan operatiivisia prosesseja. Informaatiota, ilmiöiden esiintymistiheyksiä ja poikkeamia saatetaan joskus haluta seurata niin reaaliaikaisesti, että tapahtumat eivät ole välttämättä ehtineet päivittyä mihinkään tietokantaan saatika tietovarastoon. Mikään käyttäjän toimia vaativa ratkaisu ei tässä yhteydessä toimi, sillä tällöin syntyy aina viivettä. Ratkaisuiden on oltava dynaamisesti tapahtumien perusteella päivittyviä.

Mitä muuta on huomioitava?

Ratkaisuja suunniteltaessa on tämän jälkeen otettava huomioon käyttäjien tarpeiden suhde erilaisiin tekijöihin.

Riippuen käytettävästä

a) päätelaitteesta (selain työasemassa, kännykässä tai kannettava tietokoneessa, sähköpostiohjelma, RSS-syötteenlukija jne.),
b) kyselymenetelmästä (hakulaatikko, lomake, OLAP- tai Ad Hoc -työkalu jne.),
c) esitysmuodosta (taulukko, kaavio, mittaristo, kartta jne.) ja
d) tulostusmuodosta (Excel, PDF, PowerPoint, XML, CSV jne.),

sekä näiden yhdistelmistä, ja yllämainituista käyttäjäryhmittäisistä ominaisuuksista, voidaan tehdä huomattavasti käytännönläheisempiä päätöksiä siitä, millaisilla ratkaisuilla erilaisten käyttäjäryhmien tarpeet voidaan täyttää.

Todennäköisesti yrityksissä tämän pohdinnan perusteella havaitaan, että parhaaseen tulokseen päästään, kun ei lähdetä yhdestä lukkoon lyödystä BI-työkalusta, vaan tarjotaan erilaista “ratkaisu-mixiä” erilaisille käyttäjille.

Ensi kerralla vinkkejä eri toteutusvaihtoehtojen punnitsemisesta.
 

Mikko Muurinen

Internetin kautta palveluna käytettäviä myynnin, markkinoinnin ja asiakkuudenhallinnan tietoja käsitteleviä CRM-ohjelmistoja voidaan hyödyntää yrityksissä paljon nykyistä tehokkaammin. Ohjelmistojen integraatio säästäisi työaikaa, toisi liiketoimintaan enemmän ennustettavuutta ja parantaisi strategisen asiakastiedon hyödyntämistä.

Palveluna käytettävien software as a service (SaaS) -ohjelmistojen käyttö on kovaa vauhtia yleistymässä. IDC:n arvion mukaan palveluna tarjottavien ohjelmistojen käyttö kasvaa vuoden 2009 aikana 40 %, ja eri arviot ennustavat SaaS-ohjelmistoille 9–30 % markkinaosuutta muutaman vuoden sisällä. SaaS-palveluista suosittuja ovat erityisesti CRM- ja taloushallintosovellukset.

Monia yrityksiä houkuttaa SaaS-mallin helppous: ei asennuksia, ei ylläpitoa. Ongelmana on kuitenkin usein integroitavuus muihin tietojärjestelmiin. Kun SaaS-ohjelmisto pyörii muista järjestelmistä erillään, sen sisältämää tietoa ei pystytä kunnolla hyödyntämään.

Tietojen tuominen SaaS-ohjelmistoista toisi yrityksille monia hyötyjä. Esimerkiksi myynnin ja varastonhallinnan tietojen yhdistäminen helpottaisi kysynnän ennakointia, jolloin varastoja voisi optimoida entistä paremmin. Myynnin tietojen yhdistäminen taloushallintoon taas parantaisi talouskehityksen ennakoitavuutta.

Myynnin, markkinoinnin, laskutuksen, puhelinpalvelun ja muiden järjestelmien tietoja voisi myös integroida yhdeksi asiakaskohtaiseksi näkymäksi, jolloin asiakkuuksien kehitystä voitaisiin seurata paljon paremmin ja asiakaspalvelu nopeutuisi. Myös asiakaspalautteena tulevat tiedot tuotteiden ja palvelujen puutteista voitaisiin hyödyntää tehokkaammin, jos tiedot integroitaisiin myynnin, tuotekehityksen ja laadunhallinnan järjestelmiin.

Integrointipanostus kannattaa, sillä jo melko pienessäkin yrityksessä työntekijöiltä kuluu niin paljon vuosittaista työaikaa manuaaliseen tiedonhakuun ja -käsittelyyn, että investointi maksaa itsensä nopeasti takaisin. Puhumattakaan sen aiheuttamista kustannuksista, kun tärkeä tieto jää kokonaan käyttämättä ja bisnespäätöksiä tehdään mutu-tuntumalla.

Markku Sillanmikko

Yrityksen tietojen oikea-aikaisuuden tarve on kasvanut ympäröivän maailman muuttumisen myötä. Uutiset eivät ole enää päiviä jälkijunassa, vaan niitä virtaa luoksemme reaaliajassa. Pankin (useimpien ) nettipalvelussa voit tarkistaa todellisen ja reaaliaikaisen saldosi. Lentoja varatessa saat reaaliaikaiset tiedot paikkojen saatavuudesta, ja voit valita haluamasi istuimen.

Oikea-aikaisen ja yhä laajemmalle laajenevan tietojen tarpeen täyttäminen vaatii myös Business Intelligence-ratkaisuilta uudenlaista lähestymistapaa.

Oikeastaan paras BI on sitä, jota kukaan ei ole koskaan nähnyt. Loppukäyttäjien ei tarvitse tietää, että jokin ratkaisu on BI-ratkaisu, kullekin tärkeintä on saada omat työnsä tehtyä mahdollisimman tehokkaasti ja vaivattomasti.

BI:n arvo operatiivisille työntekijöille tarkoittaa siis sitä, että BI on näkymätön. Pitkät luettelot teknisiä ominaisuuksia, jotka ovat tärkeitä muutamille tehokäyttäjille, eivät ole oleellisia. Operatiiviset työntekijät eivät voi osallistua kolmen päivän luokkakoulutukseen vain jonkin monimutkaisen työkalun oppimista varten.

BI:n on oltava joustava ja upotettavissa erilaisiin prosesseihin. Ratkaisun arkkitehtuurin tulee myös mahdollistaa komponenttien integroimisen muihin teknologioihin, jopa sellaisiin, joita ei vielä ole edes olemassa.

Joustavan käyttöliittymän tulee mahdollistaa yrityksen kaikille käyttäjille, raporttien saamisen lisäksi, helppojen, ratkaisulähtöisten ad hoc-analyysien tekemisen ilman, että täytyy siirtyä erilliseen työkaluohjelmistoon analyysia tai raporttia luomaan.

Tämä vaatimus juontaa siitä, että BI on enemmän kuin pelkkää raportointia. Myös metatiedot, analysointi, suorituskyvyn mittaaminen, paikkatiedon yhdistäminen raportteihin jne. on otettava huomioon.

Raportointi mittaa tapahtumia ja asioita, jotka ovat hyvin ymmärretty ja ennustettavissa. Analyysi puolestaan auttaa kehittämään ymmärrystä. Raportit estävät toistamasta virheitä, mutta analysoinnin ja ennakoinnin avulla voit välttää tekemästä uusia virheitä.

Pelkkä raporttien jakelun parantaminen ei muuta ihmisten käyttäytymistä tai paranna prosesseja. Analytiikka tulisikin rakentaa raportoinnin ohella osaksi yrityskulttuuria. Tämä onnistuu kehittämällä ratkaisuita, joita ihmiset haluavat käyttää ja pitämällä painopisteenä kokeilunhalun lisääminen sekä tutkiva ja leikittelevä lähestymistapa. Millainen on Business Intelligence-kulttuuri sinun yrityksessäsi?

Mikko Muurinen