Programvara

För bättre värde från big data förbättra modeller och algoritmer

Med all hype runt stora data analytics ges inte tillräcklig uppmärksamhet till kvaliteten på data eller validering av modeller byggda på data.

Koefficienterna för bestämning kan enkelt manipuleras för att passa hypotesen bakom modellen. Som sådan, inte detta också snedvrida analys av residualerna? Modeller för rumsliga och tidsmässiga data tycks bara komplicera validering ytterligare. Data management verktyg har förbättrats för att öka tillförlitligheten hos de data-ingångarna. Tills maskiner utforma modeller, skulle fokus på giltigheten av data förbättra modellvalidering och minska, inte eliminera inneboende bias.

Algoritmer är bränslet för ett korrelationsmotorn att upptäcka nyare och mer meningsfulla relationer i big data. Föregripande analytics framgång bygger på uppgifter som valts, kvaliteten på de data som matas in i modellen och de statistiska modeller som används för att analysera data. Avancerade statistiska, datautvinning och maskininlärning algoritmer kan gräva djupare för att hitta dessa mönster snabbare och mer kostnadseffektivt än overmatched traditionella BI-verktyg. Den vinnande formeln ligger i att utveckla kraftfulla nya algoritmer att ledande företag använder att stärka konkurrenskraften och varumärke uppfattning, köra kostnadseffektiviseringar i alla aspekter av företaget, och hantera risker mer aktivt samtidigt följa data styrning och säkerhet mandat.

Under nästa år, förväntar mig snabbare antagande av predictive analytics inom och över affärsfunktioner som organisationer försöker hitta större värde från sina data. Predictive analytics hjälper organisationer avslöja tidigare dolda mönster, identifiera, klassificeringar, föreningar och segmenteringar och göra mycket mer korrekta prognoser från strukturerad och ostrukturerad information. Detta kommer att dramatiskt påverka företagets strategi och planering processer som företag och tjänsteleverantören förlitar sig på analys i realtid för aktuell aktivitet och förutse vad som kommer hända härnäst. Genom att identifiera de viktigaste drivkrafterna för olika affärsresultat, aktiveras organisationer ytterligare att leverera mer personlig och kontextuella kundupplevelser.

Det finns dock en vanlig missuppfattning - drivs delvis av företag med rötter i bearbeta komplex händelse - att predictive analytics kan förutsäga framtiden. "Föregripande analytics" är kanske en bättre, mindre säljbara namn. Statistik professorn i min MBA-program presenterade många år sedan sig för klassen genom att säga att statistiken kan användas för att bevisa någon synpunkt. Han har fortfarande rätt. Men är bättre modeller och algoritmer vägen till att förverkliga löftet om stora analytics.

Den 3 april, 2013