Big data

Quando i dati da analizzare per estrarre informazioni significative sono talmente grandi da andare olte le capacità dei normali data base, si parla di big data, miliardi di terabyte da trattare con potenza di calcolo parallelo con software intelligenti e centinaia o migliaia di server che lavorano contemporaneamente per trattare in modo sempre più veloce insiemi di dati sempre più grandi.

Un sistema di big data è caratterizzato dalle cinque V: volume, velocità, varietà, veridicità, valore dei dati. Acquisisce e gestisce massicce quantità di dati al secondo, sia con dati omogenei e strutturati, sia con dati eterogenei che riesce ad integrare fra loro, come immagini, video, conversazioni sociale messaggistica, dati satellitari. I flussi di dati sono forniti da uomini (gli acquisti con carta di credito, per esempio) o da macchine (rilevatori sismici o meteo, dati finanziari, ecc.).

E’ in grado di estrarre anche informazioni nascoste o implicite, tendenze e profili socio-economici che emergono solo da grandi flussi di dati. Impiega software di analisi semantica approfondita capaci di leggere e interpretare tutta la conoscenza potenzialmente interessante, identificando in automatico le relazioni concettuali fra le varie informazioni, anche crittografate.

Il big data, rispetto alla business intelligence, utilizza la statistica inferenziale per fare previsioni, e sistemi non lineari per modellizzare comportamenti casuali, ricorsivi e interdipendenti come nella meteorologia o nella geotermia.