Big Podaci

Izraz "veliki podaci" često se koristi u poduzeće postavke za opis velikih količina datum. Ne odnosi se na određenu količinu podataka, već opisuje skup podataka koji se ne može pohraniti ili obraditi pomoću tradicionalnih podataka baza podataka softver.

Primjeri velikih podataka uključuju Google indeks pretraživanja, baza podataka Facebook korisničkih profila i popisa proizvoda Amazon.com. Te su zbirke podataka (ili "skupovi podataka") toliko velike da se podaci ne mogu pohraniti u tipičnu bazu podataka, niti čak na jednom računalu. Umjesto toga, podaci se moraju pohranjivati ​​i obrađivati ​​pomoću visoko skalabilnih podataka sustav za upravljanje bazama podataka. Veliki se podaci često distribuiraju na višestruke uređaji za pohranu, ponekad na nekoliko različitih mjesta.

Mnogi tradicionalni sustavi za upravljanje bazama podataka imaju ograničenja koliko podataka mogu pohraniti. Na primjer, baza podataka Access 2010 može sadržavati samo dvije gigabajta podataka, zbog čega je nemoguće pohraniti nekoliko njih petabajta or egzabajti podataka. Čak i ako DBMS može pohraniti velike količine podataka, on može raditi neučinkovito ako ih ima previše tablice or ploče se stvaraju, što može dovesti do sporih performansi. Rješenja za velike podatke rješavaju ove probleme pružajući visoko prilagodljive i skalabilne sustave za pohranu.

Postoji nekoliko različitih vrsta velikih podataka softver rješenja, uključujući platforme za pohranu podataka i programe za analizu podataka. Neki od najčešćih softverskih proizvoda za velike podatke uključuju Apache Hadoop, IBM-ovu platformu za velike podatke, Oracle NoSQL Baza podataka, Microsoft HDInsight i EMC Pivotal One.