Podaci za svakoga

Pregled i analiza podataka - Informacija

vikson | 11 Februar, 2012 17:47

Možda je ovaj članak trebalo napisati prije predhodnog (Tabele - normalizacija), vidjet ćete i zašto.

Prije nekoliko mjeseci smo čitali u Blicu sledeće redove: “Snažni vetrovi i oluje pogodili su Severno ostrvo, jedno od dva glavna ostrva koja čine Novi Zeland, a vlasti upozoravaju da bi duž obale moglo da dodje do pojave tornada “

Danas čitamo u svim novostima sledeće redove: “Posle podne i uveče očekuje se dolazak novih jačih padavina sa juga, te će iz tog talasa ponovo pasti 10-15cm snega u proseku. Današnje padavine, (kao što se i najavljivalo) doneće Srbiji 15 do 25cm novog snega u proseku. “

Razlike izmedju pročitanih podataka skoro da nema. Snijeg i u Novom Zelandu, eto ga i u Srbiji. Da li je to baš tako? Ako živimo u Srbiji, dok smo čitali ove redove reakcije su bile sledeće:

Novi Zeland - prije nekoliko mjeseci: Pročitano i zaboravljeno poslije par minuta
Srbija - danas: Joj moram da izadjem danas. Znači moram da obučem debelu odjeću, cipele sa gumenim djonom, i da gledam da se što manje zadržim vani.

Šta zaključujemo? Podatke iz prvog članka smo pročitali i zaboravili. Podatke iz drugog članka smo upotrebili za donošenje odluke o odlasku iz kuće.

Eto dodjosmo do odgovora na pitanje čemu služe podaci. “Programeri” bi rekli: prenosu informacija, za potrebne analiza i pridobivanje informacija, za dalje obrade.“Neprogramer” bi rekao koristimo ih za dobijanje informacija, koje nam pomažu da donosimo odluke.

Nekako se obje strane slažu da je cilj skupljanja podataka, informacija.

Svi znamo da kada govorimo o bazama podataka, niko ne razmišlja o sakupljanju podataka za lične potrebe, osim ako nismo vlasnici kakvih firmi (vjerujem da oni ne čitaju ove redove).

Još uvijek nismo toliko disciplinovani da bi sakupljali podatke o ličnom životu, i iz njih pravili analize. Mada nije ni to loša ideja, posebno ako imamo neki hronični problem (par svakodnevnih ideja: nestašica novca, želimo smršati/ugojiti se pa nam ne ide, trenirati za bolju kodiciju isl) .

U poslovnom svijetu postoje čitave armije zaposlenih koji se bave analizom poslovanja. Ovi članci su prvenstveno namjenjeni njima.

“Programeri” su razvili čitavu oblast, koja se bavi pretraživanjem i analiziranjem podataka za potrebe podrške odlučivanju u poslovnom svijetu. Ta oblast se popularno zove “Poslovna inteligencija” (Bussiness intelligence - BI). Ova oblast objedinjuje metodologije, tehnologije i platforme za skladištenje podataka (data warehousing), procesiranje podataka za analizu (On-Line Analytical Processing) i rudarenje po podacima (DataMining), koje omogućavaju poslovnim subjektima kreiranje korisnih upravljačkih informacija iz podataka o poslovanju.

Definicija BI je mnogo, ali jedna je ostavila utisak na mene. Bill Gates je na jednoj konferenciji rekao sledeće: Poslovna inteligencija pomaže praćenju, šta zaista funkcioniše i šta ne.

Napola laički rečeno, podatke prikupimo, obradimo u integrisani sistem iz kojeg je moguće dobiti informacije o poslovanju preduzeća, koje ćemo upotrebiti za odluke o daljim aktivnostima.

Skladišta podataka

Skladište podataka je baza podataka, koja se koristi za podršku odlučivanju. To je ustvari skup podataka, iz svih baza podataka koje nastaju u preduzeću, integrisan u jednu cjelovitu bazu.

Postoje razni proizvodi koji služe za skladištenje podataka. U žargonu ih zovemo jednostavno “baze” ili “baze podataka”.

Najpoznatije i najčešće su:

Oracle (verzija 8,9,10,11,12)
IBM DB2 (verzije LUW, for z/OS)
MS Access (mada taj alat ne bi svrstala u bazu podataka)
MS Server (verzije 2007,2008, 2011)
MySQL (verzije 3,4,5)
Oracle Exadata
IBM Netezza
Teradata
Informix (iz istorijskih razloga je na listi)
Sybase
...

O proizvodu koji koristite u vašoj firmi možete detalje pročitati na web site-u proizvodjača.

NAPOMENA

Svi proizvodjači hvale svoje proizvode, ali jedno mora svima biti jasno (i “programerima” i “neprogramerima”). Dobro skladište podataka sadrži tačne i nedvosmislene podatke, koji su dostupni osobama kojima je potrebna.

Integracija podataka je proces združivanja podataka iz različitih izvornih sistema (baza podataka), koji omogućuje jedinstven pogled na podatke. Proces se sastoji iz nekoliko koraka: ekstrakcija, transformacija i prepis podataka (Extraction, Transformation, Load). Vrlo često ćete čuti da se ovaj proces zove i ETL proces. Rezultat ovog procesa je skladište podataka koje sadrži tačne i nedvosmislene podatke.

Pregled i analiziranje podataka

Konačno dodjosmo do početka naše teme bloga. Ako ste zaboravili, naslov je “Podaci za svakoga”. Prije nego počnemo moramo još nešto reći o jeziku za rad sa bazama podataka i o aplikacijama koje koristimo u procesu poslovnog odlučivanja.

SQL (Structured Query Language) je programski jezik namenjen za upravljanje podacima u relacionim sistemima za upravljanje bazama podataka.Obuhvata unos podataka, upite, ažuriranje i brisanje, šeme kreiranja i menjanja, kao i podatke za kontrolu pristupa.

SQL je najviše korišćen programski jezik za baze podataka. SQL je postao standard Američkog nacionalnog instituta za standarde (ANSI) u 1986. god., kao i Međunarodne organizacije za standarde (ISO) u 1987. god. Od tada standard je poboljšan nekoliko puta sa dodatim funkcijama.

Najčešče korišćene komande iz SQL-a su one koje koristimo za upite. Šta su ti upiti? Pojednostavljena pitanja koja “neprogrameri” postavljaju da bi dobili podatke iz baze.

Pošto je to programski jezik, “neprogrameri” imaju otpor do učenja SQL-a. Lično mi nije jasno zašto, ali to nije tema ovog članka.

Zato su “programeri” napravili različite aplikacije za pregled i analiziranje podataka. Evo nekoliko primjera:

Aplikacije za upravljanje podacima (IBM DataStudio, Oracle SQL Developer , SQL Visualizer , MS Access, EMS SQL Management Studio, ...)
Aplikacije namjenski uradjene za pregled podataka i kreiranje izvještaja (SAS, Microstrategy, Cognos, Oracle OBI, Microsoft OLAP, i druge...)
Aplikacije na radnom mjestu ili u privatnom životu u koje unosimo neke podatke (ERP sistemi)
Internetne stranice (i ovi članci koje pišem se čuvaju u nekoj bazi podataka)
Alati za rudarenje po podacima (IBM SPSS, SAS i dr.)

Eto, još malo pa ćemo krenuti na učenje komandi programskog jezika SQL, koje se koriste za pregled i analiziranje podataka. Moramo se još povezati na naše skladište podataka i krećemo.