Kursusel oli kokku 9 moodulit, kus iga juurde anti ka ports kohustuslikku kirjandust lugeda. Loomulikult sel ajal ma seda ei jõudnud lugeda, kuid võtan nüüd eesmärgiks kuu aega järjest lugeda. Vaatame, kuhu jõuame. Lugemine suvalises järjekorras.
Simon Späti: Medallion Architecture moodul 3: andmete integreerimine avab veidi medaljoni arhitektuuri ajaloost tausta.
Medaljoni arhidektuur on lähenemisviis, kus andmetöötlusel on tavaliselt kolm kihti: pronks, hõbe ja kuld. Pronksis andmed jõuavad "meie poolele" nii nagu nad on (AS-IS). Tegeletakse vanade andmete arhiveerimisega ning andmete päritoluga.
Hõbe tasemel kontrollitakse nende kvaliteeti tehes kergemad teisendused (just enough). Luuakse ettevõtte üleseid vaateid ja saab teha iseteeninduslikku analüüsi, st ise koostad oma päringud.
Kuldkihis on andmed valmis tarbimiseks. Siin toimub andmete jõulisem teisendamine äripoolele vajalikeks konkreetseteks juhtudeks. Kasutatakse andmemudeleid, tavaliselt tähtskeem aluseks, kus faktitabel sisaldab tehinguid ja dimensioonitabelid tehingu kirjeldavaid omadusi.
Andmed liiguvad järk-jägult kihtide vahel mustadest → puhasteks, normaliseeritutest → denormaliseerituks, detailsetest → agregeerituteks. Pronks ja hõbe on optimeeritud andmete kirjutamisele ja kuld lugemisele.
Mänguvõimalused kihtidega
Klassikaline andmeladu omas üldiselt nelja kihti: sissevõtt (staging) → puhastamine (cleaning)→ tuum/põhikiht (core) → ärikiht (mart). Medaljoni kolm kihti tuleneb andmejärvedest ning on optimeeritud kasutamiseks just kaasaegse andmetöötluse jaoks.
Nagu artiklis ka mainitakse tegelikkuses on tunduvalt kirjum. Mitme kihiga organisatsioon tegutseb, sõltub organisatsioonist. Kui andmed pole keerukad ja ei vaja väga puhastamist võib piisata kahest kihist, vastupidisel juhul nt neljast.
Eelised
Siit kooruvadki välja medaljoni arhidektuuri pussid. Saab:
- lisada või ära jätta (alam)kihte, st paindlik
- kasutada ELT inkrementaalselt
- kergemini aru andmemudelist
- toorandmetest tabeleid uuesti luua
- taastada andmeid mingil hetkel (time-travel)
- tugineda ACID-põhimõttele, et tehtud muudatused on usaldusväärsed. Kui laadimisel ilmneb viga, siis muudatusi ei tehagi.