Data Warehouse, Data Mart, Data Mining, OLAP (MOLAP,ROLAP,HOLAP), BI

Nama	Taufik Hilmi
Kelas	3D
Nama	1083177 (ikut mengulang Kapita Selekta di kelas 3D)

---

1 Datawarehouse

kumpulan macam-macam data yang subject oriented, integrated, time variant, dan nonvolatile. dalam mendukung proses pembuatan keputusan. (Inmon and Hackathorn - 1994)
~Subject oriented: diorganisasikan pada subjek-subjek utama, seperti pelanggan, barang/ produk, dan penjualan.
~Integrated: menggabungkan data yang berbeda. relational database, flat file, dan on-line transaction record ~Time variant: data yang tahun-tahun lalu
~Non volatile: data akan di tampung dalam tiap-tiap waktu.dua operasi initial loading of data dan access of data

1.2 Arsitektur Data Warehouse

Kelebihan

Kekurangan

- Memahami tren bisnis dan membuat keputusan berdasarkan peramalan (forecasting)  - Menghadirkan produk-produk ke pasar tepat waktu - Melakukan analisis harian dan membuat keputusan cepat untuk meningkatkan performa perusahaan - Menyediakan model data yang bervariasi, dan tidak bergantung pada satu sumber data saja. Hal ini memudahkan pimpinan perusahaan/manager membuat laporan dan menganalisis. - Keamanan informasi terjamin - Dalam membuat laporan tidak membuat proses transaksi yang ada menjadi lambat, karena datawarehouse terpisah dengan database operasional

- Tidak cocok untuk data yang tidak struktur. - Data perlu di extract, diubah, dan di load ke datawarehouse, sehingga membutuhkan waktu (delay) - Semakin lama masa hidup bisnis yang menggunakan datawarehouse, maka semakin banyak biaya yang dikeluarkan oleh perusahaan untuk perawatan/memodifikasi teknologi datawarehouse

1.3 Pengembangan dan Implementasi
~ Pendekatan Ralph Kimball (bottom-up)
pertama-tama data pada kantor cabang diidentifikasi dan dibuat terlebih dahulu, untuk menyediakan kapabilitas laporan dan analisis untuk proses bisnus tertentu. Data cabang ini dapat dikombinasikan untuk membuat sebuah datawarehouse.

Kelebihan	Kekurangan
- Nilai Bisnis dapat dikembalikan secepat data cabang yang pertama dibuat. - Model yang berdimensi - Mudah dimengerti.	-Integrasi -Mapping dari pemodelan berdimensi ke sistem yang sudah ada. -Sulit untuk memastikan kekonsisten dimensi dari semua data cabang.

~ Pendekatan Bill Inmonn (top-down)
datawarehouse dirancang menggunakan data model yang telah dinormalisasi

Kelebihan	Kekurangan
- Perancangan top-down menghasilkan dimensional view yang konsisten untuk semua data, Karena semua data diload dari repository terpusat/ terintegrasi. - Top down sanggup menghadapi perubahan bisnus, membuat data dimensional cabang yang baru menjadi tugas yang mudah.	-Kesulitan dan biaya mendisain model data perusahaan. -Feedback dari pengguna -Durasi waktu yang cukup lama saat dimulainya projek hingga manfaat dari datawahouse itu sendiri. -Tidak fleksibel terhadap perubahan kebutuhan saat implementasi

~ Pendekatan Hybrid (Campuran)

Data Warehouse diorganisasikan berdasarkan kegunaan disekitar subjek bukan aplikasi, misal: customer, product, sales. Perhatian dipusatkan pada pemodelan dan analisa data untuk pembuat keputusan, bukan untuk operasi harian atau pemrosesan transaksi. beberapa aplikasi data warehouse di antaranya:
- Analisi sales dan pemasaran lintas industri
- Inventory turn and product tracking dalam manufaktur
- Manajemen katalog, analisis vendor dan program pemasaran yang efektif dalam retail

---

2 Data Mart

Data yang terdapat dalam data warehouse dapat dibagi perbagian sesuai dengan kebutuhan dalam informasi. Dalam data mart, data yang ada hanya berasal dari satu bagian atau satu departemen saja, sedangkan pada data warehouse, data yang ada berasal dari seluruh bagian dalam perusahaan tersebut

2.1 Pembangunan Data Mart
terdapat 2 arsitektur, yaitu:
~ Dependent Data Mart
Pada Dependent Data Mart, data yang diperoleh sangat tergantung pada data warehouse terpusat

~ Independent Data Mart (IDM).
data yang digunakan terpisah dari data warehouse terpusat dan bersifat independent (berdiri sendiri).

---

3 Data mining (knowledge extraction/data archeology)

suatu proses ekstraksi informasi berguna dan potensial dari sekumpulan data yang terdapat secara implisit dalam suatu basis data.

3.1 Model Data Mining

VERIFICATION MODEL	DISCOVERY MODEL
menggunakan perkiraan (hypothesis) dari pengguna, dan melakukan test terhadap perkiraan yang diambil sebelumnya dengan menggunakan data-data yang ada	system secara langsung menemukan informasi-informasi penting yang tersembunyi dalam suatu data yang besar. Data-data yang ada kemudian dipilah-pilah-untuk-menemukan suatu pola, trend yang ada, dan keadaaan umum pada saat itu tanpa adanya campur tangan dan tuntunan dari pengguna.

3.2 Kebutuhan & Tantangan
- Penanganan berbagai tipe data
- Efisiensi dari algoritma data mining
- Kegunaan, kepastian dan keakuratan hasil
- Ekspresi terhadap berbagai jenis hasil
- Memperoleh informasi dari sumber-sumber data yang berbeda
- Proteksi dan keamanan data

3.3 Tahapan dan Implementasi

- Dengan diperolehnya informasi-informasi yang berguna dari data-data yang ada, hubungan antara item dalam transaksi, maupun informasi informasi yang potensial, selanjutnya dapat diekstrak dan dianalisa dan diteliti lebih lanjut dari berbagai sudut pandang.
- Informasi yang ditemukan ini selanjutnya dapat diaplikasi kan untuk aplikasi manajemen, melakukan query processing, pengambilan keputusan

---

4 Online Analytical Processing (OLAP)

Proses komputer yang memungkinkan pengguna dapat dengan mudah dan selektif memilih dan melihat data dari sudut pandang yang berbeda-beda. Data pada OLAP disimpan dalam basis data multidimensi. Jika pada basis data relasional terdiri dari dua dimensi, maka pada basis data multidimensi terdiri dari banyak dimensi yang dapat dipisahkan oleh OLAP menjadi beberapa sub atribut.

OLAP dapat digunakan untuk data mining atau menemukan hubungan antara suatu item yang belum ditemukan. Pada basis data OLAP tidak perlu memiliki ukuran besar seperti data warehouse, karena tidak semua transaksi membutuhkan analisis tren. Dengan menggunakan open database connectivity (ODBC), data dapat diimpor dari basis data relasional menjadi suatu basis data multidimensi untuk OLAP.

4.1 Kelebihan
- Dapat meningkatnya produktivitas bisnis, IT developers, dan seluruh organisasi.
- Akses yang lebih terkendali terhadap informasi yang dapat meningkatkan efektivitas pengambilan keputusan.
- Mempercepat respon terhadap permintaan pasar.
- Mengurang “backlog”pengembangan aplikasi bagi staf IT dengan membua tpemakai akhir dapat merubah schema dan membangun model sendiri.
- Penyimpana pengawasan organisasi melalui integritas data koorporasi sebagai aplikasi OLAP tergantung pada data warehouse dan sistem OLTP untuk memperbaharui sumber tingkatan data mereka.
- Mengurangi aktifita squery dan lalulintas jaringan pada sistem OLTP atau pada data warehouse.
- Meningkatkan hasil dan keuntungan secara potensial dengan mengizinkan organisasi untuk merespon permintaan pasar lebih cepat.

4.2 Implementasi

Kunci dari BI, yang digunakan untuk menganalisisis data dan informasi yang pada akhirnya akan menjadi dasar basis Decision Support System (DSS)

Aktivitas yang dapat dilakukan melalui OLAP antara lain seperti : menlakukan query, meminta laporan yang ad hoc, mendukung analisis statistik, analisis interaktif, serta membangun aplikasi multimedia.

Kedudukan OLAP dalam implementasi BI 

Berdasarkan struktur basis datanya OLAP dibedakan menjadi 3 kategori utama :
- Multidimensional Online Analytical Processing (MOLAP)
- Relational Online Analytical Processing (ROLAP)
- Hybrid Online Analytical Processing (HOLAP)

---

5 Multidimensional Online Analytical Processing (MOLAP)

OLAP yang secara langsung mengarah pada basis data multidimensi. MOLAP memproses data yang telah disimpan dalam array multidimensional di mana semua kombinasi data yang mungkin dicerminkan, masing-masing di dalam suatu sel yang dapat diakses secara langsung.
MOLAP menyimpan data dan aggregasi pada struktur data multidimensi.

5.1 Kelebihan
Struktur MOLAP ini tidak tersimpan pada datawarehouse tapi tersimpan pada OLAP server. Sehingga performa query yang dihasilkan olehnya sangat bagus.

Implementasi
Model penyimpanan ini sesuai untuk database dengan ukuran kecil sampai sedang.

Perbandingan Implementasi ROLAP dan MOLAP

---

6 Relational Online Analytical Processing (ROLAP)

Suatu format pengolahan OLAP yang melakukan analisis data secara dinamis yang disimpan dalam basis data relasioanal bukan pada basis data multidimensi.. ROLAP merupakan bentuk teknologi dari OLAP yang paling berkembang.

ROLAP menggunakan tabel pada database relasional datawarehouse untuk menyimpan detil data dan aggregasi kubus.
6.1 Implementasi
Karakteristik model ini digunakan untuk menyimpan data yang besar dan jarang dilakukannya proses query. Misalkan, data histori dalam jumlah besar dari beberapa tahun yang sebelumnya

---

7 Hybrid Online Analytical Processing (HOLAP)

merupakan kombinasi antara ROLAP dengan MOLAP. HOLAP dikembangkan untuk mengkombinasikan antara kapasitas data pada ROLAP yang besar dengan kemampuan proses pada MOLAP.
Detil data tersimpan pada tabel relasional tapi aggregasi data disimpan dalam format multidimensi

7.1 Kelebihan
Kubus HOLAP lebih kecil daripada kubus MOLAP tapi response time query masih lebih cepat jika dibandingkan dengan ROLAP.

7.2 Implementasi
Model penyimpanan HOLAP ini biasanya sesuai untuk kubus yang membutuhkan performa query yang bagus dengan jumlah data yang besar.

---

8 Business Intelligence (BI)

Pengetahuan yang didapatkan dari hasil analisis data yang diperoleh dari kegiatan (usaha) suatu organisasi. BI biasanya dikaitkan dengan upaya untuk memaksimalkan kinerja suatu organisasi.
Sistem dan aplikasi yang berfungsi untuk mengubah data-data dalam suatu perusahaan atau organisasi (data operasional, data transaksional, atau data lainnya) ke dalam bentuk pengetahuan. Aplikasi ini melakukan analisis data-data di masa lampau, menganalisisnya dan kemudian menggunakan pengetahuan tersebut untuk mendukung keputusan dan perencanaan organisasi.
Elemen-elemen Pengembangan Business Intelligence
- Data Warehouse: data mart
- Data mining

8.2 Implementasi
Dapat dilakukan dengan 3 pendekatan:

~ Top-down Approach
Suatu organisasi yang akan membangun BI dimana pada waktu yang bersamaan organisasi tersebut juga sedang melakukan perubahan proses kerja secara menyeluruh di seluruh aspek organisasi.

Kelebihan	Kelemahan
- Pembangunan BI langsung mencakup data seluruh organisasi - Kerangka BI akan lebih terstruktur, bukan gabungan dari berbagai data mart (data parsial) - Penyimpanan data menjadi terpusat - Kontrol informasi dapat dilakukan secara tersentralisasi	- Waktu implementasi lebih lama - Risiko kegagalan relatif tinggi karena kerumitannya - Membutuhkan biaya yang relatif besar

~ Bottom-up Approach
Pendekatan ini sangat tepat bagi kebutuhan suatu organisasi yang memprioritaskan pembangunan BI di suatu departemen terlebih dahulu. Kemudian setelah sukses di departemen tersebut akan dilanjutkan ke departemen lainnya.

Kelebihan	Kelemahan
- Implementasi lebih mudah untuk dikelola dan lebih cepat memperlihatkan hasil - Risiko kegagalan relatif lebih kecil - Bersifat incremental, dimana data mart yang penting dapat dijadwalkan lebih awal - Memungkinkan anggota tim proyek untuk belajar dengan baik	- Tiap data mart merupakan departmental-view - Memungkinkan terjadinya duplikasi data di setiap data mart di masing-masing departemen - Data tidak konsisten dan data sulit direkonsiliasi - Banyak interface yang sulit dikelola

~ Practical Approach
Pengembangan BI di suatu organisasi akan dimulai dengan perencanaan dan pendefinisian arsitektur kebutuhan data warehouse organisasi secara keseluruhan (standardisasi). Baru kemudian akan dilakukan serangkaian pembuatan BI pada tiap departemen yang membutuhkan

Tahapan Pengembangan BI

- Tahap Perencanaan Proyek (Project Planning)
Pada tahapan ini harus dapat dijelaskan apa yang menjadi tujuan utama dari proyek BI, ekspektasi (harapan), dukungan formal dari Pimpinan organisasi , serta capaian-capaian (milestone) yang akan dituju.

- Tahap Analisis Kebutuhan (Requirement Analysis)
Pada tahap ini harus sudah teridentifikasi kebutuhan pengembangan BI secara detail. Hal ini dapat dilakukan dengan menyusun dan mengumpulkan information package

- Tahap Desain dan Konstruksi (Design and Construction)
Pada tahap ini harus telah tersusun arsitektur dan infrastruktur yang diinginkan dari desain BI, yang akan mencakup:
a. data acquisition
Bagian ini terkait dengan upaya meng-ekstraksi data dari sumber-sumber data, dan upaya memindahkan data yang sudah diekstrak tersebut ke staging area (tempat dimana semua data ekstraksi diletakkan bersama-sama)

b. data storage
upaya loading data dari staging area ke data warehouse repository (berupa relational data base)

c. Information Delivery
Bagian ini terkait dengan upaya menyediakan user interface yang akan menghubungkan pengguna dengan data warehouse. Jenisnya dapat berupa OLAP, data mining, maupun report/query.

- Tahap Implementasi (Deployment)
Pada tahap ini, pengembangan BI yang telah dilakukan pada tahap-tahap sebelumnya harus sudah dapat dites penggunaannya serta kemudian di-ujicoba apakah sudah memenuhi tujuan dan ekspekstasi sebagaimana kebutuhan organisasi. Akhir tahap ini ditandai dengan telah dilaksanakannya user acceptance test (UAT) dan user telah memahami bagaimana menggunakan sistem tersebut dengan tepat.

- Tahap Pemeliharaan (Maintenance)
Kebutuhan informasi yang dibutuhkan organisasi akan terus berkembang. Untuk itu, sistem BI yang telah diimplementasikan mungkin saja memerlukan perkembangan lebih lanjut (enhancement). Untuk itu perlu dipersiapkan suatu proses pemeliharaan yang berkesinambungan.