Analisis insfrastruktur
Big Data merupakan bagian dari intelijen bisnis, Big Data dapat digunakan untuk membentuk suatu bisnis yang memiliki intelijen guna mendukung pengambilan keputusan. Namun dalam hal ini ada beberapa hal yang berbeda dari segi volume yang bukan hanya jumlah data yang banyak, namun pertumbuhan data yang sangat pesat sehingga dalam rentang waktu yang pendek data dapat bertumbuh dengan sangat cepat dan besar (velocity), dan data yang ada memiliki variasi yang sangat banyak (variety) tentunya dalam big data sendiri terutama dalam pembentukan datawarehouse sudah banyak dilakukan ekstraksi transform load untuk menanggulanggi varietas dari data tersebut sehingga data dapat menjadi standar baik dibersihkan dari berbagai noise juga dilakukan transformasi sehingga data jauh lebih sesuai dengan proses bisnis yang ada atau yang sedang berjalan bagi organisasi tertentu.
Intelijen bisnis yang didalamnya terdapat pemanfaatan big data pun membutuhkan suatu teknologi yang dapat mendukung proses bisnis yang ada didalam intelijen bisnis itu sendiri, sehingga dapat berjalan sesuai dengan yang diharapkan. Sehingga perlu dibangun suatu infrastruktur yang tepat dan dapat mengatasi kebutuhan big data yaitu salah satunya adalah proses pengolahan data yang sangat cepat walaupun diwaktu yang sama data berukuran besar dan tumbuh dengan cepat.
pemanfaatan infrastruktur teknologi dari Big Data yang tepat guna dapat mendukung proses bisnis yang ada menjadi jauh lebih baik terutama dalam proses pengambil informasi, knowledge dan wisdom guna mendukung dalam pengambil keputusan pada suatu organisasi tertentu baik itu profit maupun non-profit, baik itu swasta maupun pemerintah.
References :
Workshop Big Data, Institut Teknologi Bandung, 29 November 2013, Pemateri : Dr. techn. Saiful Akbar
Hadoop
Apache Hadoop adalah suatu framework yang memungkinkan pemrosesan data set besar pada kluster-kluster komputer secara terdistribusi dengan memanfaatkan model-model pemrograman sederhana.
Hadoop dirancang untuk dapat dikembangkan (scale up) dari sebuah server hingga ribuan mesin, dimana tiap-tiap mesin tersebut menawarkan fitur komputasi dan penyimpanan secara local.
Hadoop bukanlah sebuah software, melainkan sebuah framework open source Apache yang dikembangkan menggunakan bahasa pemrograman Java, dan dapat digunakan untuk memproses data set yang besar menjadi komputasi terdistribusi yang lebih kecil.
Komponen dalam Hadoop
- Hadoop Common : Java libraries yang dibutuhkan oleh modul-modul Hadoop lainnya Menyediakan file sistem yang digunakan untuk memulai Hadoop
- Hadoop YARN : Platform untuk manajemen sumber daya (resource) Mengatur sumber daya komputasi dalam kluster, dan menggunakannya untuk penjadwalan aplikasi pengguna
- Hadoop Distributed File System (HDFS) : Sistem file terdistribusi yang menyimpan data pada commodity machine Komponen : Name node dan data node
- Map/Reduce : Suatu model pemrograman yang digunakan untuk memproses data berskala besar secara paralel. Komponen : Job tracker dan task tracker
Hadoop : Ciri Utama
- Affordable , bisa berjalan pada hardware ‘pasaran’
- Reliable ,tahan terhadap kegagalan hardware/software
- Scalability , hadoop bisa bertambah secara linear
- Cost-effective Hadoop membawa komputasi paralel yang masif (berjumlah sangat besar) ke dalam suatu commodity server è penghematan biaya penyimpanan per terabyte yang akan membuat pemodelan seluruh data menjadi lebih terjangkau (affordable)
- Flexible , Hadoop bersifat schema-less, dan dapat mendukung berbagai tipe data, baik yang terstruktur atau tidak terstruktur, dari berbagai sumber.
- Fault-tolerant , ketika terjadi masalah dalam suatu node, maka sistem akan mengalihkan pekerjaan (work) ke lokasi lain dari data tersebut, kemudian melanjutkan pemrosesan.
What Hadoopis Not !
- Hadoop tidak cocok sebagai pengganti database
- Map Reduce tidak selalu menjadi algoritma terbaik
- Bukan tempat yang pas untuk belajar Java
- Hadoopcluster bukan tempat belajar Linux network administration
- Bukan tempat belajar memahami pesan error jaringan
http://wiki.apache.org/hadoop/HadoopIsNot
NoSql
merupakan sistem manajemen basis data yang di identifikasikan dengan tidak mematuhi aturan pada model sistem manajemen basis data.
NOSQL adalah database generasi terbaru yang mengarahkan kepada database yang tidak berelasi (non-relational), dapat disebarkan kepada siapapun (open-source) dan berskala horisontal (horizontal scale).
Contoh applikasi NoSql adalah MongoDB, HBase, Redis, Bigtable, RavenDb, CouchDB, Cassandra, dan Neo4j.
Cara penulisan database NoSQL tidak menggunakan Relasional sebagai cara mereka untuk menyambungkan antar data .NoSQL tidak menggunakan Schema relational, Pada SQL user harus mendefinisikan table yang akan digunakan. Pada NoSQL tidak perlu untuk mendefinisikan terlebih dahulu Table yang akan digunakan.
Pengelompokan database noSQL
Secara umum, database noSQL dibagi menurut format penyimpanan dokmentnya . Berikut ini adalah pengelompokan database noSQL berdasarkan model (penyimpanan) datanya
- Document Databasecontohnya MongoDB, seiap satu object data disimpan dalam satu dokumen. Dokumen sendiribisa terdiri dari key-value, dan value sendiri bisa berupa array atau key-value bertingkat.
- Graph , Format penyimpanan data dalam struktur graph. Format ini sering dipakai untuk data yang saling berhubungan seperti jejaring social. Contoh database noSQL dengan format ini adalah Neo4J dan FlockDB. FlockDB dipakai oleh twitter.
- Key – Value, contoh database jenis ini adalah Apache Cassandra.
- Object Database. Format database yang disimpan dalam object object, Object disini sama dengan pengertian object di Pemrograman beroreintasi object , Contoh databasenya adalah Db4o.
- Tipe lainnya adalah tabular, tuple store dan berbagai jenis lain yang tidak terlalu populer.
Kelebihan NoSQL di banding Relasional Database
- NoSQL bisa menampung data yang terstruktur, semi terstruktur dan tidak terstuktur secara efesien dalam skala besar (big data/cloud).
- Menggunakan OOP dalam pengaksesan atau manipulasi datanya.
- NoSQL tidak mengenal schema tabel yang kaku dengan format data yang kaku. NoSQL sangat cocok untuk data yang tidak terstruktur, istilah singkat untuk fitur ini adalah Dynamic Schema.
- Autosharding, istilah sederhananya, jika database noSQL di jalankandi cluster server (multiple server) maka data akan tersebar secara otomatis dan merata keseluruh server.
https://www.candra.web.id/pengantar-database-nosql-dan-mongodb/
http://developer.erabelajar.com/perbedaan-mysql-dan-nosql/