Apa itu Big Data?

Bagaimana-Untuk

OlehRyan Dube

Terakhir diperbarui saat26 Maret 2020

Selama bertahun-tahun, banyak kata kunci menjadi populer di banyak industri. Ada beberapa yang menjadi sangat populer, dan begitu lama, sebagai data besar. Tapi apa itu big data?

Big data mengacu pada lautan informasi virtual dari berbagai sumber, dianalisis dan disaring sedemikian rupa untuk mengembangkan hasil yang bermakna dan dapat ditindaklanjuti.

Proses mengubah "data besar" menjadi hasil yang bermakna dapat tampak rumit dan sulit. Namun, begitu Anda memahami apa itu big data dan bagaimana kerjanya, memahami bagaimana membuatnya bermakna tidak tampak rumit.

Apa itu Big Data?

Ketika Anda mendengar orang berbicara tentang "data besar", biasanya dengan banyak lambaian tangan dan kata-kata besar. Tetapi ketika Anda merebus semua hiperbola, sebenarnya "data" sebenarnya banyak input data stream.

Untuk memahami ini, sebuah contoh dapat membantu. Katakanlah Anda menjalankan perusahaan pembuat payung. Departemen pemasaran Anda sedang mencari cara untuk memprediksi dengan lebih baik ketika permintaan pasar akan meningkat.

Sebelum masa big data, pemasar akan mempelajari tren pasar, mengirimkan survei pelanggan, dan banyak kegiatan lainnya.

Mereka akan mengumpulkan semua data itu dan menyimpannya di basis data internal perusahaan mereka sendiri. Seseorang bahkan mungkin bertanggung jawab untuk memperbarui data riset pemasaran secara tahunan atau triwulanan.

Namun, munculnya data besar memperluas kemampuan melakukan penelitian semacam ini. Khususnya, data besar sangat efektif untuk mengidentifikasi tren atau peristiwa penting dalam waktu dekat.

Input data untuk analisis "big data" semacam ini mungkin termasuk aliran data realtime dengan menulis kode yang dihubungkan ke Antarmuka Pemrograman Aplikasi (API) dari banyak perusahaan berbeda yang telah menjadikan data tersebut publik:

• Twitter dan Facebook: Identifikasi kapan dan mengapa orang-orang mendiskusikan pembelian payung.
• Cuaca: Mengidentifikasi kondisi cuaca atau prediksi yang bisa berubah menjadi penjualan payung yang lebih tinggi.
• Pasar saham: Perubahan musiman dalam biaya bahan baku untuk menghasilkan payung.
• Penggunaan Web Pelanggan: Menggunakan informasi dari cookie komputer orang yang mengunjungi katalog perusahaan untuk memahami perilaku pembelian.
• Riwayat Pembelian Pelanggan: Melacak tren geografi dan musim penjualan dari pengecer.

Untuk menggunakan data besar, tim pemasaran perusahaan ini perlu, dalam beberapa kasus, memasang teknologi baru.

Data Besar dan Internet

Ini mungkin termasuk teknologi Internet of Things (IoT) di pengecer yang melacak dan melaporkan perilaku konsumen. Atau mungkin melibatkan pemrogram menulis kode yang diperlukan untuk berinteraksi dengan API Twitter untuk menyaring Tweet apa pun yang menyebutkan "payung" atau nama perusahaan.

Masing-masing teknologi ini sekarang tersedia berkat internet. Internet memungkinkan siapa saja untuk memanfaatkan aliran data dari seluruh dunia.

Berikut adalah cara pengaturan dalam contoh kita dapat bekerja dalam kasus ini.

Diagram ini menunjukkan bagaimana data mengalir ke "danau data" perusahaan dari berbagai sumber. Data yang masuk mungkin terstruktur secara berbeda, tetapi yang penting adalah mengumpulkan sebanyak mungkin data dari semua sumber.

Apa itu Danau Data?

Tidak seperti basis data, yang berisi data terstruktur yang diatur dalam kolom dan baris tertentu, danau data adalah gudang besar untuk berbagai bentuk data.

Data yang disimpan dapat terstruktur atau tidak terstruktur. Berarti mungkin memiliki baris dan kolom terstruktur, atau mungkin tidak. Data bisa berupa string yang menggunakan pemformatan khusus untuk memisahkan data. Setiap sumber data dapat mengirimkan data ke danau data dalam bentuk apa pun yang diinginkannya.

Bayangkan sebuah danau data seperti perpustakaan besar yang berisi banyak bentuk media, seperti buku, gambar di microfiche, dan video di DVD.

Bayangkan insinyur intelijen dan analisis data digital sebagai pelindung perpustakaan itu. Pelanggan ini dapat secara digital menarik data dari buku, microfiche, dan DVD dan menemukan cara untuk mencampur dan menggabungkan data tersebut dan mempelajari berbagai hal dari bagaimana data berkorelasi.

Dari pembelajaran itu muncul kecerdasan aktual yang dapat ditindaklanjuti. Beberapa dari contoh kami ini mungkin termasuk:

• Obrolan di Twitter dan Facebook menunjukkan badai mendekat di New York City, dengan ribuan pelanggan berencana untuk membeli payung.
• Data pembelian cookie komputer dan mesin checkout menunjukkan bahwa pembeli di California bersedia membayar lebih untuk payung desainer daripada orang-orang di Virginia.
• Pola badai besar yang mendekati menunjukkan sebagian besar Pantai Timur akan ditutupi dengan badai hujan selama seminggu penuh.

Semua pembelajaran ini dapat mendorong tim pemasaran untuk berinvestasi dalam lebih banyak iklan secara geografis di mana permintaan penjualan payung jauh lebih kuat. Operasi manufaktur juga dapat mengalihkan upaya produksi mereka ke area-area di dunia yang lebih dekat dengan tempat penjualan cenderung meningkat.

Dengan cara ini, menggunakan data besar, perusahaan mana pun dapat merampingkan pemasaran dan operasi mereka.

Apa itu Hadoop?

Pertanyaan selanjutnya adalah, bagaimana perusahaan memproses data dengan volume tinggi dan mengidentifikasi tren?

Jenis data seperti ini membutuhkan sumber daya komputer yang besar. Begitu banyak sehingga perusahaan tidak lagi menggunakan komputer mainframe besar di tempat seperti dulu. Banyak dari layanan ini yang sekarang dibeli dari cloud. Layanan intelijen data cloud seperti Apache Hadoop menawarkan banyak node komputer pada jaringan cloud besar. Masing-masing node berkontribusi pada kekuatan pemrosesan yang diperlukan untuk menganalisis aliran data besar-besaran dari berbagai sumber.

Jenis kekuatan pemrosesan ini adalah jantung dari mesin atau kecerdasan digital dan analitik data. Hadoop adalah kerangka kerja perangkat lunak yang membuat seluruh jaringan daya komputasi besar ini bekerja sebagaimana diperlukan untuk insinyur intelijen digital.

Setelah mesin komputasi menghasilkan intelijen yang dapat ditindaklanjuti, ini biasanya dikirimkan ke perusahaan dalam bentuk dashboard atau laporan.

Big Data Bukan Hanya Buzzwords

Yang benar adalah bahwa "data besar" lebih dari sekadar istilah perusahaan. Banyak perusahaan belajar bahwa dengan memanfaatkan data dengan lebih baik, mereka dapat mencapai berbagai pencapaian.

• Produsen dapat meningkatkan metrik produksi kritis seperti hasil, kualitas, dan efisiensi.
• Pengecer dapat menyelaraskan pemasaran, periklanan, dan investasi bisnis dengan lebih baik berdasarkan sinyal pasar.
• Distributor dapat memprediksi potensi masalah dalam rantai pasokan untuk secara preemptif mengembangkan rencana darurat.
• Organisasi berita dapat dengan cepat mengidentifikasi peristiwa yang bernilai berita dengan menganalisis sinyal publik di internet.
• Pakar keamanan siber menggunakan sinyal di internet untuk mengidentifikasi serangan cyber saat sedang berlangsung.

Sementara banyak dari apa yang telah dicapai data besar dalam beberapa tahun terakhir tetap tidak terlihat oleh publik, data besar sebenarnya memiliki dampak signifikan pada kehidupan sehari-hari bagi orang-orang di seluruh dunia.