Büyük Veri (Big Data) Nedir? Büyük Veri Örnekleri Nelerdir?

Günümüzde teknoloji, hayatımızın her alanına nüfuz etmiş durumda. İçinde bulunduğumuz bilgi çağında, gerçekleştirdiğimiz her işlem bir bilgi, yani veri üretiyor. Bunun temel nedeni, teknolojinin bir yandan hayatımızı kolaylaştırırken, diğer yandan da bu kolaylaştırdığı yaşamla ilgili her türlü bilgiyi öğrenmesidir. Örneğin, cep telefonunuz parmak izinizin nasıl göründüğünü bilir ve bu bilgiyi kullanarak size kişiselleştirilmiş hizmetler sunar. Gün içinde herhangi bir internet sitesini ziyaret ettiğinizde ya da kullanıcıların e-ticaret sitenize eriştiği her an, küçük gibi görünen bu bilgiler bir araya gelerek "büyük veri"yi oluşturur.

Şirketlerin sahip olduğu verilerin yanı sıra, akıllı sayaçlar, internete bağlı kamyonlar, uçak motorları, akıllı saatler, buzdolapları ve benzeri cihazlar da günümüzde sürekli olarak veri üretmektedir. Bu gerçek zamanlı veri akışı, "IoT büyük veri" olarak adlandırılır çünkü büyük miktarda işlenmemiş veri içerir. Bu verilerin anlamlı hale gelmesi ve değerlendirilebilmesi için işlenmesi gerekir. Ancak büyük veri (Big Data), yalnızca insan beyninin değil, bilgisayar programlarının bile analiz etmesini zor hale getirecek kadar büyük miktarda veri demektir. Peki, bu büyük veri tam olarak nedir ve ne işe yarar?

Büyük Veri Nedir ve Neden Önemlidir?

Büyük veri, çok büyük miktarda yapılandırılmış ya da yapılandırılmamış verilerden oluşur ve analiz edilmesi oldukça karmaşık bir süreçtir. Bu tür verilerle çalışabilmek için, gelişmiş büyük veri teknolojilerine ve özel araçlara ihtiyaç duyulur. Toplanan veri miktarı ise sürekli olarak artmaktadır. Bu artışın temel nedenleri arasında internet kullanımının yaygınlaşması ve sosyal medya platformlarının yoğun kullanımı yer alır. Büyük veri, kısaca, giderek daha fazla verinin kaydedilmesi ve bu verilerin daha fazla yerde ve zamanda kullanılabilir hale gelmesinin bir sonucudur. Kaynakları oldukça çeşitlidir çünkü verilerin yapılandırılmış ya da yapılandırılmamış olması fark etmeksizin, her elde edilen bilgi büyük verinin bir parçasıdır.

Bu farklı veri türleri arasında bağlantı kurmak, size pazar fırsatları, müşteri davranışları ve sektördeki gelişmeler hakkında yeni bilgiler sunabilir. Aynı zamanda sosyal, ekonomik, finansal, ticari veya politik trendler hakkında da değerli bilgiler edinebilirsiniz. Çünkü sonuç, tamamen bu verileri nasıl analiz ettiğinize bağlıdır. Büyük veri, çok sayıda farklı kaynaktan gelen büyük miktarda veriden anlamlı bilgiler çıkarmakla ilgilidir.

Dünya çapında saygın araştırma kuruluşlarının raporları, büyük verinin geleceğin iş dünyasındaki kritik rolünü doğrulamaktadır. IDC'nin "Dijital Evren 2025" raporuna göre, küresel veri hacmi 2025 yılına kadar 175 zettabayta ulaşacak ve bu verilerin %80'inden fazlası yapılandırılmamış verilerden oluşacaktır. Bu durum, büyük verinin gelecekteki önemini bir kez daha vurgulamaktadır.

Büyük Veri'nin 5 Özelliği

Herhangi bir kaynaktan toplanan verilerin "Büyük Veri" olarak sınıflandırılabilmesi için belirli özelliklere sahip olması gerekmektedir. İngilizcede "5V" olarak adlandırılan bu özellikler, beş ana başlık altında toplanabilir:

1. Hacim (Volume)

Büyük veri, adından da anlaşılacağı üzere çok büyük miktarda veriyi ifade eder. Geleneksel veriler megabayt, gigabayt veya terabayt gibi boyutlarda ölçülürken, büyük veri petabayt ve zettabayt gibi çok daha büyük ölçeklerde depolanır. Bu farkı daha iyi anlamak için Kaliforniya Üniversitesi, Berkeley Bilgi Okulu’nun yaptığı bir karşılaştırmaya bakalım: 1 gigabayt, yaklaşık 7 dakikalık HD-TV videosuna eşdeğerken, 1 zettabayt ise 250 milyar DVD’ye eşittir. EMC tarafından hazırlanan bir rapora göre, dijital evrenin boyutu her 2 yılda bir ikiye katlanmaktadır. Veri miktarının bu kadar hızlı artması, gelecekte bu büyük veri yığınlarıyla nasıl başa çıkılacağına dair planlar yapılmasını zorunlu kılmaktadır. Depolama ve işleme için uygun çözümler bulunmadığı takdirde, bu verilerden anlamlı içgörüler elde etmek oldukça zorlaşacaktır.

2. Hız (Velocity)

Veri miktarındaki artış, verilerin işlenme hızı ve çeşitliliğinin de aynı oranda artmasını gerektirir. Verilerin değerli olabilmesi için şirketlerin ve kuruluşların bu verileri gerçek zamanlı olarak işleyebilmesi ve eş zamanlı içgörüler elde edebilmesi büyük önem taşır. Bazı veriler toplu olarak işlenebilir ve zaman içinde değerini koruyabilirken, büyük verinin büyük bir kısmı için anında harekete geçilmesi gerekir. Örneğin, sağlık cihazlarından alınan sensör verileri, olası sorunları önceden tespit edebilmek ve olumlu sonuçlar elde edebilmek için anında işlenmelidir.

3. Çeşitlilik (Variety)

Büyük veri, yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verilerin tamamını kapsar. Büyük verinin yaklaşık %95’i yapılandırılmamış verilerden oluşur ve bu tür veriler geleneksel veri modellerine kolayca uymaz. E-postalar, videolar, finansal işlemler, bilimsel veriler ve daha pek çok farklı kaynaktan gelen veriler, birbirinden farklı formatlarda olabilir. Bu verilerin anlamlı ve işlenebilir hale gelebilmesi için birbirine dönüştürülebilir olması gerekir.

4. Değer (Value)

Toplanan verilerin "Büyük Veri" olarak kabul edilebilmesi için, bu verilerden anlamlı bilgiler elde edilebilmesi şarttır. Sadece kayıt altına almak için toplanan ve içerisinden işe yarar bilgi çıkarılamayan veri kümeleri, hiçbir değer taşımaz. Bu nedenle, verilerin veri madenciliği yöntemleri kullanılarak işlenmesi ve anlamlı sonuçlar üretilebilmesi büyük önem taşır.

5. Doğruluk (Veracity)

Verilerin güvenilir ve doğru bilgiler içermesi, büyük verinin temel özelliklerinden biridir. Veri kümeleri içinde hatalı veya anlamsız kayıtlar bulunabilir. Bu tür verilerin, sağlıklı sonuçlar elde edebilmek için temizlenmesi gerekir. Örneğin, trafikteki araçların hızlarını analiz ederken, bazı araçların hızlarının eksi değerlerde görünmesi, bu araçların hız sensörlerinde bir sorun olduğunu gösterir. Bu tür hatalı kayıtların devre dışı bırakılması, doğru analizler yapabilmek için kritik bir adımdır.

Büyük Verinin Özellikleri Nelerdir?

Büyük veri, bilgi ve iletişim teknolojileri sistemleri, akıllı cihazlar (IoT veya nesnelerin interneti), web siteleri, arama motorları, e-ticaret platformları ve sosyal medya gibi çevrimiçi etkinlikler yoluyla elde edilen veri miktarındaki büyük artışı ifade eden kapsayıcı bir terimdir. Dijital formatta üretilen her türlü veri bu kavramın içine girer. Veriler, tablo benzeri yapılarda (örneğin SQL veritabanları) depolanabiliyorsa, bunlar yapılandırılmış veriler olarak adlandırılır. Diğer tüm veriler ise yapılandırılmamış verilerdir ve genellikle standart bir veri tabanına kolayca kaydedilemez. Büyük verinin temel özellikleri şunlardır:

• Veri miktarı çok büyüktür.

• Pek çok değerli bilgi içerir.

• Hem yapılandırılmış hem de yapılandırılmamış verilerden oluşur.

• Nispeten hızlı bir şekilde erişilebilir ve analiz edilebilir olmalıdır.

Büyük Veri Neden Önemlidir?

Büyük veri, eğilimleri, gelişmeleri ve belirli kilit rakamları zamanında bilmenizi sağlayarak ticari, ekonomik, sosyal ve politik alanlarda karar verme süreçlerinize rehberlik eder. Değişen davranışları veya yeni durumları öngörmenize olanak tanır. Geçmişte yapılması gereken zaman alıcı araştırmaların yerini, otomatik sistemlerde depolanan büyük veri alır. Büyük veri, yönetim bilgilerini de içerir ve iş analitiği veya iş zekası araçları sayesinde bu bilgiler mevcut verilerden kolayca çıkarılabilir.

Şirketler veya kurumlar, büyük veri sayesinde performanslarını önemli ölçüde artırabilir. Normal veri analiziyle keşfedemeyeceğiniz pek çok bilgiye erişebilir, verilere farklı açılardan bakarak yeni fikirler geliştirebilirsiniz. Büyük veri çalışmaları, size rekabet avantajı sağlayabilir veya hizmetlerinizin kalitesini önemli ölçüde yükseltebilir.

Büyük Veri Kullanım Alanları ve Örnekleri Nelerdir?

Büyük veri örneklerine baktığımızda, bu kavramın ne kadar büyük bir öneme sahip olduğunu açıkça görebiliriz. Bugün “büyük” olarak nitelendirdiğimiz şirketlerin çoğu, bu büyümeyi büyük veriyi etkin bir şekilde kullanarak gerçekleştirmiştir. Büyük veri yönetimi konusunda en dikkat çeken başarı örneklerinden biri hiç şüphesiz Amazon’dur.

Amazon, topladığı verileri doğru bir şekilde analiz ederek kazancını önemli ölçüde artırmıştır. Her müşteri için “360 derece profil” oluşturan Amazon, benzer ilgi alanlarına sahip müşterileri gruplayarak bu gruplara doğrudan ilgilenebilecekleri ürünleri önermeye başlamıştır. AWS’nin (Amazon Web Services) hizmete sunulması ve bu verilerin etkin kullanımı sayesinde, şirketin 2016’da mütevazı olan kazancı 2017’de 3 milyar dolara, 2018’de ise 10,1 milyar dolara ulaşmıştır.

Netflix gibi platformlar da büyük veriyi etkili bir şekilde kullanmaktadır. Bu tür şirketler, kullanıcılarının davranışlarını analiz ederek kişiselleştirilmiş öneriler sunar. Örneğin, bir kullanıcının bir filmi kaç dakika izlediği, birden fazla bölüm izleyip izlemediği veya hangi tür içerikleri tercih ettiği gibi detaylı veriler toplanır. Hatta kullanıcı tercihlerini etkilemek için grafikler, başlıklar veya renkler gibi ince detaylar bile kullanılır.

Meta (eski adıyla Facebook) gibi şirketler ise büyük veriyi, kullanıcıların beğenileri ve gezinti alışkanlıkları üzerinden kişiselleştirilmiş reklamlar sunmak için kullanır. Elde ettiği veriler sayesinde kullanıcıların tercihlerini, hatta hangi siyasi partiye oy verebileceklerini bile tahmin edebilir. Bu da büyük verinin ne kadar güçlü bir araç olduğunu bir kez daha gösterir.

Büyük veri, günümüzde sadece büyük şirketler için değil, her ölçekteki işletme için kritik bir öneme sahiptir. Doğru kullanıldığında, rekabet avantajı sağlar, operasyonel verimliliği artırır ve müşteri deneyimini iyileştirir.

Büyük Veri İle İlgili İlginç Bilgiler

• Her 2 günde bir, insanlık olarak, zamanın başlangıcından 2003 yılına kadar ürettiğimiz kadar bilgi üretiyoruz.

• Dünyadaki tüm verilerin %90'ından fazlası, son 4 yılda yaratıldı.

• Endüstri tarafından yakalanan ve depolanan toplam veri miktarı, her 1,2 yılda bir ikiye katlanmaktadır.

• Her gün her dakika, 570 yeni web sitesi açılıyor.

• Büyük veri, suçları meydana gelmeden önce tahmin etmek için kullanıldı. Örneğin, Kaliforniya'daki bir “öngörücü polislik” denemesi, suçun meydana geleceği alanları mevcut tahmin yöntemlerinden üç kat daha doğru bir şekilde belirleyebildi.

• Google üzerinden her gün 8,5 milyar arama sorgusu yapılmaktadır.

• WhatsApp kullanıcıları, günde 65 milyar mesaj alışverişinde bulunuyor.

• 2025 yılına kadar, dünya 180 zettabaytın üzerinde veri üretecek.

• İşletmelerin %95'i, yapılandırılmamış verileri yönetme ihtiyacını işletmeleri için bir sorun olarak belirtiyor.

• Bugün ürettiğimiz verilerin %80-90'ı, yapılandırılmamıştır.

• Bankacılıkta Büyük Veri analitiği pazarının, 2025 yılına kadar 62,10 milyar dolara ulaşması bekleniyor.

• Sağlık sektöründeki büyük veri, 2027 yılına kadar 71,6 milyar dolar değerinde olabilir.

• Pandeminin başlangıcında, siber dolandırıcılıklar %400 arttı.

• 2010 ile 2020 yılları arasında, veri etkileşimleri %5000 arttı.

• Bugün bir insanın internetteki tüm verileri indirmesi, yaklaşık 181 milyon yıl alacaktır.

• İnternet kullanıcıları, toplam 1,2 milyar yıllarını çevrimiçi olarak geçirdi.

• Sosyal medya, çevrimiçi geçirilen toplam sürenin %33'ünü oluşturuyor.

• Netflix, büyük veri kullanarak müşterilerini elde tutma konusunda yılda 1 milyar dolar tasarruf sağlıyor.

• İnternet kullanıcıları, uyumak dışındaki zamanlarının %40'ını çevrimiçi geçiriyor.

• IoT cihazlarının sayısı, 2025 yılına kadar 41,6 milyara yükselebilir.