Course Description |
Big Data Analysis is the hot topic job nowadays. But it’s a big problem too. In this lesson’s aim is how to query on RDBMS and Big data ecosystems products, designing modern edition data warehouses and managing massively parallel processing data warehouse technologies on cloud platforms. We will start to ask a few questions: What’s the problem of data world. What’s the technologies? Why does this technology exist and why do I need it? How can I get the best out of it utilizing something familiar like SQL. How can I design and query on RDBMS system, Hadoop ecosystem products like Pig Latin, Hive, Spark etc. and MPP products like Azure SQL DW, AWS Redshift, Azure Stream Analytics, Big Data Lake Analytics etc. |
Hafta |
Konu |
1) |
1. Verilerin Geçmişi
1.1 OLTP Sistemlerinin Tanımı
1.2 Veri ambarı sistemlerine neden ihtiyacımız var?
1.3 Gerçek dünya sorunları (hacim, hız, çeşitlilik, değişkenlik)
2. Büyük Verinin Sağlayıcıları
2.1 Veri Dönüştürme Ürünleri
2.2 Veri Görselleştirme Ürünleri
2.3 Veri Analitiği Ürünleri
2.4 Bulut Odaklı MPP Sistemleri
2.5 Hacim Sorununa Odaklı Sağlayıcılar (Bulut Ürünleri ve Açık Kaynak)
2.6 Hız Sorununa Odaklı Sağlayıcılar (Bulut Ürünleri ve Açık Kaynak)
2.7 Çeşitli Sorun Odaklı Tedarikçiler (Bulut Ürünleri ve Açık Kaynak)
2.8 Değişkenlik Sorununa Odaklı Sağlayıcılar (Bulut Ürünleri ve Açık Kaynak)
2.9 Veri Madenciliği Sağlayıcıları (Bulut Ürünleri ve Açık Kaynak)
2.10 Otomatik Raporlama Ürünleri |
2) |
2. Veri Depolama ve İş Zekası İçgörüleri
2.1 Veri ambarının tasarlanması ve uygulanması
2.3 Veri Erişimi ve Dönüşüm Katmanının (ETL) Geliştirilmesi
2.4 Raporlama Katmanı
2.5 Analitik Katmanı
2.6 Veri Kalitesi Çözümleri Oluşturmak
2.6 Veri ambarı için senaryolar ve çözümler |
3) |
3. OLTP Sistemlerinde Tasarlama ve Sorgulama
3.1 Veritabanı Tasarımı
3.2 SQL Sorgusunu Öğrenmek (CRUD İşlemleri)
3.3 Mantıksal Sorgu İşleme
3.3 Programlanabilir SQL Nesneleri
3.4 Toplamalar ve Analiz
3.5 Sorgu Optimizasyonu ve Bellek İçi Tabloları Anlamak
3.6 İş Zekası Uygulayıcıları için T-SQL |
4) |
4. ETL Katmanını Tasarlama
4.1 Entegrasyon Hizmetlerine Giriş
4.2 Kontrol Akışı ve Veri Akışı Görevlerinin Öğrenme Öğeleri Listesi
4.3 Değişkenleri, Parametreleri ve İfadeleri Kullanmak
4.4 Hata ve Olay İşleme
4.3 Gerçek Dünyanın Kirli Verileriyle Veri Temizleme Demoları
4.4 ETL paketi izleme ve optimizasyonu
4.5 Özel Tasarım Senaryoları |
5) |
3. Hadoop'ta SQL
5.1 Hadoop Ekosistemlerine ve Azure HDInsight'a Giriş
5.2 Kovan Mimarisi ve İlkeleri
5.4 Hive Sorgu Dili Kullanılarak Veri Tanımı, Açıklama ve Seçimi
5.3 Hive Kullanarak Gelişmiş Veri Analizi |
6) |
3. Gerçek Zamanlı Analiz
3.7 Gerçek Zamanlı Analitiklerin Tanımı
3.2 Verileri Event Hub'lara Alma
3.8 Azure Event Hub ve Stream Analytics'in avantajları ve kullanım örnekleri
3.4 Azure Stream Analytics'te Sorgulama
3.5 Örnek Olay İncelemesi: Gerçek Zamanlı Sosyal Medya Analizi
3.6 Power BI'da Veri Akışı için Veri Görselleştirme |
7) |
4. Yapılandırılmamış Verilerle Çalışmak
4.1 Pig'in mantığını anlamak
4.2 Değerlendirme ve Filtre Fonksiyonlarının Yazılması
4.3 Pig Latince Komut Dosyalarının Geliştirilmesi ve Test Edilmesi
4.4 Gerçek Dünya Senaryoları: Dizi Analizi |
8) |
5. Devasa Paralel İşleme Ürünleri
5.1 MPP Sistemlerine Giriş
5.2 Amazon Veri Ambarı ve Amazon Redshift Entegrasyon Projeleri
5.3 Azure Veri Ambarına Genel Bakış |
9) |
5. Devasa Paralel İşleme Ürünleri
5.4 MPP Sistemlerinde Veri Tasarlama ve Sorgulama
5.5 Amazon Redshift ve Azure SQL Veri Ambarı için Ölçeklenebilirlik ve esneklik |
10) |
6. Veri Görselleştirme
6.1 Görselleştirme ve Kontrol Paneli Mimarisi Oluşturma
6.2 Microsoft Power BI ile Görsel Analiz
6.3 Qlikview kullanarak Bellek İçi Analiz |
11) |
6. İleri Analitik
6.4 Azure Machine Learning'e başlarken
6.5 Azure ML Studio'yu Kullanma |
12) |
6. İleri Analitik
6.6 ML Studio'ya Veri Alma ve Çıkarma
6.7 AWS Machine Learning ve Azure Machine Learning karşılaştırması
6.8 R Komut Dosyasını Kullanarak SQL Server 2016'da Gelişmiş Analiz |
13) |
8. Büyük Veri Gölü Analitiği
8.1 Veri Gölü İhtiyacı
8.2 ADLA, Hadoop sistemlerini tamamlar |
14) |
8. Büyük Veri Gölü Analitiği
8.3 U-SQL ile C# Kullanımı |
15) |
Proje/Sunum Dönemi |
16) |
Proje/Sunum Dönemi |