Derin Ögrenme ve Büyük Dil Modelleri Kursu

Kurs Egitmenleri

Egitmenler	Uzmanlık Alanları
Ibrahim Halil Tanboga	Biyoistatistik, DL
Faysal Saylık	Biyoistatistik, DL
Selim Topcu	Biyoistatistik, Genel kardiyoloji ve AI
Taylan Akgün	Elektrofizyoloji ve AI
Murat Çap	Girişimsel Kardiyoloji, Görüntüleme ve AI
Süleyman Çagan Efe	Girişimsel Kardiyoloji, Kalp yetersizligi ve AI
Aslan Erdogan	Girişimsel Kardiyoloji, Yapısal ve AI

Giriş

Bu kurs, Derin Ögrenme (Deep Learning - DL) ve Büyük Dil Modelleri (Large Language Models - LLM) konularında kapsamlı bir anlayış geliştirmeyi amaçlamaktadır. Teorik temeller, modern uygulamalar ve pratik projelerle desteklenen bu program, katılımcılara güncel yapay zeka teknolojilerinde uzmanlık kazandırmayı hedeflemektedir.

Ögrenim Hedefleri

• Derin ögrenme ve büyük dil modellerinin temel kavramlarını anlamak
• Modern sinir agı mimarilerini ve optimizasyon tekniklerini kullanarak modeller geliştirmek
• Uygulamalı projelerle teorik bilgileri pratige dökmek
• Yapay zeka teknolojilerinde güncel trendleri takip edebilmek

1. Nöral Aglara Giriş

1.1. Derin öğrenmeye giriş

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

1.2. Temel Kavramlar

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Nöral network anatomisi: Katmanlar ve ag mimarisi
• Backpropagation ve gradient descent
• Aktivasyon Fonksiyonları
• Multiple input ve output, Softmax ve Argmax

1.3. Aktivasyon Fonksiyonları

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Aktivasyon fonskiyonları: nedir? ne işe yarar
• Dogru aktivasyon fonksiyon seçimi
• Aktivasyon fonksiyonu: linear ve nonlinear familyaları (Tanh, ReLU, vs)

1.4. Kayıp (loss) Fonksiyonları

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Loss function nedir? neden önemlidir?
• Regression loss function (MSE, MAE, Huber loss vs)
• Classification loss function (log loss, cross entropy loss, hinge loss vs)
• Dogru loss function seçimi

1.5. Optimizasyon Algoritmaları

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Optimizasyon nedir? ne işe yarar?
• Optimizasyon algoritmaları nelerdir? (GD, SGD, momentum, Nesterov, RMSProp, Adam, ve AdaGrad)
• Optimizasyon algoritmalarının seçimi

1.6. Regularizasyon Teknikleri

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Nöral networklerde regülarizasyon neden yapılır?
• L1 ve L2 Regularizasyonu
• Data augmentation
• Dropout
• Batch Normalization
• Layer Normalization
• Early Stopping ve Model Checkpointing
• Stochastic Depth

2. Konvolüsyonel Sinir Agları (CNN)

2.1. CNN temelleri ve Mimarisi

Egitmenler: Faysal Saylık, Murat Cap

• İnsan Görme Sistemi ve CNN Analojisi
• Geleneksel Görüntü İşleme vs. CNN
• Giriş Katmanı ve Veri Hazırlama
• Konvolüsyon Katmanları
• Aktivasyon Katmanları
• Pooling Katmanları
• Tam Baglantılı Katmanlar
• Skip Connections ve Residual Ögrenme

2.2. Konvolüsyon Katmanları

Egitmenler: Faysal Saylık, Murat Cap

• Filtreler ve Çekirdekler
• Stride ve Padding Stratejileri
• Feature Map Oluşturma
• Derinlik (Depth), Grup (Group) ve Nokta (Pointwise) Konvolüsyonları
• Dilated/Atrous Konvolüsyonlar
• Transposed Konvolüsyonlar

2.3. Pooling Katmanları

Egitmenler: Faysal Saylık, Murat Cap

• Pooling (Max Pooling, Average Pooling, Global Pooling, Adaptive Pooling, Learnable Pooling)
• Batch Normalization
• Layer Normalization
• Instance Normalization

2.4. Modern CNN Mimarileri

Egitmenler: Faysal Saylık, Murat Cap

• Klasik Mimariler (AlexNet, VGG)
• ResNet Ailesi (ResNet, ResNeXt)
• Efficient mimariler (MobileNet, EfficientNet, RegNet)
• Modern Yaklaşımlar (DenseNet, ConvNeXt, Vision Transformers, CNN-Transformer Hibritleri)

2.5. CNN Optimizasyonu ve Egitimi

Egitmenler: Faysal Saylık, Murat Cap

• Kayıp Fonksiyonları
• Optimizasyon Algoritmaları
• Düzenlileştirme (Regularization) Teknikleri
• Veri Artırma (Data Augmentation)
• Transfer Ögrenme
• Model Sıkıştırma ve Kantizsyon

2.6. CNN Uygulamaları ve İleri Konular

Egitmenler: Faysal Saylık, Murat Cap

• Temel Uygulamalar: Görüntü Sınıflandırma, Nesne Tespiti (YOLO, RetinaNet), Görüntü Segmentasyonu (U-Net, Mask R-CNN)
• İleri Uygulamalar: Style Transfer, Super Resolution, Anomali Tespiti, Few-Shot Learning
• Yorumlanabilirlik ve Görselleştirme: Feature Visualization, Attribution Methods, Class Activation Mapping (CAM)

3. Tekrarlayan Sinir Agları (RNN)

3.1. RNN Temelleri

Egitmenler: Ibrahim Halil Tanboga, Aslan Erdogan

• RNN Mimarisi ve Çalışma Prensibi
• Hafıza Mekanizması ve İç Durum
• Zaman Serisi ve Sekans Verisi
• Backpropagation Through Time (BPTT)
• Sequence-to-Sequence Modelleme
• Encoder-Decoder Mimarisi

3.2. Gradyan Problemleri

Egitmenler: Ibrahim Halil Tanboga, Aslan Erdogan

• Vanishing ve Exploding Gradients
• Gradient Clipping Teknikleri
• Layer Normalization
• Skip Connections
• Truncated BPTT
• Residual Connections

3.3. Modern RNN Türleri

Egitmenler: Ibrahim Halil Tanboga, Aslan Erdogan

• LSTM (forget gate, input gate, output gate, cell gate) ve extended LSTM
• GRU ve Optimizasyonları
• Bidirectional RNN ve DeepRNN
• Attention-augmented RNNs (Self-Attention, Multi-Head Attention, Scaled Dot-Product Attention)

3.4. RNN optimizasyonu

Egitmenler: Ibrahim Halil Tanboga, Aslan Erdogan

• Kayıp Fonksiyonları
• Optimizasyon Algoritmaları
• Regularizasyon Teknikleri
• Dropout Stratejileri
• Teacher Forcing
• Curriculum Learning

3.5. RNN Uygulamaları

Egitmenler: Ibrahim Halil Tanboga, Aslan Erdogan

• Dogal Dil İşleme: Metin Sınıflandırma, Duygu Analizi, Makine Çevirisi, Metin Özetleme
• Zaman Serisi: Tahmin ve Öngörü, Anomali Tespiti, Finansal Tahminler
• Ses ve Müzik: Konuşma Tanıma, Müzik Üretimi, Ses Sentezi

4. Attention ve Transformer Mimarisi

4.1. Attention Mekanizması

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

• Self-Attention
• Multi-Head Attention
• Cross-Attention
• Relative Position Encoding
• Sparse Attention
• Linear Attention
• Local Attention

4.2. Transformer Mimarisi

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

• Encoder-Decoder Yapısı
• Positional Encoding
• Layer Normalization
• Feed-Forward Networks
• Residual Connections
• Maskeleme Stratejileri
• Decoder-Only vs Encoder-Only

4.3. Transformer Optimizasyonları

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

• Gradient Checkpointing
• Memory Efficient Training
• Mixed Precision Training
• Data Parallelism
• Model Parallelism
• Pipeline Parallelism
• Flash Attention
• Rotary Embeddings

4.4. Modern Transformer Varyantları

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

• Performer
• Reformer
• Linformer
• Longformer
• BigBird
• TransformerXL
• Switch Transformer
• Universal Transformer

5. Büyük Dil Modelleri (LLM)

5.1. LLM Foundations ve Gelişim

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Model Ölçekleme: Parametre Boyutları, Compute Requirements, Training Infrastructure
• Tarihsel Gelişim: GPT Ailesi, PaLM, BLOOM, LLaMA, Claude, Gemini
• Açık Kaynak Modeller: LLaMA, BLOOM, Falcon, Mistral, Phi-2
• Model Boyutları: 7B, 13B, 34B, 70B Comparison
• Context Length: Flash Attention, RoPE, ALiBi, Improvements
• Tokenizasyon: Context Window, Token Ekonomisi, Positional Encoding

5.2. LLM Training Pipeline

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Pre-training
• Veri Hazırlama: Filtreleme, Deduplikasyon, Temizleme
• Training Stratejileri: Masked LM, Causal LM
• Loss Functions: Cross Entropy, Contrastive Loss
• Compute Efficient Training: ZeRO, DeepSpeed, Megatron
• Fine-tuning
• Instruction Tuning: Natural Instructions, Task Templates
• RLHF Pipeline: Reward Modeling, PPO Training
• DPO (Direct Preference Optimization)
• Constitutional AI: Rule-based Alignment, Value Learning
• Knowledge Distillation: Teacher-Student Training

5.3. Prompt Engineering ve Optimizasyon

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Prompt Patterns
• Zero-shot ve Few-shot Learning
• Chain-of-Thought (CoT)
• Tree of Thoughts
• ReAct Framework
• Advanced Techniques
• System Prompting
• Meta-prompting
• Prompt Chaining
• Temperature Tuning
• Prompt Templates
• Task-specific Templates
• Role-based Prompting
• Consistency Techniques

5.4. Retrieval Augmented Generation (RAG)

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Temel Bileşenler
• Vector Databases
• Embedding Models
• Chunking Strategies
• Retrieval Methods
• Gelişmiş RAG
• Hybrid Search
• Re-ranking
• Multi-step RAG
• Recursive Retrieval
• RAG Optimizasyonu
• Context Window Management
• Query Formulation
• Response Synthesis

5.5. LLM Degerlendirme

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• MMLU Benchmark
• BBH (Big Bench Hard)
• TruthfulQA
• Perplexity ve BLEU
• BERTScore
• Task-Specific Metrics
• Human Evaluation

5.6. LLM Uygulamaları

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Chatbot Development
• Text Generation
• Code Generation
• Document Q&A
• Text Summarization
• Domain Adaptation
• Tool Usage
• Multi-Modal Integration

5.7. LLM Agent’lar

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Agent Mimarisi: ReAct Framework, Plan-and-Execute, Chain of Thought, Tree of Thoughts
• Tool Kullanımı: Function Calling, Tool Learning, API Integration,
• Hafıza ve Planlama: Episodic Memory, Working Memory, Task Planning
• Multi-Agent Sistemler: Agent Communication, Role-based Agents, Collaborative Problem Solving
• Agent Güvenligi: Sandbox Environments, Action Validation, Resource Limits, Safety Protocols
• Özel Agent Türleri: Task-Specific Agents, Autonomous Agents, Embodied Agents, Assistant Agents

5.8. LLM Agent Frameworks

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• LangChain
• AutoGPT
• BabyAGI
• CrewAI
• Microsoft Semantic Kernel
• Agent Frameworks Extensions

5.9. Model Performance ve Metrikler

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Language Understanding
• MMLU, BBH, GSM8K, HumanEval
• TruthfulQA, Bias Evaluation
• Toxicity Testing
• System Performance
• Latency, Throughput
• Memory Usage
• Cost per Token
• Specialized Metrics
• Code Generation: Pass@k
• Math: Solution Accuracy
• Reasoning: CoT Success Rate

5.10. Deployment ve Production

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Infrastructure
• Serving Architectures
• Load Balancing
• Caching Strategies
• Monitoring
• Token Usage
• Response Quality
• Error Rates
• Security
• Prompt Injection Prevention
• Rate Limiting
• Content Filtering

5.11. Emerging Trends

Egitmenler: Ibrahim Halil Tanboga, Taylan Akgün

• Multimodal Integration
• Vision-Language Models
• Audio Processing
• Multi-modal Chat
• Tool Use
• Function Calling
• Code Interpretation
• External API Integration
• Model Customization
• Domain Adaptation
• Personality Tuning
• Behavior Alignment

6. Vision-Language Modeller (VLM)

6.1. Multimodal Learning

Egitmenler: Faysal Saylık, Selim Topcu

• Temeller: Cross-modal Representations, Joint Embeddings, Attention Mekanizmaları
• Fusion Stratejileri: Early Fusion, Late Fusion, Hybrid Fusion
• Egitim Teknikleri: Contrastive Learning, Knowledge Distillation, Curriculum Learning

6.2. Modern VLM Mimarileri

Egitmenler: Faysal Saylık, Selim Topcu

• CLIP Ailesi: CLIP/OpenCLIP, Florence, DeCLIP
• Gelişmiş Modeller: Flamingo, PaLM-E, GPT-4V, Claude Vision, CoCa, BLIP/BLIP-2
• Mimari Bileşenler: Vision Encoder, Text Encoder, Cross-Attention, Fusion Layers

6.3. VLM Uygulamaları

Egitmenler: Faysal Saylık, Selim Topcu

• Temel Görevler: Image-Text Retrieval, Visual Question Answering, Image Captioning
• İleri Uygulamalar: Visual Reasoning, Scene Understanding, Visual Grounding, Zero-shot Tanıma, Few-shot Ögrenme

6.4. Multimodal Chain-of-Thought

Egitmenler: Faysal Saylık, Selim Topcu

• Visual Reasoning: Step-by-step Analysis, Visual Problem Solving, Inference Chain Building
• Reasoning Türleri: Spatial Reasoning, Temporal Reasoning, Causal Reasoning
• Multimodal CoT Stratejileri: Visual Prompting, Cross-modal Verification, Error Analysis

6.5. VLM Optimizasyon ve Degerlendirme

Egitmenler: Faysal Saylık, Selim Topcu

• Model Optimizasyonu: Memory Efficiency, Inference Speed, Model Compression
• Degerlendirme Metrikleri: BLEU/ROUGE, METEOR, CIDEr, SPICE
• Benchmark Datasetleri: COCO, Flickr30k, Visual Genome, VQAv2

7. Generative Modeller

7.1. Variational Autoencoders (VAE)

Egitmenler: Ibrahim Halil Tanboga, Murat Cap

• VAE Mimarisi: Encoder-Decoder Yapısı, Latent Space, Reparametrization Trick, KL Divergence
• VAE Türleri: Beta-VAE, Conditional VAE, Hierarchical VAE
• VQ-VAE: Vector Quantization, Codebook Learning, VQ-VAE-2
• NVAE: Hierarchical Structure, Deep Normalization

7.2. GAN (Generative Adversarial Networks)

Egitmenler: Ibrahim Halil Tanboga, Murat Cap

• GAN Temelleri: Generator, Discriminator, Training Dynamics, Mode Collapse
• Modern GAN’lar: StyleGAN3, BigGAN, Progressive GAN, Self-Attention GAN
• Conditional GANs: Pix2Pix, CycleGAN, SPADE, StarGAN
• Training ve Stabilite: Gradient Penalties, R1 Regularization, Path Length Regularization

7.3. Diffusion Modeller

Egitmenler: Ibrahim Halil Tanboga, Murat Cap

• Temel Diffusion: DDPM, DDIM, Score-based Models, Noise Scheduling
• Modern Diffusion: Stable Diffusion, DALL-E 3, Imagen, Midjourney
• Uygulamalar: Text-to-Image, Image-to-Image, Inpainting/Outpainting
• Optimizasyon: Sampling Strategies, CFG, Guidance Scale

7.4. Flow-based Modeller

Egitmenler: Ibrahim Halil Tanboga, Murat Cap

• Temel Kavramlar: Invertible Functions, Change of Variables, Maximum Likelihood
• Mimari Türleri: Normalizing Flows, Real NVP, Glow, Flow++
• Uygulamalar: Density Estimation, Image Generation, Voice Synthesis
• Training: Coupling Layers, Affine Transformations, Flow Composition

7.5. Autoregressive Modeller

Egitmenler: Ibrahim Halil Tanboga, Murat Cap

• Görüntü Modelleri: PixelCNN++, Image GPT, Taming Transformers
• Ses Modelleri: WaveNet, SampleRNN, WaveRNN
• Hybrid Yaklaşımlar: VQ-VAE + Transformer, DALL-E, Parti
• Optimizasyon: Context Stacks, Skip Connections, Attention Mechanisms

7.6. Text-to-Image Modeller

Egitmenler: Ibrahim Halil Tanboga, Murat Cap

• Model Mimarileri: DALL-E 3, Stable Diffusion, Imagen, Midjourney
• Kontrol Mekanizmaları: ControlNet, T2I-Adapter, IP-Adapter
• Fine-tuning: Textual Inversion, DreamBooth, LoRA, Hypernetworks
• Prompt Engineering: Negative Prompts, Weight Tuning, Style Control

8. Model Optimizasyonu ve Deployment

8.1. Model Compression

Egitmenler: Faysal Saylık, Aslan Erdogan

• Quantization (INT8, INT4)
• Pruning Strategies
• Knowledge Distillation
• Model Architecture Search
• Hardware-aware Optimization

8.2. Distributed Training

Egitmenler: Faysal Saylık, Aslan Erdogan

• Data Parallelism
• Model Parallelism
• Pipeline Parallelism
• ZeRO Optimization
• Communication Strategies

8.3. Production Deployment

Egitmenler: Faysal Saylık, Aslan Erdogan

• Model Serving (TorchServe, TensorRT)
• API Development
• Containerization
• Load Balancing
• Monitoring ve Logging

8.4. MLOps

Egitmenler: Faysal Saylık, Aslan Erdogan

• CI/CD for ML
• Experiment Tracking
• Model Versioning
• Feature Stores
• A/B Testing

9. Responsible AI, Augmented intelligence ve Causal AI

9.1. Responsible AI

Egitmenler: Taylan Akgün

Responsible AI sistemleri, etik prensipler ve güvenlik önlemleri çerçevesinde geliştirilir, şeffaflık ve hesap verebilirlik temel alınarak toplumsal etkiler gözetilir. Veri mahremiyeti, bias yönetimi ve model güvenligi gibi konular sürekli izlenerek, sürdürülebilir ve adil AI sistemleri oluşturulması hedeflenir.

9.2. Augmented intelligence

Egitmenler: Süleyman Çagan Efe

Augmented Intelligence, insan yeteneklerini AI sistemleriyle güçlendirmeyi amaçlar. İnsan-AI işbirligi modellerinde, bilgi entegrasyonu ve karar destek sistemleri kullanılarak iş süreçleri optimize edilir. Kullanıcı deneyimi ve erişilebilirlik ön planda tutularak, sektörel ihtiyaçlara özel çözümler geliştirilir.

9.3. Causal ML/AI

Egitmenler: Ibrahim Halil Tanboga

Causal ML/AI, korelasyon yerine nedensellik iliSkilerini anlamaya odaklanır. Pearl’ün do-calculus ve yapısal nedensel modeller gibi teorik temeller üzerine kurulu olan bu alan, treatment effect estimation, counterfactual analysis ve causal discovery gibi tekniklerle gerçek dünya problemlerine çözümler sunar. Özellikle healthcare, business ve policy alanlarında etkili uygulamalar saglar.

10. Vision Transformers (ViT)

10.1. Vision Transformer Temelleri

Egitmenler: Ibrahim Halil Tanboga, Süleyman Çagan Efe

• Temel Mimari: Patch Embedding, Self-Attention, MLP Head, Classification Token
• Input Processing: Image Patching, Linear Projection, Position Embedding
• Attention Mekanizması: Multi-Head Self-Attention, Layer Normalization, Skip Connections
• Training Stratejileri: Pretraining Datasets, Data Augmentation, Transfer Learning

10.2. Modern ViT Mimarileri

Egitmenler: Ibrahim Halil Tanboga, Süleyman Çagan Efe

• Efficient ViT: DeiT, Mobile-ViT, Compact Transformers
• Hierarchical ViT: Swin Transformer, PVT, Twins
• Hybrid Modeller: ConvNeXt, CoAtNet, CrossViT
• Performance Improvements: XCiT, CaiT, LeViT

10.3. ViT Optimizasyonları

Egitmenler: Ibrahim Halil Tanboga, Süleyman Çagan Efe

• Training: Knowledge Distillation, Progressive Learning, Token Merging
• Memory Efficiency: Attention Approximations, Linear Complexity Methods
• Inference: Model Pruning, Quantization, Hardware Acceleration
• Data Pipeline: Efficient Patch Extraction, Memory Management

10.4. ViT Uygulamaları

Egitmenler: Ibrahim Halil Tanboga, Süleyman Çagan Efe

• Görüntü Sınıflandırma: ImageNet, Fine-grained Recognition, Multi-label Classification
• Nesne Tespiti: DETR, Deformable DETR, ViT-FRCNN
• Segmentasyon: SegFormer, SETR, Dense Prediction
• Özel Görevler: Depth Estimation, Pose Estimation, 3D Vision

11. Explainable AI (XAI)

11.1. XAI Temelleri

Egitmenler: Faysal Saylık, Taylan Akgün

• Temel Kavramlar: Şeffaflık, Yorumlanabilirlik, Açıklanabilirlik, Güvenilirlik
• Model Analiz Tipleri: Global Interpretability, Local Interpretability, Post-hoc Analysis
• XAI Metrikleri: Fidelity, Comprehensibility, Completeness, Consistency

11.2. Global Interpretability Yöntemleri

Egitmenler: Faysal Saylık, Taylan Akgün

• Feature Importance: Permutation Importance, SHAP Values, Feature Ablation
• Model Distillation: Rule Extraction, Decision Trees, Linear Approximations
• Model Agnostic: Partial Dependence Plots, Accumulated Local Effects

11.3. Local Interpretability Yöntemleri

Egitmenler: Faysal Saylık, Taylan Akgün

• LIME: Local Interpretable Model-agnostic Explanations, SuperPixels
• SHAP: SHapley Additive exPlanations, KernelSHAP, DeepSHAP
• Counterfactuals: DiCE, Counterfactual Explanations, What-If Analysis

11.4. Deep Learning Spesifik XAI

Egitmenler: Faysal Saylık, Taylan Akgün

• Görüntü Modelleri: Grad-CAM, Integrated Gradients, Occlusion Sensitivity
• NLP Modelleri: Attention Visualization, Token Attribution, Input Saliency
• Multimodal: Cross-Modal Attribution, Vision-Language Explanations

11.5. XAI Uygulamaları

Egitmenler: Faysal Saylık, Taylan Akgün

• Sektör Uygulamaları: Healthcare, Finance, Autonomous Systems
• Regülasyon Uyumlulugu: GDPR, AI Act, Model Documentation
• Bias ve Fairness: Bias Detection, Model Debugging, Fairness Metrics

12. Multimodal Learning

12.1. Multimodal Foundations

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Representations: Cross-modal Learning, Joint Embeddings, Modal Alignment
• Fusion Strategies: Early Fusion, Late Fusion, Hybrid Fusion, Adaptive Fusion
• Learning Techniques: Contrastive Learning, Knowledge Distillation, Cross-modal Pretraining
• Architectural Components: Modal Encoders, Fusion Modules, Cross-attention

12.2. Cross-modal Understanding

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Text-Vision Integration: CLIP, ALIGN, Florence
• Audio-Visual Learning: AV-HuBERT, AudioCLIP
• Text-Audio Systems: Whisper, Wav2Vec
• Multi-sensor Fusion: Point Clouds, Depth, Thermal

12.3. Multimodal Applications

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Chatbots: GPT-4V, Claude Vision, LLaVA
• Question Answering: Visual QA, Audio QA, Multi-hop QA
• Content Generation: Text-to-Image, Text-to-Video, Text-to-Audio
• Reasoning: Visual Reasoning, Scene Understanding, Cross-modal Inference

12.4. Advanced Topics

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Few-shot Learning: Cross-modal Adaptation, Modal Transfer
• Zero-shot Learning: Cross-modal Generalization
• Continual Learning: Modal Incremental Learning
• Robustness: Modal Missing, Noise Handling

12.5. Evaluation & Metrics

Egitmenler: Ibrahim Halil Tanboga, Selim Topcu

• Task-Specific Metrics: VQA Score, ROUGE, BLEU, CIDEr
• Cross-modal Metrics: Retrieval Metrics, Alignment Scores
• Human Evaluation: User Studies, A/B Testing
• Diagnostic Tools: Attribution Analysis, Error Analysis

13. Tabular Veri ile Derin Ögrenme

13.1. Tabular DL Temelleri

Egitmenler: Faysal Saylık, Murat Cap

• Veri İşleme: Preprocessing, Feature Engineering, Encoding, Normalization
• Neural Network Yapıları: MLP, Embedding Layers, Categorical Handling
• Preprocessing: Missing Values, Outliers, Feature Scaling, Encoding
• Architecture Design: Layer Size, Activation Functions, Regularization

13.2. Modern Tabular Modeller

Egitmenler: Faysal Saylık, Murat Cap

• TabNet: Feature Selection, Sequential Processing, Instance-wise Feature Selection
• Transformer-based: TabTransformer, FT-Transformer, SAINT
• Hybrid Modeller: NODE, AdapterBoost, AutoGluon
• Entity Embeddings: Categorical Encoding, Feature Interactions

13.3. Advanced Techniques

Egitmenler: Faysal Saylık, Murat Cap

• Feature Interactions: AutoInt, DCN, CrossNet
• Attention Mechanisms: Self-Attention, Cross-Feature Attention
• Regularization: Dropout, L1/L2, Feature Dropout
• Ensemble Methods: Stacking, Bagging, Model Fusion

13.4. Model Optimization

Egitmenler: Faysal Saylık, Murat Cap

• Hyperparameter Tuning: Grid Search, Bayesian Optimization
• Learning Rate Scheduling: Warm-up, Cyclic LR, One-Cycle
• Model Compression: Pruning, Quantization, Knowledge Distillation
• Performance Metrics: RMSE, MAE, ROC-AUC, PR-AUC

13.5. Interpretability & Deployment

Egitmenler: Faysal Saylık, Murat Cap

• Model Interpretation: SHAP, LIME, Feature Importance
• Calibration: Platt Scaling, Isotonic Regression
• Deployment: Model Serving, Online Learning
• Monitoring: Drift Detection, Performance Tracking

14. Deep Learning donanım gereksinimleri

14.1. GPU Mimarisi ve Seçimi

Egitmenler: Faysal Saylık, Aslan Erdogan

• GPU Bileşenleri: CUDA Cores, Tensor Cores, Memory Bandwidth
• GPU Seçim Kriterleri: VRAM, Compute Capability, Power Efficiency
• Multi-GPU Sistemler: NVLink, Multi-GPU Training
• GPU Alternatifleri: TPU, FPGA, Neural Processors

14.2. Hardware Optimizasyonu

Egitmenler: Faysal Saylık, Aslan Erdogan

• Memory Management: Gradient Checkpointing, Mixed Precision Training
• Parallelization: Data Parallel, Model Parallel, Pipeline Parallel
• Distributed Training: Parameter Server, Ring AllReduce
• Resource Monitoring: GPU Utilization, Memory Usage, Power Consumption

14.3. Cloud Infrastructure

Egitmenler: Faysal Saylık, Aslan Erdogan

• Cloud Providers: AWS, GCP, Azure ML
• Instance Types: GPU Instances, High Memory, Spot Instances
• Orchestration: Kubernetes, Docker, Cloud Management
• Cost Optimization: Instance Selection, Spot Strategies

14.4. Deployment Hardware

Egitmenler: Faysal Saylık, Aslan Erdogan

• Edge Devices: Mobile, IoT, Embedded Systems
• Model Optimization: Quantization, Pruning, Distillation
• Inference Acceleration: TensorRT, ONNX Runtime
• Deployment Strategies: CPU vs GPU vs Edge TPU

15. Computer Vision

15.1. Temel Görüntü İşleme

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

Görüntü Ön İşleme: Filtreleme, Normalizasyon, Augmentation Feature Extraction: SIFT, SURF, ORB, HOG Segmentation: Threshold, Edge Detection, Watershed Morphological Operations: Erosion, Dilation, Opening, Closing

15.2. Derin Ögrenme Mimarileri

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

CNN Mimarileri: ResNet, EfficientNet, Vision Transformer Object Detection: YOLO, Faster R-CNN, DETR Segmentation Networks: U-Net, Mask R-CNN, DeepLab Multi-task Learning: MTL Architectures, Feature Sharing

15.3. 3D Vision

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

3D Reconstruction: SfM, SLAM, NeRF Point Cloud Processing: PointNet++, DGCNN Depth Estimation: Monocular, Stereo Vision 3D Object Detection: VoxelNet, PointPillars

15.4. Video Understanding

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

Action Recognition: I3D, SlowFast Networks Tracking: SORT, DeepSORT, ByteTrack Temporal Modeling: LSTM, 3D CNN, Transformer Video Generation: Video Diffusion, Motion Transfer

15.5. Advanced Topics

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

Few-shot Learning: Prototypical Networks, MAML Self-supervised Learning: MoCo, DINO, MAE Multi-modal Learning: CLIP, Florence, CoCa Neural Rendering: NeRF, GauGAN, StyleGAN3

15.6. Uygulamalar ve Deployment

Egitmenler: Faysal Saylık, Süleyman Çagan Efe

Model Optimization: Pruning, Quantization, KD Edge Deployment: TensorRT, CoreML, TFLite Pipeline Design: Data Flow, Caching, Batching Monitoring: Performance Metrics, Failure Cases