課程簡介
第1部分——深度學習與DNN概念
人工智能、機器學習與深度學習簡介
- 人工智能的歷史、基本概念及常見應用,遠離該領域的幻想
- 集體智能:聚合多個虛擬代理共享的知識
- 遺傳算法:通過選擇進化虛擬代理的羣體
- 常見的機器學習:定義。
- 任務類型:監督學習、無監督學習、強化學習
- 動作類型:分類、迴歸、聚類、密度估計、降維
- 機器學習算法示例:線性迴歸、樸素貝葉斯、隨機樹
- 機器學習與深度學習:機器學習仍然是當今最先進的問題(隨機森林與XGBoosts)
神經網絡的基本概念(應用:多層感知器)
- 數學基礎回顧。
- 神經網絡的定義:經典架構、激活和
- 先前激活的權重,網絡的深度
- 神經網絡的學習定義:成本函數、反向傳播、隨機梯度下降、最大似然。
- 神經網絡的建模:根據問題類型(迴歸、分類等)對輸入和輸出數據進行建模。維度詛咒。
- 多特徵數據與信號的區別。根據數據選擇成本函數。
- 通過神經網絡逼近函數:介紹和示例
- 通過神經網絡逼近分佈:介紹和示例
- 數據增強:如何平衡數據集
- 神經網絡結果的泛化。
- 神經網絡的初始化和正則化:L1/L2正則化,批量歸一化
- 優化和收斂算法
標準ML/DL工具
將進行簡單的介紹,包括優點、缺點、在生態系統中的位置及使用。
- 數據管理工具:Apache Spark、Apache Hadoop工具
- 機器學習:Numpy、Scipy、Sci-kit
- 高級DL框架:PyTorch、Keras、Lasagne
- 低級DL框架:Theano、Torch、Caffe、Tensorflow
卷積神經網絡(CNN)。
- CNN的介紹:基本原理和應用
- CNN的基本操作:卷積層、使用內核、
- 填充和步幅,特徵圖的生成,池化層。1D、2D和3D擴展。
- 介紹在圖像分類中帶來最先進技術的不同CNN架構
- LeNet、VGG網絡、網絡中的網絡、Inception、Resnet。介紹每種架構帶來的創新及其更廣泛的應用(1x1卷積或殘差連接)
- 使用注意力模型。
- 應用於常見分類案例(文本或圖像)
- CNN用於生成:超分辨率、像素到像素分割。介紹
- 用於圖像生成的主要策略,以增加特徵圖。
循環神經網絡(RNN)。
- RNN的介紹:基本原理和應用。
- RNN的基本操作:隱藏激活、通過時間的反向傳播、展開版本。
- 向門控循環單元(GRUs)和長短期記憶(LSTM)的演變。
- 介紹不同狀態及這些架構帶來的演變
- 收斂和梯度消失問題
- 經典架構:時間序列預測、分類...
- RNN編碼器解碼器類型架構。使用注意力模型。
- NLP應用:詞/字符編碼、翻譯。
- 視頻應用:預測視頻序列的下一個生成圖像。
生成模型:變分自編碼器(VAE)和生成對抗網絡(GAN)。
- 生成模型的介紹,與CNN的聯繫
- 自編碼器:降維和有限生成
- 變分自編碼器:生成模型和給定分佈的近似。潛在空間的定義和使用。重參數化技巧。應用和觀察到的限制
- 生成對抗網絡:基礎。
- 雙網絡架構(生成器和判別器)與交替學習,可用的成本函數。
- GAN的收斂及遇到的困難。
- 改進的收斂:Wasserstein GAN、Began。地球移動距離。
- 用於圖像或照片生成、文本生成、超分辨率的應用。
深度強化學習。
- 強化學習的介紹:在定義的環境中控制代理
- 通過狀態和可能的動作
- 使用神經網絡近似狀態函數
- 深度Q學習:經驗回放,並應用於視頻遊戲的控制。
- 學習策略的優化。在線策略與離線策略。演員-評論家架構。A3C。
- 應用:控制單個視頻遊戲或數字系統。
第2部分——Theano深度學習
Theano基礎
- 介紹
- 安裝與配置
Theano函數
- 輸入、輸出、更新、給定
使用Theano進行神經網絡的訓練與優化
- 神經網絡建模
- 邏輯迴歸
- 隱藏層
- 訓練網絡
- 計算與分類
- 優化
- 對數損失
測試模型
第3部分——使用TensorFlow的DNN
TensorFlow基礎
- 創建、初始化、保存和恢復TensorFlow變量
- 輸入、讀取和預加載TensorFlow數據
- 如何使用TensorFlow基礎設施大規模訓練模型
- 使用TensorBoard可視化和評估模型
TensorFlow機制
- 準備數據
- 下載
- 輸入與佔位符
-
構建圖S
- 推理
- 損失
- 訓練
-
訓練模型
- 圖
- 會話
- 訓練循環
-
評估模型
- 構建評估圖
- 評估輸出
感知器
- 激活函數
- 感知器學習算法
- 使用感知器進行二元分類
- 使用感知器進行文檔分類
- 感知器的侷限性
從感知器到支持向量機
- 核與核技巧
- 最大間隔分類與支持向量
人工神經網絡
- 非線性決策邊界
- 前饋與反饋人工神經網絡
- 多層感知器
- 最小化成本函數
- 前向傳播
- 反向傳播
- 改進神經網絡的學習方式
卷積神經網絡
- 目標
- 模型架構
- 原理
- 代碼組織
- 啓動與訓練模型
- 評估模型
將提供以下模塊的基本介紹(根據時間提供簡要介紹):
TensorFlow高級用法
- 線程與隊列
- 分佈式TensorFlow
- 編寫文檔並共享模型
- 自定義數據讀取器
- 操作TensorFlow模型文件
TensorFlow Serving
- 介紹
- 基礎服務教程
- 高級服務教程
- Inception模型服務教程
最低要求
具備物理、數學和編程背景,並參與過圖像處理活動。
學員應事先了解機器學習概念,並應具備Python編程和庫的使用經驗。
客戶評論 (5)
Hunter非常出色,非常有吸引力,知識淵博且平易近人。表現非常出色。
Rick Johnson - Laramie County Community College
課程 - Artificial Intelligence (AI) Overview
機器翻譯
培訓師講解內容清晰,整個過程中非常引人入勝。他在一些實踐環節中停下來提問,並讓我們自己找到解決方案。他還根據我們的需求很好地調整了課程內容。
Robert Baker
課程 - Deep Learning with TensorFlow 2.0
機器翻譯
Tomasz對信息非常瞭解,課程節奏也很合適。
Raju Krishnamurthy - Google
課程 - TensorFlow Extended (TFX)
機器翻譯
組織方遵循既定議程,培訓師在該領域擁有豐富的知識
Ali Kattan - TWPI
課程 - Natural Language Processing with TensorFlow
機器翻譯
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
課程 - TensorFlow for Image Recognition
機器翻譯