【課程時長】

3天（6小時/天）

【課程簡介】

在所有人工智能的應用方向上，計算機視覺/機器視覺圖像處理的落地應用最為成熟，近兩年的技術發(fā)展是最為迅猛。

以互聯(lián)網(wǎng)巨頭為代表的企業(yè)正在開展如：基于識別的智能機器人，無人駕駛，人臉識別、圖像搜索，圖像處理，游戲界面等；專門從事視覺、圖像處理的新興公司正在發(fā)力于人臉識別，檢測，跟蹤，安防等領域。只有對計算機視覺這個領域有了一個初步的全面了解才能在這些領域進行研究，一步步深入下去。

【課程目標】

l 計算機視覺領域的重點研究問題。由淺入深得 講解數(shù)字圖像的存儲、預處理、特征提取，以及在深度學習興起之前計算機視覺領域所取得的成就。

l 專門介紹深度學習的基礎理論知識，包括神經(jīng) 網(wǎng)絡的基本原理，以及深度學習對于傳統(tǒng)神經(jīng) 網(wǎng)絡的關鍵改進。

l 重點介紹深度學習模型在計算機視覺領域的應用。具體涉及在計算機視覺領域如何應用卷積 神經(jīng)網(wǎng)絡（CNN)、區(qū)域卷積網(wǎng)絡（R-CNN) 全卷積網(wǎng)絡（FCN)、循環(huán)神經(jīng)網(wǎng)絡（RNN)、 長短時記憶單元（LSTM)、生成對抗網(wǎng)絡 (GAN)等解決圖像應用的難點 課程將使用Python語言及Tensorflow、Keras 深度學習框架等進行案例實踐教學。

【講師介紹】

葉梓，博士、高級工程師。2005年上海交通大學計算機專業(yè)博士畢業(yè)，主研方向為數(shù)據(jù)挖掘、機器學習、人工智能等。現(xiàn)為某大型上市軟件企業(yè)的人工智能團隊技術負責人。曾主持多項國家戰(zhàn)略級人工智能項目，主持設計并搭建多個市級大數(shù)據(jù)平臺，在大數(shù)據(jù)、人工智能應用等方面有著豐富的工程實踐經(jīng)驗。先后在SCI或EI期刊上發(fā)表論文4篇，在中文核心期刊上發(fā)表論文近20篇，并被百度學術收錄。2011年獲中國行業(yè)協(xié)會科技創(chuàng)新一等獎。

第一講 課程概述

1、計算機視覺的研究意義

2、計算機視覺的難點

3、當前研究的主要熱點問題（分類、目標檢測、實例分割、圖說等）

4、本課程的主要內容介紹

5、相關開源庫介紹（OpenCV、Tensorflow、Keras、pyTorch等）

6、應用案例：搭建tensorflow+opencv的環(huán)境

第二講 圖像預處理

1、圖像平滑與去噪（高斯濾波、中值濾波等）

2、基于直方圖的對比度增強:CLAHE

3、邊緣檢測算子（Sobel、拉普拉斯等）

4、形態(tài)學處理（腐蝕、膨脹、開閉運算等）

5、高斯金字塔與拉普拉斯金字塔

6、頻域分析及變換（卷積計算、傅里葉變換、小波變換）

7、應用案例：平滑、邊緣檢測、CLAHE、FFT等

第三講 圖像特征提取

1、顏色特征（量化直方圖、聚類直方圖）

2、幾何特征（Edge、Corner、Blob等）

3、Harris角點與FAST角點

4、基于關鍵點的特征描述子（SIFT、SURF、ORB）

5、其他特征提取（LBP、Gabor）

6、應用案例：SIFT、圖像拼接等

第四講 未有深度學習之前

1、基于灰度的圖像分割（閾值分割、區(qū)域生長、分水嶺等）

2、基于圖論：graph-cut與grab-cut

3、用于人臉檢測的Haar-like特征與級聯(lián)分類器

4、用于行人檢測的HOG+SVM

5、用于行人檢測的多尺度形變部件模型（DPM）

6、應用案例：人臉識別、行人識別

第五講 神經(jīng)網(wǎng)絡與誤差反向傳播算法

1、人工神經(jīng)元及感知機模型

2、目標函數(shù)（MSE）

3、激勵函數(shù)（sigmoid、tanh）

4、誤差反向傳播算法的推導

5、應用案例：可以手算的BP神經(jīng)網(wǎng)絡

6、深度學習與神經(jīng)網(wǎng)絡的區(qū)別與聯(lián)系

第六講 深度學習基礎

1、深度學習中的目標函數(shù)與激勵函數(shù)

2、深度學習中的求解方法（Adagrad、RMSprop、Adam等）

3、深度學習中的技巧（dropout、BN、weights decay等）

4、應用案例：利用tensorflow實現(xiàn)的手寫數(shù)字識別

5、卷積神經(jīng)網(wǎng)絡介紹

6、卷積層的誤差反向傳播

7、池化層的誤差反向傳播

第七講 圖像分類

1、競賽中的分類問題

2、CNN的發(fā)展概述

3、開山之作：AlexNet

4、5層變?yōu)?組：VGG

5、組合所有可能的模型：GoogLeNet

6、殘差網(wǎng)絡：ResNet

7、深與寬之外的改進方向：ResNext

6、應用案例：VGG、ResNet

第八講 圖像檢索

1、檢索特征（基于顏色，紋理，形狀，局部特征）

2、特征相似度度量（EMD）

3、建立基于深度學習的檢索索引

4、知識點：遷移學習的一種實現(xiàn)（fine-tune）

5、索引加速：KD-tree

6、大數(shù)據(jù)條件下的索引加速：Locality Sensitive Hash

7、應用案例：CBIR的應用

第九講 目標檢測（上）

1、目標檢測任務概述

2、區(qū)域卷積神經(jīng)網(wǎng)絡：R-CNN

3、共享卷積層與多尺度：SPP-Net

4、多任務的目標函數(shù)：Fast R-CNN

5、SS改成RPN：Faster R-CNN

6、其他數(shù)據(jù)集介紹：行人檢測、人臉檢測

7、應用案例：Faster R-CNN

第十講 目標檢測（下）

1、之前方法的總結

2、ROI-wise子網(wǎng)繼續(xù)共享：R-FCN

3、回歸解決一切：YOLO v1

4、八大改進：YOLO v2

5、構建語義樹：YOLO 9000

6、多尺度預測：YOLO v3

7、應用案例：Darknet實現(xiàn)的YOLO

第十一講 通用場景下的圖像分割

1、語義分割

2、全卷積網(wǎng)絡語義分割：FCN

3、知識點：反卷積、轉置卷積與空洞（膨脹）卷積

4、DeepLab v1（含CRF）

5、DeepLab v2（多尺度）

6、DeepLab v3與v3+(多尺度級聯(lián))

7、PASCAL VOC、MS COCO、Cityscapes等數(shù)據(jù)集介紹

8、應用案例：DeepLab、denseCRF

第十二講 醫(yī)療影像分割

1、醫(yī)學影像分析任務概述與數(shù)據(jù)集

2、U-Net

3、3D U-NET與V-Net

4、FC-DenseNet

5、病理切片分析任務概述與數(shù)據(jù)集6、病理切片分析的實現(xiàn)

7、應用案例：利用U-Net實現(xiàn)的器官分割

第十三講 圖像描述（圖說）

1、深度學習的語言模型（RNN）

2、知識點介紹；LSTM與GRU

3、圖說模型原理與結構

4、模型增強：注意力機制

5、圖說效果的評判標準

6、數(shù)據(jù)集介紹（MS COCO， Flickr等）

7、應用案例：RNN簡單示例，圖像描述：show and Tell

第十四講 圖像生成

1、變分自編碼器（VAE）

2、生成對抗網(wǎng)絡（GAN）

3、知識點：KL散度與JS散度

4、改進的GAN：DCGAN

5、從根本上解決訓練的困難：Wasserstein GAN

6、超分辨率問題：SRGAN

7、應用案例：GAN與DCGAN等