自強課程

課程名稱
[線上上課]生成式AI電腦視覺原理與實作
熱烈招生中
全線上
課程代碼:
14A053
上課時間:
2025/5/13(二)、5/20(二),10:00~17:00,共12小時
上課時數:
12 小時
上課地點:
課程費用:
10000元
(符合超值優惠價格者需送出報名表後,系統發出報名成功回函確認金額。)
超值優惠:
- VIP企業會員價:VIP企業會員可享優惠價格 (按我)
- 會員優惠價: 會員於開課前七天完成報名繳費者可享會員優惠價 9800 元
- 會員紅利折抵:本課程歡迎使用紅利折抵,最高可使用 200 點
課程目標:
生成式AI是近年來最火紅的一種深度學習模型,它的目的是生成或是修改影像,而不是對現有的資料集做數據分類或是迴歸,本課程將深入瞭解PyTorch生成模型的基礎知識,模型架構、訓練細節以及影像生成與轉換在特定概念影像、人臉、行車影像天候之生成或是轉換的各種應用。
自從2014年生成式對抗網路(Generative Adversarial Network, GAN)橫空出世,近年來生成模型由於擴散模型的推出,效果有了極大的提升,2022年,Stable Diffusion這類文字生成影像模型,只要給予一段充滿細節的文字,其生成的影像極為真實,此模型的主要原理來自同一年的LDM(Latent Diffusion Model)。然而,這樣的模型剛開始為人所詬病的就是人物的手指往往很不自然,隨著Controlnet的出現,我們可以控制生成人物的姿態,以及自然的手部,甚至我們可以文字搭配素描/深度圖/光線分佈,來產生我們心目中的那張"圖"。為了讓Stable Diffusion學會新的概念,我們可以使用Dreambooth/LORA/Textual Inversion微調模型,我們就可以生成各種特定概念的影像,例如台灣風格街景或是明星從未實際拍攝過的影片。影像編輯也是生成模型的一種重要應用,我們可以先透過Instruct-Pix2Pix透過GPT模型學習將影像生成指令轉換為修改指令。
生成模型在人臉合成以及生成的方式亦相當有趣,欲將某個臉換成另一張臉,我們可以透過Latent Vector Inversion的方式,產生該臉的Latent Vector,再與另一張臉的Latent Vector內插以微調生成臉在兩種臉孔間的相似/相異程度,略為修改後人臉最重要的影像就是社群網站上,人臉的隱私權保護,本課程將一併介紹,如何略為修改人臉,即可讓人臉辨識模型失效。
本課程所有的程式都將在Colab此雲端平台上開發,具體實作內容包括了2014年第一代的GAN與近年生成模型的新代名詞-擴散模型,具體應用 包括了手寫數字生成,人臉生成/轉換,街景影像日夜轉換,人體同姿態影像生成,特定名星/物品在新情境下的影像生成。
1. 手寫數字影像生成:運用Ian Goodfellow所提出的初代GAN實現手寫數字生成。
2. 人臉影像生成與轉換: 運用DCGAN/StarGAN實現人臉影像生成與轉換,並使用生成人臉降低人臉辨識模型的辨識率
3. 街景影像轉換:運用生成模型實現行車影像天候轉換,例如晝、夜、霧、雨間的影像互相轉換。
4. 明星/物品在新情境下的影像生成: 運用Dreambooth/LORA/Textual Inversion微調強大的生成模型,以生成明星或是特定物品在新情境下的影像。
5.多領域(Multi-Domain)人臉轉換: 運用StarGAN,給定一張人臉影像使用同一個模型即可實現人臉膚色、年齡或性別的轉換
6.高擬真的人臉影像生成:運用StyleGAN產生人臉影像。
7.DeepFake:運用目前強大的DeepFaceLab進行換臉實作
經過本次課程的洗禮,您將學會(1)GAN的基本概念以及如何從頭實現一個生成式對抗網路,(2)運用不同GAN來實現各種影像生成或是轉換,(3)運用GAN生成影像以幫助物體偵測或是語義分割模型得到更好的訓練結果。
協助具Python程式語言基礎之學員學會運用PyTorch此深度學習框架開發深度學習模型,尤其是生成式對抗網路。
未來可銜接各類進階深度學習影像辨識或是生成模型開發的進階課程
自從2014年生成式對抗網路(Generative Adversarial Network, GAN)橫空出世,近年來生成模型由於擴散模型的推出,效果有了極大的提升,2022年,Stable Diffusion這類文字生成影像模型,只要給予一段充滿細節的文字,其生成的影像極為真實,此模型的主要原理來自同一年的LDM(Latent Diffusion Model)。然而,這樣的模型剛開始為人所詬病的就是人物的手指往往很不自然,隨著Controlnet的出現,我們可以控制生成人物的姿態,以及自然的手部,甚至我們可以文字搭配素描/深度圖/光線分佈,來產生我們心目中的那張"圖"。為了讓Stable Diffusion學會新的概念,我們可以使用Dreambooth/LORA/Textual Inversion微調模型,我們就可以生成各種特定概念的影像,例如台灣風格街景或是明星從未實際拍攝過的影片。影像編輯也是生成模型的一種重要應用,我們可以先透過Instruct-Pix2Pix透過GPT模型學習將影像生成指令轉換為修改指令。
生成模型在人臉合成以及生成的方式亦相當有趣,欲將某個臉換成另一張臉,我們可以透過Latent Vector Inversion的方式,產生該臉的Latent Vector,再與另一張臉的Latent Vector內插以微調生成臉在兩種臉孔間的相似/相異程度,略為修改後人臉最重要的影像就是社群網站上,人臉的隱私權保護,本課程將一併介紹,如何略為修改人臉,即可讓人臉辨識模型失效。
本課程所有的程式都將在Colab此雲端平台上開發,具體實作內容包括了2014年第一代的GAN與近年生成模型的新代名詞-擴散模型,具體應用 包括了手寫數字生成,人臉生成/轉換,街景影像日夜轉換,人體同姿態影像生成,特定名星/物品在新情境下的影像生成。
1. 手寫數字影像生成:運用Ian Goodfellow所提出的初代GAN實現手寫數字生成。
2. 人臉影像生成與轉換: 運用DCGAN/StarGAN實現人臉影像生成與轉換,並使用生成人臉降低人臉辨識模型的辨識率
3. 街景影像轉換:運用生成模型實現行車影像天候轉換,例如晝、夜、霧、雨間的影像互相轉換。
4. 明星/物品在新情境下的影像生成: 運用Dreambooth/LORA/Textual Inversion微調強大的生成模型,以生成明星或是特定物品在新情境下的影像。
5.多領域(Multi-Domain)人臉轉換: 運用StarGAN,給定一張人臉影像使用同一個模型即可實現人臉膚色、年齡或性別的轉換
6.高擬真的人臉影像生成:運用StyleGAN產生人臉影像。
7.DeepFake:運用目前強大的DeepFaceLab進行換臉實作
經過本次課程的洗禮,您將學會(1)GAN的基本概念以及如何從頭實現一個生成式對抗網路,(2)運用不同GAN來實現各種影像生成或是轉換,(3)運用GAN生成影像以幫助物體偵測或是語義分割模型得到更好的訓練結果。
協助具Python程式語言基礎之學員學會運用PyTorch此深度學習框架開發深度學習模型,尤其是生成式對抗網路。
未來可銜接各類進階深度學習影像辨識或是生成模型開發的進階課程
課程大綱:
1.生成式對抗網路基本原理
2.手寫數字影像生成實作
3.人臉影像生成實作(DCGAN/StarGAN)
4.Image2StyleGAN人臉重建與人臉轉換
5.人臉辨識原理與實作
6.人臉辨識模型於生成/修改人臉之實作
7.成對與非成對影像轉換實作(Pix2pix與CycleGAN)
8.結合語義分割以及物體偵測的影像轉換
9.日夜街景影像轉換實作
10.擴散模型模型原理與實作
11.生成模型影像編輯原理與實作
12.運用Controlnet實現同姿態/同模態影像生成
13.透過微調Stable Diffusion以實現明星/物品在新情境下的影像生成
2.手寫數字影像生成實作
3.人臉影像生成實作(DCGAN/StarGAN)
4.Image2StyleGAN人臉重建與人臉轉換
5.人臉辨識原理與實作
6.人臉辨識模型於生成/修改人臉之實作
7.成對與非成對影像轉換實作(Pix2pix與CycleGAN)
8.結合語義分割以及物體偵測的影像轉換
9.日夜街景影像轉換實作
10.擴散模型模型原理與實作
11.生成模型影像編輯原理與實作
12.運用Controlnet實現同姿態/同模態影像生成
13.透過微調Stable Diffusion以實現明星/物品在新情境下的影像生成
課程師資:
自強基金會專業講師
主辦單位:
財團法人自強工業科學基金會
學員須知:
注意事項