自強課程

課程名稱

【竹科管理局補助課程】大語言模型原理及其應用(實作) 熱烈招生中

<<實作課程、名額有限>>
📢會員於7/1前報名：
🥇園區內：500元/人；（二人同行👉免費）<煩請來電或來信告知同行者>。
🥈園區外：800元

※任職於【科學園區廠商】優先錄取!
※早鳥優惠價統一於確定開課後修改金額!

💥上課出席率需達７５％哦❗💥

課程代碼：

14W321

上課時間：

7/8(二)、7/9(三)，09:00-16:00，共二週12小時。

上課時數：

12 小時

上課地點：

清華大學第四綜合大樓(清華大學東側門入口處左手邊即為自強基金會大門入口/清大郵局左側)

課程費用： (以下費用已由竹科管理局補助80%)

4000元 (科學園區廠商優惠價格需送出報名表後，系統發出報名成功回函確認金額。)

超值優惠：

科學園區廠商優惠價： 3000 元(★繳費完成才算報名成功喔★)

課程目標：

本課程從卷積與遞歸神經網路基礎開講，介紹傳統自然語言模型的發展瓶頸與沿革，漸次引入模仿人類閱讀學習記憶的並行注意力機制，以及摒除人工標記束縛的基於變形金剛雙向編碼器表示技術(Bi-directional Encoder Representations from Transformers, BERT)，幫助學員理解ChatGPT背後大語言模型的原理，並運用Python語言實作NLP/NLU任務，進一步觸發學員思考工作場域中的新應用。
　1. 從傳統模型瓶頸走向最新的技術突破，幫助學員瞭解大語言模型背後的重要技術細節，活用自然語言資料分析建模技術，並抓住未來發展趨勢。
　2. 熟悉自然語言處理與理解等模型，奠定學習當代大語言模型原理的基礎。
　3. 運用Python套件TensorFlow、PyTorch實作NLP/NLU任務。

課程大綱：

1. 大語言模型發展歷程
2. 大語言模型建構過程
3. 大語言模型基礎
　3-1多層感知機(multilayer perceptron)：線性迴歸、羅吉斯分類、Softmax分類
　3-2卷積神經網路(convolution neural network)
　3-3遞歸神經網路(recurrent neural network)
　3-4長短期記憶(long short term memory)
　3-5注意力、自注意力與多頭機制
　3-6變形金剛(transformers)模型
4. 重要大語言模型
　4-1動態詞詞嵌入模型(ELMo)
　4-2基於變形金剛的雙向編碼器表示技術(BERT)
　4-3生成式預訓練模型(GPT)
5. 大語言模型預訓練資料
6. 大語言模型有監督微調
7. 大語言模型強化學習
8. 大語言模型應用

課程師資：

鄒慶士教授
專長：機率與統計學習、進化式多目標最佳化、賽局模型應用、系統模擬與強化學習、時間序列分析與控制
現任：國立臺北商業大學資訊與決策科學研究所暨智能控制與決策研究室教授

主辦單位:

財團法人自強工業科學基金會