自強課程

課程名稱

預訓練大語言模型(Pre-trained Large Language Models) 熱烈招生中

🚩建議【先修】👉➡13W310 自然語言處理與文字資料探勘實作(Natural Language Processing and Text Mining)
🚩建議【進階】👉➡13W322 預訓練大語言模型(Pre-trained Large Language Models)

課程代碼：

13W322

上課時間：

113/7/23、7/30，星期二，09:00-16:00，共12小時。

上課時數：

12 小時

上課地點：

清華大學第四綜合大樓(清華大學東側門入口處左手邊即為自強基金會大門入口/清大郵局左側)

課程費用：

8000元 (符合超值優惠價格者需送出報名表後，系統發出報名成功回函確認金額。)

超值優惠：

VIP企業會員價：VIP企業會員可享優惠價格 (按我)
會員優惠價： 會員於開課前七天完成報名繳費者可享會員優惠價 7800 元
早安鳥方案：會員於開課二週前(含)報名並完成繳費，可享超值優惠價 7300 元
會員紅利折抵：本課程歡迎使用紅利折抵，最高可使用 100 點

課程目標：

本課程從卷積與遞歸神經網路基礎開講，介紹傳統自然語言模型的發展瓶頸與沿革，漸次引入模仿人類閱讀學習記憶的並行注意力機制，以及摒除人工標記束縛的基於變形金剛雙向編碼器表示技術(Bi-directional Encoder Representations from Transformers, BERT)，幫助學員理解ChatGPT背後大語言模型的原理，並運用Python語言實作NLP/NLU任務，進一步觸發學員思考工作場域中的新應用。

1.從傳統模型瓶頸走向最新的技術突破，幫助學員瞭解大語言模型背後的重要技術細節，活用自然語言資料分析建模技術，並抓住未來發展趨勢。

2.熟悉自然語言處理與理解等模型，奠定學習當代大語言模型原理的基礎。

3.運用Python套件TensorFlow、PyTorch實作NLP/NLU任務。

修課條件：

課程大綱：

1.文本數據的表示方式

2.自然語言處理各型任務

3.自然語言序列資料與神經網路
(1)多層感知機(multilayer perceptron)：線性迴歸、羅吉斯分類、Softmax分類
(2)卷積神經網路(convolution neural network)
(3)遞歸神經網路(recurrent neural network)
(4)長短期記憶(long short term memory)
(5)注意力、自注意力與多頭機制
(6)變形金剛(transformers)模型

4.重要大語言模型
(1)動態詞詞嵌入模型(ELMo)
(2)基於變形金剛的雙向編碼器表示技術(BERT)
(3)生成式預訓練模型(GPT)

5.進階大語言模型簡介(排列語言模型、RoBERTa、BART…)

課程師資：

講師：鄒慶士
專長：機率統計學習與人工智慧、大數據與資料科學、進化式多目標最佳化、賽局模型應用、數學規劃應用、等候網路與系統模擬、時間序列分析與控制
現任：國立臺北商業大學資訊與決策科學研究所教授兼校務永續發展中心主任

主辦單位:

財團法人自強工業科學基金會