開始日期: 2025-02-22

　　課時安排: 7周在線小組科研學習+5周不限時論文指導學習

　　適合人群

　　適合年級 (Grade): 大學生及以上

　　適合專業(yè) (Major): 人工智能、數(shù)據(jù)科學、統(tǒng)計學等專業(yè)學生;

　　學生需要具備微積分、概率論與數(shù)理統(tǒng)計基礎(chǔ)，同時會使用Python編程語言;

　　建議選修: Python數(shù)據(jù)處理及其數(shù)學原理

　　導師介紹

　　Osman

　　卡內(nèi)基梅隆大學 (CMU)終身正教授

　　Osman導師現(xiàn)任是卡內(nèi)基梅隆大學(CMU)計算機科學學院的終身正教授。此前他是CMU CyLab的博士后研究員。2011年秋季，他還在亞利桑那州立大學擔任訪問博士后學者。導師于2011年獲得馬里蘭大學(University of Maryland at College Park, MD)的電氣和計算機工程博士學位。導師的研究重點是計算系統(tǒng)的建模、分析和性能優(yōu)化，并使用應用概率、網(wǎng)絡(luò)科學、數(shù)據(jù)科學和機器學習的工具。在數(shù)據(jù)科學和機器學習的背景下，他正在研究使用順序樣本(例如，多臂機器人)的統(tǒng)計推斷和決策，以及彈性分布式機器學習。在網(wǎng)絡(luò)科學方面，他有廣泛的興趣，包括網(wǎng)絡(luò)物理系統(tǒng)的健壯性，重點關(guān)注關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)；安全可靠的大規(guī)模自組織網(wǎng)絡(luò)設(shè)計，日益關(guān)注物聯(lián)網(wǎng)的新興應用;以及復雜網(wǎng)絡(luò)中的傳染過程，重點關(guān)注病毒、(錯誤)信息和意見傳播的建模、分析和控制。導師是IEEE的高級成員，CIT院長早期職業(yè)獎學金獲得者，IBM學術(shù)獎獲得者，以及ICC 2021和IPSN 2022的最佳論文獎獲得者。

　　任職學校

　　卡內(nèi)基梅隆大學(CMU)始建于1900年，是世界范圍內(nèi)頗負盛名的私立研究型大學，擁有世界歷史最悠久的計算機學院之一，位列CSRankings排名世界第一，U.S. News計算機本科及碩士項目與斯坦福大學，麻省理工學院，加州大學伯克利分校并列全美第一?！敖刂?019年3月，學校的教員和校友中共有20人獲得諾貝爾獎，13人獲得圖靈獎，22人獲評美國藝術(shù)與科學院院士，19人進入美國科學促進會，72人入選美國國家學院。卡內(nèi)基梅隆大學是美國四大計算機名校之一，連續(xù)多年問鼎全球計算機專業(yè)排名第一。

　　項目背景

　　一個賭徒面前有N個賭博機，事先他不知道每臺賭博機的真實盈利情況，他應該如何根據(jù)機器的操作結(jié)果做出反應，來使自身的收益最大化呢?——這個假設(shè)便是著名的“多臂強盜”問題的名字來源。實際上在機器學習被應用的領(lǐng)域當中，時時刻刻也都存在著這樣的選擇與決策情景：一個品牌針對其商品有著多款廣告宣傳，但不知道每一個用戶對于每一種廣告的接受程度;在投資中我們可能會面臨多個項目，但并無法確認每個項目的具體回報率;亦或是在線零售商如何在不完全了解需求信息的背景下進行實時動態(tài)定價……

　　項目介紹

　　“多臂強盜”問題是概率論中的一個經(jīng)典問題，亦是深度強化學習中的重要模塊。人們針對解決此類不確定性序列決策問題，提出了“多臂強盜”算法框架(Multi-Armed Bandits，簡稱MAB，中文又譯作“多臂老虎機”)。近年來這一算法框架因優(yōu)異的性能和較少的反饋學習等優(yōu)點，在推薦系統(tǒng)、信息檢索到醫(yī)療保健和金融投資等諸多應用領(lǐng)域中受到了廣泛關(guān)注。本課題正是以此框架為核心內(nèi)容，學生將在參與的過程中深入了解算法的基礎(chǔ)模型及應用，將認識到被廣泛使用的上置信界算法(Upper Confidence Bound，簡稱UCB)及湯普森采樣算法(Thompson Sampling Algorithms)。導師還將講授自身在該領(lǐng)域的最新研究成果。

　　項目大綱

　　多臂老虎機問題的基礎(chǔ)介紹 Introduction to Multi-armed Bandits

　　隨機多臂老虎機模型 Stochastic Multi-armed Bandits

　　上置信界(UCB)算法 The Upper Confidence Bound (UCB) Algorithm

　　貝葉斯強盜策略與湯普森采樣算法 Bayesian Bandits and Thompson Sampling (TS)

　　算法應用于實施，算法性能分析 Algorithm implementation, performance analysis

　　多臂老虎機算法在推薦系統(tǒng)中的應用 Applications of Bandits in Recommendation Systems

　　學術(shù)研討1：教授與各組學生探討并評估個性化研究課題可行性，幫助學生明晰后續(xù)科研思路 Final Project Preparation Session I

　　學術(shù)研討2：學生將在本周課前完成程序設(shè)計原型(prototype)及偽代碼(Pseudocode)，教授將根據(jù)各組進度進行個性化指導，確保學生優(yōu)質(zhì)的終期課題產(chǎn)出 Final Project Preparation Session II

　　項目成果展示 Final Presentation

　　論文指導 Project Deliverables Tutoring

　　項目收獲

　　7周在線小組科研學習+5周不限時論文指導學習 共125課時

　　項目報告

　　優(yōu)秀學員獲主導師Reference Letter

　　EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發(fā)表指導(可用于申請)

　　結(jié)業(yè)證書

　　成績單

留學也是一種投資，你的留學預算充足嗎，簡單3步，輕松了解留學預算？

費用計算

想去留學，不知道自己是否符合條件？馬上測一測吧？

條件評估