開始日期: 2025-02-22

　　課時安排: 7周在線小組科研學(xué)習(xí)+5周不限時論文指導(dǎo)學(xué)習(xí)

　　適合人群

　　適合年級 (Grade): 大學(xué)生及以上

　　適合專業(yè) (Major): 人工智能、數(shù)據(jù)科學(xué)、統(tǒng)計(jì)學(xué)等專業(yè)學(xué)生

　　學(xué)生需要具備微積分、概率論與數(shù)理統(tǒng)計(jì)基礎(chǔ)，同時會使用Python編程語言

　　建議選修: Python數(shù)據(jù)處理及其數(shù)學(xué)原理

　　導(dǎo)師介紹

　　Osman

　　卡內(nèi)基梅隆大學(xué) (CMU)終身正教授

　　Osman導(dǎo)師現(xiàn)任是卡內(nèi)基梅隆大學(xué)(CMU)計(jì)算機(jī)科學(xué)學(xué)院的終身正教授。此前他是CMU CyLab的博士后研究員。2011年秋季，他還在亞利桑那州立大學(xué)擔(dān)任訪問博士后學(xué)者。導(dǎo)師于2011年獲得馬里蘭大學(xué)(University of Maryland at College Park, MD)的電氣和計(jì)算機(jī)工程博士學(xué)位。導(dǎo)師的研究重點(diǎn)是計(jì)算系統(tǒng)的建模、分析和性能優(yōu)化，并使用應(yīng)用概率、網(wǎng)絡(luò)科學(xué)、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的工具。在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的背景下，他正在研究使用順序樣本(例如，多臂機(jī)器人)的統(tǒng)計(jì)推斷和決策，以及彈性分布式機(jī)器學(xué)習(xí)。在網(wǎng)絡(luò)科學(xué)方面，他有廣泛的興趣，包括網(wǎng)絡(luò)物理系統(tǒng)的健壯性，重點(diǎn)關(guān)注關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng);安全可靠的大規(guī)模自組織網(wǎng)絡(luò)設(shè)計(jì)，日益關(guān)注物聯(lián)網(wǎng)的新興應(yīng)用;以及復(fù)雜網(wǎng)絡(luò)中的傳染過程，重點(diǎn)關(guān)注病毒、(錯誤)信息和意見傳播的建模、分析和控制。導(dǎo)師是IEEE的高級成員，CIT院長早期職業(yè)獎學(xué)金獲得者，IBM學(xué)術(shù)獎獲得者，以及ICC 2021和IPSN 2022的最佳論文獎獲得者。

　　任職學(xué)校

　　卡內(nèi)基梅隆大學(xué)(CMU)始建于1900年，是世界范圍內(nèi)頗負(fù)盛名的私立研究型大學(xué)，擁有世界歷史最悠久的計(jì)算機(jī)學(xué)院之一，位列CSRankings排名世界第一，U.S. News計(jì)算機(jī)本科及碩士項(xiàng)目與斯坦福大學(xué)，麻省理工學(xué)院，加州大學(xué)伯克利分校并列全美第一?！敖刂?019年3月，學(xué)校的教員和校友中共有20人獲得諾貝爾獎，13人獲得圖靈獎，22人獲評美國藝術(shù)與科學(xué)院院士，19人進(jìn)入美國科學(xué)促進(jìn)會，72人入選美國國家學(xué)院。卡內(nèi)基梅隆大學(xué)是美國四大計(jì)算機(jī)名校之一，連續(xù)多年問鼎全球計(jì)算機(jī)專業(yè)排名第一。

　　項(xiàng)目背景

　　一個賭徒面前有N個賭博機(jī)，事先他不知道每臺賭博機(jī)的真實(shí)盈利情況，他應(yīng)該如何根據(jù)機(jī)器的操作結(jié)果做出反應(yīng)，來使自身的收益最大化呢?——這個假設(shè)便是著名的“多臂強(qiáng)盜”問題的名字來源。實(shí)際上在機(jī)器學(xué)習(xí)被應(yīng)用的領(lǐng)域當(dāng)中，時時刻刻也都存在著這樣的選擇與決策情景：一個品牌針對其商品有著多款廣告宣傳，但不知道每一個用戶對于每一種廣告的接受程度;在投資中我們可能會面臨多個項(xiàng)目，但并無法確認(rèn)每個項(xiàng)目的具體回報(bào)率;亦或是在線零售商如何在不完全了解需求信息的背景下進(jìn)行實(shí)時動態(tài)定價(jià)……

　　項(xiàng)目介紹

　　“多臂強(qiáng)盜”問題是概率論中的一個經(jīng)典問題，亦是深度強(qiáng)化學(xué)習(xí)中的重要模塊。人們針對解決此類不確定性序列決策問題，提出了“多臂強(qiáng)盜”算法框架(Multi-Armed Bandits，簡稱MAB，中文又譯作“多臂老虎機(jī)”)。近年來這一算法框架因優(yōu)異的性能和較少的反饋學(xué)習(xí)等優(yōu)點(diǎn)，在推薦系統(tǒng)、信息檢索到醫(yī)療保健和金融投資等諸多應(yīng)用領(lǐng)域中受到了廣泛關(guān)注。本課題正是以此框架為核心內(nèi)容，學(xué)生將在參與的過程中深入了解算法的基礎(chǔ)模型及應(yīng)用，將認(rèn)識到被廣泛使用的上置信界算法(Upper Confidence Bound，簡稱UCB)及湯普森采樣算法(Thompson Sampling Algorithms)。導(dǎo)師還將講授自身在該領(lǐng)域的最新研究成果。

　　項(xiàng)目大綱

　　多臂老虎機(jī)問題的基礎(chǔ)介紹 Introduction to Multi-armed Bandits

　　隨機(jī)多臂老虎機(jī)模型 Stochastic Multi-armed Bandits

　　上置信界(UCB)算法 The Upper Confidence Bound (UCB) Algorithm

　　貝葉斯強(qiáng)盜策略與湯普森采樣算法 Bayesian Bandits and Thompson Sampling (TS)

　　算法應(yīng)用于實(shí)施，算法性能分析 Algorithm implementation, performance analysis

　　多臂老虎機(jī)算法在推薦系統(tǒng)中的應(yīng)用 Applications of Bandits in Recommendation Systems

　　學(xué)術(shù)研討1：教授與各組學(xué)生探討并評估個性化研究課題可行性，幫助學(xué)生明晰后續(xù)科研思路 Final Project Preparation Session I

　　學(xué)術(shù)研討2：學(xué)生將在本周課前完成程序設(shè)計(jì)原型(prototype)及偽代碼(Pseudocode)，教授將根據(jù)各組進(jìn)度進(jìn)行個性化指導(dǎo)，確保學(xué)生優(yōu)質(zhì)的終期課題產(chǎn)出 Final Project Preparation Session II

　　項(xiàng)目成果展示 Final Presentation

　　論文指導(dǎo) Project Deliverables Tutoring

　　項(xiàng)目收獲

　　7周在線小組科研學(xué)習(xí)+5周不限時論文指導(dǎo)學(xué)習(xí) 共125課時

　　項(xiàng)目報(bào)告

　　優(yōu)秀學(xué)員獲主導(dǎo)師Reference Letter

　　EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發(fā)表指導(dǎo)(可用于申請)

　　結(jié)業(yè)證書

　　成績單

留學(xué)也是一種投資，你的留學(xué)預(yù)算充足嗎，簡單3步，輕松了解留學(xué)預(yù)算？

費(fèi)用計(jì)算

想去留學(xué)，不知道自己是否符合條件？馬上測一測吧？

條件評估