報告日期：2018年5月31日

報告時間：11:00

報 告 人：張繼強 博士（北京航空航天大學）

報告地點：長安校區(qū) 物理學與信息技術學院六層學術報告廳（致知樓3623）

主辦單位：物理學與信息技術學院

報告摘要：

在復雜系統(tǒng)中通過自組織實現(xiàn)集群行為的涌現(xiàn)一直是眾多領域研究者關注的焦點。社會系統(tǒng)和生態(tài)系統(tǒng)中以個體間博弈的微觀作用方式自組織形成的宏觀現(xiàn)象廣泛存在，合作的涌現(xiàn)、資源的配置等等。強化學習（Reinforce Learning）是個體基于所觀測到的環(huán)境進行決策，進而有效地實現(xiàn)其目的算法。這使得該方法與傳統(tǒng)的博弈過程具備較好的契合點。在本工作中，我們將Q-learning算法與22博弈相結(jié)合提出了新的博弈演化動力學模型。通過模擬結(jié)果，我們發(fā)現(xiàn)博弈參數(shù)在囚徒困境博弈下（PD）和雪堆博弈下（SD）對學習參數(shù)下表現(xiàn)出不同的響應特性。經(jīng)過模擬結(jié)果，我們發(fā)現(xiàn)SD系統(tǒng)中合作比例呈現(xiàn)周期性演化的特征，而PD中無此特點。通過對動力學過程的分析，我們猜測產(chǎn)生這一特征的原因是兩種平衡點之間的競爭所引發(fā)的，并設計了部分實驗對猜測進行了佐證。此外，通過部分技巧，我們對系統(tǒng)的動力學過程進行了一定的數(shù)學分析。這些分析有助于我們有效地對個體進行分類，并最終定性理解參數(shù)對周期特征的影響。最后，我們在SD中發(fā)現(xiàn)了個體分類之后的部分統(tǒng)計學性質(zhì)只取決于收益矩陣的對稱性。與傳統(tǒng)博弈模型中的相互模仿學習機制不同，Reinforce Learning傾向于探索式的內(nèi)省學習機制。這種學習機制在生態(tài)系統(tǒng)和社會系統(tǒng)是廣泛存在的，我們的研究思路和方法有助于為相似的機制博弈過程建立有效的模型和分析思路。同時，我們研究結(jié)果可能有助于一定程度上闡釋真實系統(tǒng)中尤其是生態(tài)系統(tǒng)中合作比例的周期性演化。

報告人簡介：

張繼強，2009年06月畢業(yè)于蘭州大學放射化學專業(yè)。2010年09月進入蘭州大學物理科學與技術學院理論物理專業(yè)計算物理與復雜系統(tǒng)研究所從事復雜系統(tǒng)和復雜網(wǎng)絡的相關研究工作，其主要研究方向為復雜系統(tǒng)中的資源配置和博弈動力學。2016年畢業(yè)后進入北京計算科學研究中心湯雷翰教授課題組進行生物數(shù)據(jù)挖掘以及代謝網(wǎng)絡方面的博士后研究工作。2017年進入北京航空航天大學大數(shù)據(jù)與腦機智能高精尖創(chuàng)新中心從事機器學習、知識圖譜和AI博弈動力學等相關研究工作。其文章主要發(fā)表于Scientific Reports， Physical Review E等國際期刊上。