發表文章

目前顯示的是 2017的文章

[Paper note] Multiagent Bidirectionally-Coordinated Nets for Learning to Play StarCraft Combat Games

Paper: https://arxiv.org/abs/1703.10069

這篇論文是由 Alibaba & UCL共同發表的,並投稿到 NIPS 2017。他們發表了一個 Multi-agent framework 讓 agents 利用共同的 framework 一起學習,他們將這個架構簡稱為 BiCNet。

Attribute of BiCNet

Vectorised Actor-Critic: vectorised 指的是一個 input 可以輸入多個 agents的資訊。Deterministic PolicyUse bidirectional RNN as their actor network and critic networkDynamic Grouping 機制Shared Parameter among all agents 他們使用 BRNN 利用 hidden layer 來 Model agents 之間彼此溝通的行為,這是這篇論文的創新點之一。不過他們團隊並不知道為什麼這樣可行,而僅僅解決了 how 的問題,還不知道 why?

另外精彩的地方我覺得是數學的 Model,他們分為兩個視角來看 Starcraft Combat 問題:

將 Combat 看作 zero-sum stochastic games (recycle) 定義出整體 Combat 的 reward (隨 step 變化)Model agents 之間彼此合作緊密度,是否完成共同目標。利用 Top-K list 記錄和當下 agent 合作的其他 agents。在這裡我稱為一個小 group,後續對應的是 dynamic grouping。在這樣的情況下,他們會共享 reward,好像一個小隊生死與共一樣。 最後,他們利用這樣的 framework 學習到了各種互動的策略

Coordinated moves without collision Hit and Run tacticsCoordinated cover attackFocus fire without overkillCollaborations between heterogeneous agents 雖然這篇論文有些地方寫的不是很清楚而且沒有上 NIPS,但是我覺得裡面有一些想法還是值得我們…

Build Starcraft Learning Environment (using TorchCraft) 中文教學

圖片
前言 自從 AlphaGo 戰勝世界棋王李世乭以來,AI 還有 Deep Learning 至今火紅。DeepMind 將他們下一個研究的目標定錨為 Starcraft 這樣的 Real-Time Strategy Game 即時戰略遊戲。
在 8月的時候,DeepMind 與 Blizzard 合作釋出了適用於 Starcraft 2 的學習套件: pysc2。Blizzard 也是出了相應的 API protocol,目前實作 C++ 的版本。開拓了機器學習專家以及資料科學家的新戰場。
在這裡,我想要分享的是在 Starcraft 1代 如何搭建機器學習的環境,主要是利用 Facebook 發布的 TorchCraft 進行資料的串接處理。
需要的套件軟體Starcraft: Brood War 1.16.1BWAPI 4.1.2TorchCraft 1.3.0/1.0.2Torchcraft-pygym-starcraft 我們將會在 Windows 端安裝遊戲以及 BWAPI 和 TorchCraft (server)。在 Linux 安裝 TorchCraft (client), Torchcraft-py, gym-starcraft
Installation BWAPI 是與 Starcraft: Brood War 溝通的 API,在研究 RTS Game AI 的時候,主要的遊戲就是 Starcraft: Brood War (以下稱為 SC:BW) 以及 Starcraft2,並且透過自訂遊戲的方式來進行學習及遊玩。
Install Starcraft: Brood War 我們可以到 ICCup 的網站下載遊戲。https://iccup.com/starcraft/content/news/iccup_updated_to_1.16.1.html
Install BWAPI https://github.com/bwapi/bwapi/releases 然後到 BWAPI Github 頁面安裝需要的 API 版本。在這裡,我選定的版本是 4.1.2,因為目前 TorchCraft 尚未支援 BWAPI 4.2.0。在安裝的時候,不管 SC:BW, BWAPI 要安裝到哪一個路徑都可以,但是建議安裝在可以便於修改檔案的路徑下,因為之後再設定的…