DeepMind OpenAI的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列股價、配息、目標價等股票新聞資訊

新一代AI霸主：深度強化學習從基礎開始到專案開發

為了解決DeepMind OpenAI的問題，作者董豪,丁子涵,仉尚航 這樣論述：

本書是為「深度強化學習」的專家所提供的最佳參考書！ 　　從 2013 年開始，深度強化學習已漸漸地以多種方式改變了我們的生活和世界，會下棋的AlphaGo技術展示了超過專業選手的理解能力的"圍棋之美"。 　　類似的情況也會發生在技術、醫療和金融領域。深度強化學習探索了一個人類最基本的問題：人類是如何透過與環境互動進行學習的？這個機制可能成為逃出“巨量資料陷阱”的關鍵因素，作為一條強人工智慧的必經之路，通向人類智慧尚未企及的地方。 　　本書由一群對機器學習充滿熱情的極強專家完成，展示深度強化學習的世界，透過實例和經驗介紹，加深對深度強化學習的理解。 　　本書覆蓋內容範圍之廣，從深度強

化學習的基礎理論知識到包含程式細節的技術實現描述，是初學者和科學研究人員非常好的學習教材。 本書特色 　　●深度學習精解 　　〇強化學習入門指引 　　●深度Q網路，DQN、Double DQN、Actor-Critic 　　〇模仿學習 　　●整合學習詳解 　　〇分層、多智慧體強化學習 　　●平行計算 　　〇Learning to Run實作 　　●圖型強化實作 　　〇模擬環境機器人實作 　　●Arena多智慧體強化學習平台實作 　　〇強化學習技巧及最完整所有演算法說明實作

智能機器如何思考

為了解決DeepMind OpenAI的問題，作者肖恩•格里什 這樣論述：

任何足夠先進的技術初看都與魔法無異。 自動駕駛汽車已經在很多國家上路，網飛的演算法能主動預測你喜歡的電影，DeepMind的計算機程式通關了雅達利遊戲，AlphaGo在古老的圍棋領域攻克了人類智慧的防線。 這一切是如何發生的？智慧型機器究竟如何思考？ 在這本書中，作者用幾乎人人都能讀懂的語言展示了人工智慧領域的前沿成果，深入解讀了感知演算法、強化學習、智慧體、卷積神經網路、深度語音辨識、圖片識別等科技巨頭紛紛擁抱的概念，正是它們讓當今的機器如此智慧。   DARPA和ImageNet的挑戰賽給未來播撒了怎樣的種子？ 網飛的電影推薦為什麼如此準確？ 人工智慧怎麼打DOTA？ AlphaGo

除了下圍棋還會做別的嗎？ 神經網路如何做到能聽、能說、能記憶？ 我們為什麼要不斷製造能複製人類智力和行為的機器？   這本書將為你打開機器學習與神經網路的黑匣子，讓你看懂“魔法”背後的機制。關於自動駕駛汽車、網飛演算法、會玩遊戲的人工智慧以及AlphaGo，這本書幾乎囊括了你想知道的一切。     肖恩•格里什（Sean Gerrish） 穀歌前工程專家，普林斯頓大學的機器學習博士，機器學習極客。 曾在高頻交易機構泰莎科技擔任工程師，並在穀歌擔任機器學習和資料科學團隊的工程專家。       推薦序 IX 前言 XIII   1 自動機的秘密 長笛演

奏者 003 今天的自動機 005 鐘擺的擺動007 這本書中的自動機 008   2 自動駕駛汽車：挑戰不可能 沙漠中的百萬美元競賽 015 如何打造自動駕駛汽車 017 規劃路徑 021 路徑搜索 022 導航025 無人車挑戰賽的獲勝者 028 一場失敗的比賽 031   3 保持在車道內行駛：自動駕駛汽車的感知 第二次無人車挑戰賽 035 自動駕駛汽車中的機器學習 037 斯坦利的架構 038 避開障礙物 040 尋找道路的邊緣 043 開眼看路 045 路徑規劃 047 斯坦利大腦的各個部分如何相互交流 049   4 在十字路口避讓：自動駕駛汽車的大腦 城市挑戰賽 055 感知抽象

057 比賽 059 老闆的高層次推理層 061 攻克交通堵塞 068 三層架構 071 對自動駕駛汽車看到的物體進行分類 076 自動駕駛汽車是複雜的系統 077 自動駕駛汽車的軌跡 078   5 網飛和推薦引擎的挑戰 百萬美元大獎 083 競爭者 084 如何訓練分類器 085 比賽的目標 089 龐大的評分矩陣 091 矩陣分解 096 第一年結束 102   6 團隊融合：網飛獎的贏家 縮小競爭者之間的差距 107 第一年末 108 隨時間變化的預測 111 過度擬合 114 模型混合 115 第二年 119 最後一年 120 賽後 124   7 用獎勵教導電腦 DeepMind

玩雅達利遊戲 129 強化學習 132 教導智能體 134 為智慧體編寫程式 36 智慧體如何觀察環境 140 經驗金塊 141 用強化學習玩雅達利遊戲 148   8 如何用神經網路攻克雅達利遊戲 神經資訊處理系統 153 近似，而非完美 153 用作數學函數的神經網路 155 雅達利遊戲神經網路的結構 161 深入研究神經網路 170   9 人工神經網路的世界觀 人工智慧的奧秘 175 國際象棋自動機“土耳其人” 177 神經網路中的誤導 179 識別圖像中的物體 180 過度擬合 183 ImageNet 185 卷積神經網路 188 為什麼是“深度”網路？ 194 資料瓶頸 197

  10 深入瞭解深度神經網路的內部秘密 電腦生成圖片 203 壓縮函數 204 ReLU啟動函數 207 機器人之夢 211   11 能聽、能說、能記憶的神經網路 對機器而言，“理解”意味著什麼？ 221 深度語音辨識 222 迴圈神經網路 223 為圖像生成字幕 230 長短時記憶網路 233 對抗數據 235   12 理解自然語言 宣傳噱頭還是人工智慧研究的福音? 239 IBM的沃森 240 攻克《危險邊緣》所遇到的挑戰 241 浩如煙海的知識 242 《危險邊緣》挑戰賽的誕生 245 DeepQA 247 問題分析 249 “沃森”如何解讀句子 252   13 挖掘《危險邊緣》

的最佳答案 地下室基準 261 生成候選答案 263 查找答案 266 羽量級篩檢程式 269 證據檢索 270 評分 274 匯總和排名 277 調整“沃森” 281 重新審視DeepQA 282 沃森有智能嗎？ 283   14 用蠻力搜索找到好策略 通過搜索玩遊戲 289 數獨 290 樹的大小 294 分支因數 297 遊戲中的不確定性 297 克勞德•香農與資訊理論 302 評價函數 303 “深藍” 308 加入IBM  310 搜索與神經網路 311 西洋雙陸棋程式 313 搜索的局限 315   15 職業水準的圍棋   電腦圍棋 319 圍棋 321 通過抽樣走子來建立直覺

324 神之一手 330 蒙特卡洛樹搜索 333 單臂老虎機 337 AlphaGo是否需要如此複雜 339 AlphaGo的局限 341   16 即時人工智慧與《星際爭霸》 構建更好的遊戲機器人 345 《星際爭霸》與人工智慧 346 簡化遊戲 348 實用《星際爭霸》機器人 351 OpenAI與《DOTA 2》 354 《星際爭霸》機器人的未來 357   17  50年後或更遙遠的未來 人工智慧起起伏伏的發展過程 363 如何複製這本書中的成功 364 資料的普遍使用 368 下一步去向何方 369   致謝 373 注釋 375     10多年前，我遇見了肖恩

。當時我在谷歌領導團隊，負責開發為穀歌的搜索廣告業務提供支援的許多大型機器學習系統。肖恩是我們小組裡最頂尖的工程師之一，當時他正在研究機器學習前沿領域的一系列具有挑戰性的問題。我們一起工作以來，體現在統計機器學習技術中的各類人工智慧已經從相對難以觸及的神秘技術、研究人員和高科技公司的專屬領域，發展成為日益平易近人的、卓有成效的工具和技術，值得每一位軟體發展人員使用。 目前機器學習領域取得的快速進展，在一定程度上是由以下因素推動的：資料爆炸，高性能電腦體系結構的復興，雲提供商競相為開發人員和研究人員構建可擴展的人工智慧平臺，人們將即時智慧嵌入移動設備、汽車、其他消費電子產品和日益普遍的連接到雲

端的計算設備的熱潮。這種快速進步中包括一些驚世駭俗的成就，機器在許多狹窄的領域已經接近於或超過了人類的能力，例如在圖像中標記物體、識別語音、玩策略遊戲以及翻譯語言，但我們仍處於這些技術發展的初期，擺在我們面前的是長達幾十年的創新和發現之旅。 對開發人員和研究人員而言，理解機器學習的工作原理是一個明智的職業選擇。目前，全球的科技巨頭公司對這些技術的專業知識都有很高的需求。微軟、亞馬遜、穀歌、蘋果、百度等許多公司都提供應用程式介面、工具包和雲計算基礎設施，將機器學習的開發工作交給全世界數以千萬計的開發人員。未來幾年，隨著越來越多的應用套裝程式含智慧功能，大多數開發人員都需要掌握一些機器學習技術。

這正是這本書的寶貴價值所在。 這本書誕生自肖恩對瞭解現代機器學習成功之路的渴望。在用清晰易懂的方式描述這些系統的本質時，肖恩利用10多年的行業和學術經驗解決了機器學習帶來的一些最棘手的問題。鑒於機器學習系統能夠複製某些方面的人類智慧，等到某個突破點臨近，原本由人類特有的創造詩意詞句的能力或許也會被機器複製。肖恩對這些技術嚴謹實用的描述反映了他在科研戰壕中的歲月，不時令人感到痛苦的反復試驗讓戰壕中的人們瞭解到，機器學習並不是魔法。如果你知道如何應用它，瞭解它的局限所在，它就是強有力的前沿工具；如果你不知道，它就幾乎一文不值。 肖恩通過列舉現實世界的例子，回避不必要的術語，使現代機器學習的概念

變得通俗易懂。這本書假設讀者在機器學習或電腦科學領域的知識相對較少，因此對更廣泛的受眾而言非常友好。鑒於當前圍繞機器學習和人工智慧的對話頗為活躍，並且這些技術可能對我們的未來產生影響，任何想要參與這場對話的人都應該盡可能地學習。由於市場上缺乏對機器學習通俗易懂的專業介紹，這本書將成為引導你理解底層技術的理想方法，它可以幫助你更好地判斷哪些言論值得相信，哪些說得天花亂墜的謬論應該被拋棄。   微軟CTO（首席技術官） 凱文•斯科特（Kevin Scott）  

強化學習與總體經濟指標於股票市場交易之應用

為了解決DeepMind OpenAI的問題，作者高博華 這樣論述：

人工智慧試圖讓電腦像人類一樣的思考，使得機器可以根據所收集的資訊，模擬人類的決策，不斷自我調整與進化。近年來由於DeepMind AlphaGo 和OpenAI Five 等成功案例的出現，使得深度強化學習受到大家的重視，相關的技術發展也廣泛應用於金融詐騙偵測、零售採購預測、醫療、軍事、能源…等領域。強化學習技術可應用在電腦遊戲上:首先，透過對遊戲環境的觀察取得資訊;其次，決定採取的步驟並執行;再來則是針對採取步驟後獲得此遊戲的回饋報酬是正向或負向，以及報酬程度的大小，調整決策後採取下一個步驟，並再次考量此步驟獲得的回饋報酬的方向與程度，再次調整決策後採取下一個步驟，如此不斷調整以追求在電腦

遊戲中獲得最多的獎勵回饋。強化學習亦可應用於金融市場股票交易:就像遊戲玩家在股市這個遊戲環境裡，透過對某些特定的股票執行[買、賣、不買不賣]三個動作，盡量獲得最多的報酬。本研究使用Open AI的開源框架當作開發平台，使用PPO2演算法訓練交易代理人Agents進行股票交易操作。在股票市場環境的取樣上，採用了自2006年至2022年2月，美國股票市場的各產業類型代表性股票，每個交易日開盤、收盤、日中最高、最低價格、成交量資料，加上技術指標，作為取樣1。另加上美國主要市場指數、貨幣供給總額M1&M2、波動率指數(VIX)、10年期公債殖利率、美元指數等各市場指數與總體經濟指標資料，作為取樣2。並

以最後兩年的資料作為測試驗證，其餘作為訓練使用。我們讓Agent在「無總經指標」與「有總經指標」的資料集分別訓練後，分別進行三次的測試，再將三次的測試績效報酬率的算術平均數拿來比較，採用平均年化報酬率(即期末增加或減少的資產除以期初資產)的差異，探討增加的各市場指數與總體經濟指標，對交易代理人Agents交易股票之報酬率差異進行分析評估。股票標的選擇了在美國股票市場掛牌，交易量較大或較具代表性的10家企業，包括資訊科技、金融服務、健康照護、週期性消費(零售商、汽車與零組件製造、餐廳、旅遊服務業者等)、防禦型消費(家居、飲食、包裝、煙草、個人產品等製造商、教育訓練服務業者等)、能源、工業、基礎材

料(包括原物料探勘、開發、加工、精煉成為製成品)等八個產業：Apple Inc. (AAPL)、Micro Soft Corp. (MSFT)、J.P. Morgan (JPM)、Johnson & Johnson (JNJ)、United Health Group Inc. (UNH)、Home Depot Inc. (HD)、Walmart Inc. (WMT)、Exxon Mobil Corp. (XOM)、Union Pacific Corp. (UNP)、BHP Group Ltd. (BHP)。實驗結果如下：在D1的部分，加入各市場指數與總體經濟指標後，Agent對實驗所選的10檔

股票操作績效年報酬率合計約為408.22%，相較於無加入各市場指數與總體經濟指標的情況下，Agent對實驗所選的十檔股票的操作績效合計約為434.57%，總報酬率約減少了26.35%，亦即減少了6.06%的原始報酬。在D2的部分，加入各市場指數與總體經濟指標後，Agent對實驗所選的10檔股票操作績效年報酬率合計約為124.76%，相較於無加入各市場指數與總體經濟指標的情況下，Agent對實驗所選的10檔股票的操作績效合計約為124.15%，總報酬率約增加了0.61%，亦即增加了0.49%的原始報酬。整體而言，依據實驗設計的環境、演算法與兩類資料集進行實驗的結果，我們觀察到實驗所增加的各市場指

數與總體經濟指標等環境參數項目，對Agent加以訓練後沒有讓Agent的股票投資操作績效更好。可能的原因有：股價與各項指標在變化的方向、持續性、幅度上的相關性不高。或是單一股票價格與成交量的變化，在各個時間區段對各市場指數與總體經濟指標的敏感度差異有可能並不十分一致。另外也可採用例如MlpLstmPolicy、CnnPolicy…等不同的Policy進行交易、或是交易過程中對於投資部位大小的控制、標的風險值與波動率的影響、交易策略的選擇與適用、投資過程中累積損益的變化與穩定性…等，未來都值得我們進一步研究探討其帶來的效益。