暫存的 Benchmark part 3

昨天電腦將棋選手權競賽剛結束,
Ponanza + deep learning 並沒有辦法繼續蟬聯冠軍,
反而被苦心鑽研定跡譜+評估參數的 elmo 連敗兩次, 屈居第二.

elmo 開放了定跡譜檔案跟評估參數(連結), 可使用的最新版軟體包括
Apery (跟之前相比無更新), YaneuraOu (2017 early) 跟 Silent Majority. (俗稱魔女, ver 1.24)
三者的 git 連結請參考上篇文章(part 2)的連結.

這次的檢驗局面是 "炎之七番勝負第七局"
藤井聰太 (先手) vs 羽生善治 (後手)
棋譜可以參照以下連結
https://www.youtube.com/watch?v=YOOj_g6CRxw
預測的對象是第 104 手, 此時後手不論如何選擇, 先手均可獲勝. 除非先手走錯, 否則已經是定局了.

檢證機器參數:
CPU: E5-2680 8C/16T, 所以全部的執行緒都使用上了, 可惜沒有 AVX2 只有 sse 4.2.
Memory: 64GB, 但是軟體只給 8GB hash 使用.
MultiPV: 1-5, 執行時間均設定為 60 秒 (為該非公式戰的秒讀時間).

---

MultiPV = 1

軟體設定	實際使用時間	搜尋節點數	每秒節點數	搜尋/相對深度	最善手評價	最善手
Apery ukamuse	00:59.5	331597718	5572k	22/38	+8054	3六角成
Apery elmo	00:59.5	323435170	5435k	22/39	+8330	3六角成
Y-Ou 2017 early	00:58.8	299083522	5079k	21/39	+7514	3六角成
Y-Ou book3	00:58.8	298872423	5076k	21/39	+9746	3六角成
Y-Ou elmo	00:58.8	305229537	5183k	21/41	+16194	3六角成
SM 1.24	01:00.0	334609930	5575k	21/38	+7707	3六角成
SM elmo	01:00.0	341165987	5685k	21/41	+7605	3六角成

除了 elmo 似乎都能增加搜尋的相對深度之外,
比較奇特的是 Silent Majority 的狀況用 Elmo 會得到稍低一點的評價值,
雖然一致為先手勝勢 (這樣的點數原則上沒有挽回的機會了.)

---

MultiPV = 2, 因為後面執行時間對於軟體內均相同故省略.

軟體設定	搜尋節點數	每秒節點數	搜尋/相對深度	最次善手評價	最善手	次善手
Apery ukamuse	315556895	5303k	19/31	+必勝/+必勝	6九金打	3六角成
Apery elmo	330138160	5547k	22/30	+必勝/+必勝	3六角成	6九金打
Y-Ou 2017 early	308090925	5232k	25/41	+必勝/+必勝	3六角成	6九金打
Y-Ou book3	306079130	5198k	21/39	+8265/+8047	3六角成	6九金打
Y-Ou elmo	319757451	5431k	26/39	+必勝/+必勝	3六角成	6九金打
SM 1.24	345163957	5752k	21/42	+6736/+7793	3六角成	6九金打
SM elmo	343759839	5728k	22/40	+11684/+32805	3六角成	6九金打

其中 Apery 必勝顯示為 詰128, YaneuraOu 必勝顯示為 31111,
另外, Silent Majority 必勝顯示為 詰256.

elmo 對於 MultiPV = 2 就有顯著的幫助, 不過 YaneuraOu 的真定跡似乎變得比原本定跡差了點.
深度在 MultiPV = 1 變成 MultiPV = 2 以後有很顯著的改變. 原本的 Apery 受到顯著影響深度降低, 但是 YaneuraOu 卻似乎因為算到必勝型於是可以追加深度.

---

MultiPV = 3

軟體設定	搜尋節點數	每秒節點數	搜尋/相對深度
Apery ukamuse	327500570	5504k	20/40
Apery elmo	296922366	4990k	23/30
Y-Ou 2017 early	298224920	5065k	21/43
Y-Ou book3	292248071	4963k	21/39
Y-Ou elmo	305512821	5189k	22/45
SM 1.24	323472433	5391k	21/41
SM elmo	340304542	5670k	22/41

軟體設定	最善手與評價值	次善手與評價值	第三手與評價值
Apery ukamuse	+7510/3六角成	+7115/6九金打	+詰20/4九飛成
Apery elmo	+必勝/3六角成	+詰28/6九金打	+詰20/4九飛成
Y-Ou 2017 early	+9911/3六角成	+10445/6九金打	+必勝/3九飛成
Y-Ou book3	+7866/3六角成	+10344/6九金打	+詰22/4九飛成
Y-Ou elmo	+10451/3六角成	+12026/6九金打	+詰22/4九飛成
SM 1.24	+7795/3六角成	+35931/6九金打	+詰20/4九飛成
SM elmo	+8372/3六角成	+8744/6九金打	+詰20/4九飛成

Apery elmo 在此竟然算出不論如何先手都已經可以獲勝, 雖然節點數少算很多. YaneuraOu 似乎也會明顯受惠於 elmo 而不是本家的真定跡. Silent Majority 節點數多, 但是並不算有顯著檢討優勢, 多到第三手以後除了 Apery 以外似乎都有點困擾.

---

MultiPV = 4, 平常認為有 8C/16T 會在看棋開局的時候這樣設定.

軟體設定	搜尋節點數	每秒節點數	搜尋/相對深度
Apery ukamuse	320805962	5391k	21/38
Apery elmo	320298186	5383k	21/40
Y-Ou 2017 early	304092086	5165k	25/40
Y-Ou book3	310202870	5267k	26/41
Y-Ou elmo	310949475	5280k	25/39
SM 1.24	296329199	4937k	23/33
SM elmo	338460255	5640k	22/44

軟體設定	最善手	次善手	第三手	第四手
Apery ukamuse	+6967/3六角成	+10250/6九金打	+詰20/4九飛成	+詰18/8七桂
Apery elmo	+10012/3六角成	+必勝/6九金打	+詰20/4九飛成	+詰18/8八金打
Y-Ou 2017 early	+必勝/3六角成	+必勝/6九金打	+詰20/4九飛成	+詰18/8七桂
Y-Ou book3	+必勝/3六角成	+必勝/6九金打	+詰22/4九飛成	+詰18/8七桂
Y-Ou elmo	+必勝/3六角成	+必勝/6九金打	+詰22/4九飛成	+詰18/8七桂
SM 1.24	+必勝/3六角成	+詰28/6九金打	+詰20/4九飛成	+詰18/8七桂
SM elmo	+8892/3六角成	+35615/6九金打	+詰22/8七桂	+詰22/4九飛成

變成四手的時候局勢就變得很詭譎了, 反而是 Silent Majority 1.24 能夠得到跟 Apery elmo 三手類似的結果, 而 YaneuraOu 也能夠得到四手皆必勝, 反而是 Apery 最善手還無法收斂,
所以 Apery 的最佳 MultiPV 設定可能還是落在三手. elmo 在這樣的狀況下, 對 Apery 有幫助,
但是對 YaneuraOu 看不出來, 對 Silent Majority 反而變差了.

---

最後, 是很超過的 MultiPV = 5.

軟體設定	搜尋節點數	每秒節點數	搜尋/相對深度
Apery ukamuse	321293432	5398k	20/41
Apery elmo	327380168	5501k	21/39
Y-Ou 2017 early	309140762	5250k	27/41
Y-Ou book3	306203048	5200k	22/47
Y-Ou elmo	310597325	5272k	25/40
SM 1.24	340045486	5666k	23/33
SM elmo	331812805	5529k	22/44

軟體設定	最善手	次善手	第三手	第四手	第五手
Apery ukamuse	+7764 3六角成	+9112 6九金打	+詰20 4九飛成	+詰18 8七桂	+詰18 8八金打
Apery elmo	+7137 3六角成	+詰28 6九金打	+詰20 4九飛成	+詰18 8八金打	+詰18 8七桂
Y-Ou 2017 early	+必勝 6九金打	+必勝 3六角成	+詰20 4九飛成	+詰18 8七桂	+詰16 8八金打
Y-Ou book3	+12266 3六角成	+必勝 6九金打	+必勝 8八金打	+必勝 3六飛成	+詰22 4九飛成
Y-Ou elmo	+必勝 3六角成	+必勝 6九金打	+詰20 4九飛成	+詰18 8七桂	+詰16 3六飛成
SM 1.24	+8552 3六角成	+32612 6九金打	+詰20 4九飛成	+詰18 8七桂	+詰18 8八金打
SM elmo	+8027 3六角成	+10957 6九金打	+詰20 4九飛成	+詰18 8八金打	+詰18 8七桂

PV 增加的好處在此已經開始被 PV 增加所增加的計算量蓋過去了, 所以各家軟體的最善手評估都不會變得更好.

---

Disclaimer:
1. 數字上的誤差因為只有做一次, 所以很有可能大部分的效率都僅在誤差範圍內.
2. 盡信計算結果等於沒有結果 (所謂盡信書等於無書), 需要戒慎.
3. 最佳的 MultiPV 數會隨著不同局面可能也不會一樣. 不過當幾種軟體都有一樣的答案的時候, 顯然答案就真的會比較明顯了.
4. i7-6700hq with AVX2? 這個需要好好考慮. 新電腦想要裝雙 CPU 的, 但是... 得先找到下一個工作才行.
5. 之前覺得 Apery 的終盤比較強也許是因為常常在終局調成 MultiPV = 3 或 2 的緣故吧.