1. 緒論
來自開放式線上群眾預測平台的預測，正日益被視為有價值的洞察來源，並獲得如歐洲中央銀行等機構及主要媒體的引用。雖然有證據顯示其表現優於隨機猜測，但與既有統計基準模型進行比較的分析仍相當有限。本研究評估 Metaculus 平台在匯率問題上的預測準確度，並以「無漂移項的隨機漫步模型」——一個眾所周知難以超越的基準——作為比較對象。研究結果旨在釐清群眾預測在一個具有明確、客觀基準的領域中的實用價值。
2. 文獻回顧
2.1 群眾預測
「群眾的智慧」概念認為，匯總來自不同個體的預測可以達到相當高的準確度。徵集與整合預測的方法，從簡單的平均值到更複雜的技術皆有。研究顯示，在特定情境下（如流感病例預測（Farrow 等人，2017）與利率預測（Karvetski，2023）），群眾預測可能優於統計模型，但其表現取決於具體情境。
2.2 匯率預測
隨機漫步模型主張未來的匯率變動無法從過去的變動中預測（形式化表示為 $s_{t+1} = s_t + \epsilon_t$，其中 $\epsilon_t$ 為白噪音），長久以來在國際金融領域一直是一個難以超越的基準。任何預測方法要持續超越它都是一項重大挑戰，這使其成為檢驗群眾預測等新穎方法的理想嚴謹測試。
3. 資料與平台
本分析採用 Metaculus 平台上的匯率預測問題。Metaculus 是一個開放式線上平台，使用者可對從地緣政治到經濟學等各類問題的結果進行預測。研究亦蒐集相關的歷史匯率資料以供比較。所有複現研究所必需的資料皆可取得，Metaculus 的預測可透過其公開 API 存取。
4. 研究方法
核心研究方法涉及預測準確度的直接比較。針對給定的匯率問題（例如：「在 X 日期，歐元/美元匯率將是多少？」），蒐集 Metaculus 的社群預測（通常是中位數或匯總估計值）。將其與無漂移項的隨機漫步模型產生的預測進行比較，該模型僅使用當前即期匯率作為所有未來期間的預測值（$\hat{s}_{t+k} = s_t$）。預測準確度使用標準誤差指標衡量，如平均絕對誤差（MAE）或均方根誤差（RMSE）。隨後應用統計檢定來判斷準確度差異是否顯著。
5. 結果
關鍵結果是：對於所研究的匯率預測，無漂移項的隨機漫步模型提供的預測顯著比 Metaculus 的群眾預測更為準確。群眾預測的準確度被證明低於這個簡單的統計基準模型。
關鍵結果摘要
基準模型（隨機漫步）：預測誤差較低（例如 MAE、RMSE）。
Metaculus 群眾預測：與基準模型相比，預測誤差較高。
結論：群眾預測的表現不如這個難以超越的隨機漫步模型。
6. 討論
這項發現為圍繞群眾預測平台的熱情提供了重要的現實檢驗。雖然群眾可能在涉及複雜潛在變數的領域（例如流行病傳播、地緣政治事件）表現出色，但在面對像匯率這樣的純粹鞅過程時卻顯得力不從心，因為明日價格的最佳預測往往是今日的價格。這凸顯了特定領域基準測試的重要性，並提醒人們不應一概而論地應用群眾智慧。
7. 結論
本分析提供了一個罕見的比較性評估，發現就匯率預測而言，Metaculus 群眾的預測準確度低於隨機漫步模型。這強調了在金融或經濟決策情境中部署基於群眾的預測之前，必須先以既有模型進行嚴格的基準測試。
8. 原始分析與專家評論
核心洞見： 這篇論文提供了一個發人深省且必要的反向觀點。圍繞「群眾的智慧」和與人工智慧相關的預測平台的炒作，常常忽略了一個基本原則：並非所有的預測問題都是平等的。本研究正確地識別出一個領域——匯率，作為有效市場的象徵——在這個領域中，一個簡單的模型（隨機漫步）是王者，並成功地證明了群眾未能將其推翻。這本身並非群眾的失敗，而是對市場效率理論的有力驗證，也是一個關鍵提醒：基準選擇至關重要。
邏輯脈絡： 論證過程優雅、簡單且穩健。1) 確立群眾預測平台日益增長的影響力。2) 指出一個缺口：缺乏與艱難、領域特定的基準進行比較。3) 選擇完美的戰場：外匯市場，其中隨機漫步是學術界的黃金標準（此一事實已在如 Meese & Rogoff (1983) 等開創性著作中充分記載）。4) 執行一個清晰、可複現的比較。5) 呈現明確的結果。邏輯嚴密，並聚焦於一個高價值、可衡量的問題。
優點與缺陷： 主要優點在於其方法論的清晰度以及對嚴謹基準的關注，這在以科技為中心的預測文獻中有時是缺失的。它透過降低期望提供了有價值的公共服務。然而，一個關鍵缺陷是結論可能過於狹隘。群眾表現不佳是因為其本質上不擅長外匯預測，還是因為匯總機制（例如簡單的中位數）未能提取潛在訊號？來自其他集體智慧平台（如「良好判斷計畫」）的研究表明，具有回饋和評分機制的結構化群眾可以達到顯著的準確度。本文可能將特定平台的實施表現與群眾外包方法論的潛力混為一談。此外，正如混合式人工智慧方法（例如，如 Sezer 等人（2020）所見，將神經網路與傳統計量經濟學結合）所示，最有前景的道路可能是將群眾預測與統計模型結合的集成方法，本文的參考文獻暗示了這個方向，但並未在其自身分析中充分探討。
可行建議： 對於實務工作者：在未極度謹慎的情況下，切勿將通用的群眾預測用於有效市場資產的預測。隨機漫步是你的基準；先超越它再說。對於平台開發者（如 Metaculus）：將領域特定的基準整合到你的問題評估和使用者回饋中。向參與者展示他們的匯總預測相對於隨機漫步等模型的表現。對於研究人員：本研究是一個範本。在其他資產類別（加密貨幣、大宗商品）和其他群眾平台上複製此方法。真正的洞見將來自後設分析：識別決定群眾何時勝出、何時落敗的問題特徵（波動性、資料可得性、市場效率程度）。
9. 技術細節與數學框架
比較的核心在於兩個預測模型和一個誤差指標。
1. 無漂移項隨機漫步預測：
$\hat{s}_{t+h} = s_t$
其中 $\hat{s}_{t+h}$ 是提前 h 期的預測值，$s_t$ 是時間 $t$ 的即期匯率。
2. 群眾預測：
$\hat{s}^{crowd}_{t+h} = f(\{p_{i, t}\})$
其中 $\{p_{i, t}\}$ 是時間 $t$ 平台使用者的個別預測集合，$f(\cdot)$ 是一個匯總函數，通常是中位數或平均數。
3. 準確度指標（例如，平均絕對誤差 - MAE）：
$MAE = \frac{1}{N} \sum_{k=1}^{N} | s_{t+h} - \hat{s}_{t+h} |$
此指標分別針對隨機漫步預測（$MAE_{RW}$）和群眾預測（$MAE_{Crowd}$）計算。MAE 較低的模型更為準確。隨後可使用 Diebold-Mariano 檢定來評估準確度差異的統計顯著性。
10. 實驗結果與圖表說明
假設性結果圖表說明： 一個標題為「預測準確度比較：隨機漫步 vs. Metaculus 群眾」的長條圖。X 軸列出分析的貨幣對（例如，歐元/美元、英鎊/美元、美元/日圓）。Y 軸顯示均方根誤差（RMSE）。對於每個貨幣對，並排顯示兩個長條：一個藍色長條代表隨機漫步預測的 RMSE，一個橙色長條代表 Metaculus 群眾預測的 RMSE。在所有貨幣對中，藍色（隨機漫步）長條明顯短於橙色（群眾）長條。一條虛線水平線可能標示一個簡單的常數預測的平均 RMSE。該圖將清晰地視覺化本文的核心發現：簡單的隨機漫步基準模型具有一致的優越性。
解讀： 藍色與橙色長條之間的視覺差距，定量地展示了群眾預測的表現赤字。在不同貨幣對之間的一致性，加強了以下結論的普遍性：在此領域中，複雜的群眾匯總並未勝過一個簡單的模型。
11. 分析框架：實務案例
案例：評估一個英鎊/美元三個月後的群眾預測。
- 資料蒐集（時間 t）：
- 英鎊/美元即期匯率：1.2800。
- Metaculus 社群對三個月後英鎊/美元匯率的中位數預測：1.3100。
- 產生基準預測：
- 隨機漫步預測：$\hat{s}_{t+3m} = s_t = 1.2800$。
- 觀察（時間 t+3m）：
- 實際英鎊/美元匯率：1.2750。
- 計算絕對誤差：
- 誤差（隨機漫步）：|1.2750 - 1.2800| = 0.0050（50 點）。
- 誤差（Metaculus 群眾）：|1.2750 - 1.3100| = 0.0350（350 點）。
- 分析： 在此例中，隨機漫步預測誤差了 50 點，而群眾預測誤差了 350 點——是前者的七倍。將此過程重複數十次預測和多個貨幣對，即可建立本文進行統計比較所需的資料集。
12. 未來應用與研究方向
- 混合建模： 最有前景的方向並非「群眾 vs. 模型」，而是「群眾 + 模型」。未來研究應測試將 Metaculus 預測與隨機漫步預測相結合的集成方法（例如，加權平均），或將群眾情緒作為更複雜的計量經濟學或機器學習模型（例如，LSTM 網路）中的一個特徵。
- 條件分析： 群眾的準確度是否隨市場狀況而變化？分析群眾在高波動/趨勢行情期間相對於平靜、區間盤整期間的表現是否相對較好，從而可能識別出其利基應用。
- 平台機制設計： 研究不同的激勵結構、匯總演算法（超越中位數）以及 Metaculus 等平台上的專家權重，如何能改善金融領域的預測表現。
- 跨領域基準測試： 將本研究的嚴謹框架應用於群眾平台活躍的其他領域：大宗商品價格、企業盈餘或宏觀經濟指標（GDP、通膨），每個領域都有其既定的基準模型。
13. 參考文獻
- Lehmann, N. V. (2025). Forecasting skill of a crowd-prediction platform: A comparison of exchange rate forecasts. arXiv preprint arXiv:2312.09081v2.
- Messe, R. A., & Rogoff, K. (1983). Empirical exchange rate models of the seventies: Do they fit out of sample? Journal of International Economics, 14(1-2), 3-24.
- Farrow, D. C., et al. (2017). The crowdsourced judgment of epidemic influenza. PLOS ONE.
- Karvetski, C. W. (2023). Wisdom-of-crowds forecasts of the federal funds rate. Journal of Economic Psychology.
- Sezer, O. B., Gudelek, M. U., & Ozbayoglu, A. M. (2020). Financial time series forecasting with deep learning: A systematic literature review. Expert Systems with Applications, 158.
- Tetlock, P. E., & Gardner, D. (2015). Superforecasting: The Art and Science of Prediction. Crown Publishers.
- European Central Bank. (2021). Economic Bulletin, Issue 6.