پیش‌بینی EUR/USD با متن‌کاوی و یادگیری عمیق: رویکرد PSO-LSTM

فهرست مطالب

1. مقدمه و مرور کلی

این پژوهش یک چارچوب ترکیبی نوآورانه برای پیش‌بینی نرخ ارز EUR/USD ارائه می‌دهد که با ادغام داده‌های متنی کیفی، شکاف مهمی در مدل‌های کمی سنتی را برطرف می‌کند. نوآوری اصلی در ترکیب تکنیک‌های پیشرفته پردازش زبان طبیعی (NLP) — به طور خاص تحلیل احساسات با RoBERTa-Large و مدل‌سازی موضوعی با تخصیص پنهان دیریکله (LDA) — با یک موتور پیش‌بینی یادگیری عمیق مبتنی بر شبکه‌های حافظه کوتاه‌مدت-بلندمدت (LSTM) نهفته است. پارامترهای فوق‌العاده مدل با استفاده از بهینه‌سازی ازدحام ذرات (PSO) بیشتر بهینه‌سازی شده‌اند و یک سیستم پیش‌بینی قوی و مبتنی بر داده به نام PSO-LSTM ایجاد کرده‌اند.

هدف اصلی این مطالعه نشان دادن این است که گنجاندن داده‌های متنی بدون ساختار و بلادرنگ از اخبار و تحلیل‌های مالی، دقت پیش‌بینی را به طور قابل توجهی نسبت به مدل‌هایی که صرفاً بر داده‌های تاریخی قیمت تکیه می‌کنند، افزایش می‌دهد. با این کار، احساسات بازار و محرک‌های موضوعی که اغلب مقدم بر حرکات ارزی هستند، ثبت می‌شوند.

2. روش‌شناسی و چارچوب

روش‌شناسی پیشنهادی یک خط لوله ساختاریافته از تجمیع داده‌های چندمنبعی تا پیش‌بینی نهایی را دنبال می‌کند.

2.1 جمع‌آوری و پیش‌پردازش داده‌ها

داده‌های کمی: نرخ‌های ارز روزانه تاریخی EUR/USD، شامل قیمت باز، بالا، پایین، بسته و حجم، جمع‌آوری شدند. شاخص‌های فنی (مانند میانگین‌های متحرک، RSI) به عنوان ویژگی استخراج شدند.

داده‌های متنی کیفی: مجموعه‌ای از مقالات خبری مالی و گزارش‌های تحلیل بازار مرتبط با اقتصاد منطقه یورو و ایالات متحده از منابع معتبر جمع‌آوری شد. متن پاک‌سازی، توکن‌بندی و برای تحلیل NLP آماده شد.

2.2 متن‌کاوی و مهندسی ویژگی

تحلیل احساسات: مدل از پیش آموزش‌دیده RoBERTa-Large بر روی یک مجموعه داده احساسات مالی تنظیم دقیق شد تا احساسات هر مقاله خبری (مثبت، منفی، خنثی) را طبقه‌بندی کند و یک امتیاز احساسات پیوسته خروجی دهد. این یک معیار کمی از حال‌وهوای بازار ارائه می‌دهد.

مدل‌سازی موضوعی: تخصیص پنهان دیریکله (LDA) بر روی مجموعه متن اعمال شد تا موضوعات پنهان (مانند "سیاست ECB"، "تورم ایالات متحده"، "ریسک ژئوپلیتیک") شناسایی شوند. توزیع موضوعات در هر سند و کلمات کلیدی موضوعی کلیدی، به ویژگی‌های اضافی تبدیل شدند و زمینه موضوعی اخبار را ثبت کردند.

بردار ویژگی نهایی برای هر گام زمانی $t$ یک الحاق است: $\mathbf{X}_t = [\mathbf{P}_t, S_t, \mathbf{T}_t]$، که در آن $\mathbf{P}_t$ ویژگی‌های کمی/فنی، $S_t$ امتیاز احساسات و $\mathbf{T}_t$ بردار توزیع موضوع است.

2.3 معماری مدل PSO-LSTM

مدل پیش‌بینی یک شبکه LSTM است که به دلیل توانایی آن در مدل‌سازی وابستگی‌های بلندمدت در داده‌های ترتیبی انتخاب شده است. عملکرد سلول LSTM در زمان $t$ را می‌توان به صورت زیر خلاصه کرد:

$\begin{aligned} \mathbf{f}_t &= \sigma(\mathbf{W}_f \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_f) \\ \mathbf{i}_t &= \sigma(\mathbf{W}_i \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_i) \\ \tilde{\mathbf{C}}_t &= \tanh(\mathbf{W}_C \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_C) \\ \mathbf{C}_t &= \mathbf{f}_t * \mathbf{C}_{t-1} + \mathbf{i}_t * \tilde{\mathbf{C}}_t \\ \mathbf{o}_t &= \sigma(\mathbf{W}_o \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_o) \\ \mathbf{h}_t &= \mathbf{o}_t * \tanh(\mathbf{C}_t) \end{aligned}$

که در آن $\mathbf{x}_t$ بردار ویژگی ورودی $\mathbf{X}_t$، $\mathbf{h}_t$ حالت پنهان، $\mathbf{C}_t$ حالت سلول و $\sigma$ تابع سیگموئید است.

بهینه‌سازی ازدحام ذرات (PSO) برای بهینه‌سازی پارامترهای فوق‌العاده حیاتی LSTM (مانند تعداد لایه‌ها، واحدهای پنهان، نرخ یادگیری، نرخ حذف) به کار گرفته شد. PSO فضای پارامترهای فوق‌العاده را با شبیه‌سازی رفتار اجتماعی یک دسته پرنده جستجو می‌کند و راه‌حل‌های نامزد (ذرات) را بر اساس بهترین موقعیت‌های شناخته شده خود و ازدحام به صورت تکراری بهبود می‌بخشد. این فرآیند تنظیم را در مقایسه با جستجوی دستی یا شبکه‌ای، خودکار و تقویت می‌کند.

3. نتایج تجربی و تحلیل

3.1 مقایسه با مدل‌های معیار

مدل PSO-LSTM در برابر چندین معیار شناخته شده ارزیابی شد: ماشین بردار پشتیبان (SVM)، رگرسیون بردار پشتیبان (SVR)، ARIMA و GARCH. عملکرد با استفاده از معیارهای استاندارد اندازه‌گیری شد: میانگین خطای مطلق (MAE)، ریشه میانگین مربعات خطا (RMSE) و میانگین درصد خطای مطلق (MAPE).

توضیح نمودار (تصوری): یک نمودار میله‌ای با عنوان "مقایسه عملکرد پیش‌بینی (RMSE)" میله مربوط به PSO-LSTM را به طور قابل توجهی کوتاه‌تر (خطای کمتر) از تمام مدل‌های معیار نشان می‌دهد. یک نمودار خطی که نرخ‌های واقعی در مقابل پیش‌بینی شده EUR/USD را نشان می‌دهد، خط پیش‌بینی PSO-LSTM را به دقت دنبال‌کننده حرکت واقعی نشان می‌دهد، در حالی که خطوط مدل‌های دیگر انحراف بیشتری نشان می‌دهند، به ویژه در دوره‌های پرنوسان که با رویدادهای خبری مهم همزمان هستند.

یافته کلیدی: مدل PSO-LSTM به طور مداوم در تمام معیارهای خطا از تمام مدل‌های معیار بهتر عمل کرد و قدرت پیش‌بینی برتر رویکرد متنی-کمی یکپارچه را نشان داد.

3.2 یافته‌های مطالعه حذفی

برای جداسازی سهم هر مؤلفه داده، مطالعات حذفی انجام شد:

• مدل A: LSTM فقط با ویژگی‌های کمی (خط پایه).
• مدل B: LSTM با ویژگی‌های کمی + احساسات.
• مدل C: LSTM با ویژگی‌های کمی + موضوعی.
• مدل D (کامل): PSO-LSTM با تمام ویژگی‌ها (کمی + احساسات + موضوعات).

نتیجه: مدل D (کامل) کمترین خطا را به دست آورد. هر دو مدل B و مدل C بهتر از مدل پایه A عمل کردند که ثابت می‌کند هم اطلاعات احساسات و هم موضوعی ارزش افزوده دارند. در این مطالعه، بهبود عملکرد ناشی از افزودن موضوعات کمی بیشتر از افزودن احساسات به تنهایی بود که نشان می‌دهد زمینه موضوعی یک سیگنال قدرتمند است.

4. بررسی فنی عمیق

4.1 فرمول‌بندی ریاضی

مسئله اصلی پیش‌بینی به صورت پیش‌بینی بازده نرخ ارز دوره بعد $y_{t+1}$ با توجه به دنباله‌ای از بردارهای ویژگی گذشته فرمول‌بندی می‌شود: $\hat{y}_{t+1} = f(\mathbf{X}_{t-n:t}; \mathbf{\Theta})$، که در آن $f$ مدل PSO-LSTM پارامترشده با $\mathbf{\Theta}$ است و $\mathbf{X}_{t-n:t}$ پنجره ویژگی به طول $n$ است.

الگوریتم PSO پارامترهای فوق‌العاده $\mathbf{\Phi}$ (یک زیرمجموعه از $\mathbf{\Theta}$) را با کمینه کردن خطای پیش‌بینی بر روی یک مجموعه اعتبارسنجی بهینه می‌کند. هر ذره $i$ یک موقعیت $\mathbf{\Phi}_i$ و سرعت $\mathbf{V}_i$ دارد. معادلات به‌روزرسانی آن‌ها عبارتند از:

$\begin{aligned} \mathbf{V}_i^{k+1} &= \omega \mathbf{V}_i^k + c_1 r_1 (\mathbf{P}_{best,i} - \mathbf{\Phi}_i^k) + c_2 r_2 (\mathbf{G}_{best} - \mathbf{\Phi}_i^k) \\ \mathbf{\Phi}_i^{k+1} &= \mathbf{\Phi}_i^k + \mathbf{V}_i^{k+1} \end{aligned}$

که در آن $\omega$ اینرسی، $c_1, c_2$ ضرایب شتاب، $r_1, r_2$ اعداد تصادفی، $\mathbf{P}_{best,i}$ بهترین موقعیت ذره و $\mathbf{G}_{best}$ بهترین موقعیت جهانی ازدحام است.

4.2 مثال چارچوب تحلیل

سناریو: پیش‌بینی حرکت EUR/USD برای روز معاملاتی بعد.

گام 1 - واکشی داده: سیستم قیمت بسته شدن را دریافت می‌کند، SMA 10 روزه، RSI (کمی) را محاسبه می‌کند. همزمان، 50 تیتر خبری آخر را از APIهای مالی از پیش تعریف شده واکشی می‌کند.

گام 2 - پردازش متن:

• خط لوله احساسات: تیترها به مدل تنظیم‌دقیق‌شده RoBERTa-Large تغذیه می‌شوند. خروجی: میانگین امتیاز احساسات روزانه = 0.65- (منفی متوسط).
• خط لوله موضوعی: تیترها توسط مدل LDA آموزش‌دیده پردازش می‌شوند. خروجی: موضوع غالب = "سیاست پولی" (وزن 60%)، با کلمات کلیدی برتر: "ECB"، "لاگارد"، "نرخ بهره"، "سیاست سخت‌گیرانه".

گام 3 - ایجاد بردار ویژگی: الحاق: `[Close_Price=1.0850, SMA_10=1.0820, RSI=45, Sentiment_Score=-0.65, Topic_Weight_MonetaryPolicy=0.60, ...]`.

گام 4 - پیش‌بینی: بردار ویژگی به مدل PSO-LSTM آموزش‌دیده تغذیه می‌شود. مدل، که الگوهایی مانند "احساسات منفی + موضوع 'سیاست سخت‌گیرانه ECB' اغلب مقدم بر تقویت یورو است" را یاد گرفته است، یک بازده پیش‌بینی شده خروجی می‌دهد.

گام 5 - خروجی: مدل افزایش 0.3 درصدی در EUR/USD را برای روز بعد پیش‌بینی می‌کند.

5. کاربردها و جهت‌های آینده

این چارچوب بسیار قابل گسترش است. جهت‌های آینده شامل موارد زیر است:

• پیش‌بینی بلادرنگ: استقرار مدل در یک معماری جریان‌محور برای پیش‌بینی‌های درون‌روزی با استفاده از فیدهای خبری با فرکانس بالا و داده‌های تیک.
• چنددارایی و جفت‌ارزهای متقاطع: اعمال همان روش‌شناسی برای پیش‌بینی سایر جفت‌های اصلی فارکس (مانند GBP/USD، USD/JPY) یا حتی نرخ‌های ارز دیجیتال، که به شدت احساسات‌محور هستند.
• ادغام داده‌های جایگزین: گنجاندن سیگنال‌هایی از رسانه‌های اجتماعی (مانند احساسات توییتر/X)، متن‌های سخنرانی بانک‌های مرکزی تحلیل‌شده با مدل‌های زبانی بزرگ پیشرفته، یا داده‌های تصاویر ماهواره‌ای برای فعالیت اقتصادی، با پیروی از روندهای مشاهده‌شده در تحقیقات صندوق‌های پوشش ریسک.
• معماری پیشرفته: جایگزینی LSTM استاندارد با انواع پیچیده‌تر مانند مدل‌های مبتنی بر ترنسفورمر (مانند ترنسفورمرهای ادغام زمانی) یا مدل‌های ترکیبی CNN-LSTM برای ثبت هم الگوهای فضایی در ویژگی‌ها و هم وابستگی‌های زمانی.
• هوش مصنوعی قابل توضیح (XAI): ادغام ابزارهایی مانند SHAP یا LIME برای تفسیر تصمیمات مدل، شناسایی اینکه کدام موضوعات خبری خاص یا تغییرات احساسات برای یک پیش‌بینی معین بیشترین تأثیر را داشته‌اند، که برای جلب اعتماد در کاربردهای مالی حیاتی است.

6. مراجع

1. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation.
2. Kennedy, J., & Eberhart, R. (1995). Particle swarm optimization. Proceedings of ICNN'95.
3. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.
4. Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet allocation. Journal of machine Learning research.
5. Box, G. E. P., Jenkins, G. M., & Reinsel, G. C. (2008). Time Series Analysis: Forecasting and Control. Wiley.
6. Vaswani, A., et al. (2017). Attention is All You Need. Advances in Neural Information Processing Systems.
7. Investopedia. (2023). Foreign Exchange Market (Forex). Retrieved from investopedia.com.
8. European Central Bank & Federal Reserve Economic Data (FRED) – as representative sources for fundamental data.

7. مرور انتقادی تحلیلگر