Metin Madenciliği ve Derin Öğrenme ile EUR/USD Tahmini: Bir PSO-LSTM Yaklaşımı

İçindekiler

1. Giriş ve Genel Bakış

Bu araştırma, EUR/USD döviz kurunu tahmin etmek için niteliksel metinsel verileri entegre ederek geleneksel nicel modellerdeki kritik bir boşluğu ele alan yenilikçi bir hibrit çerçeve sunmaktadır. Temel yenilik, gelişmiş Doğal Dil İşleme (NLP) tekniklerini—özellikle RoBERTa-Large ile duygu analizi ve Latent Dirichlet Allocation (LDA) ile konu modelleme—Uzun Kısa Vadeli Bellek (LSTM) ağlarına dayalı bir derin öğrenme tahmin motoru ile birleştirmesinde yatmaktadır. Modelin hiperparametreleri, Parçacık Sürü Optimizasyonu (PSO) kullanılarak daha da optimize edilerek, PSO-LSTM olarak adlandırılan sağlam, veriye dayalı bir tahmin sistemi oluşturulmuştur.

Çalışmanın birincil amacı, haberler ve finansal analizlerden gelen gerçek zamanlı, yapılandırılmamış metinsel verilerin dahil edilmesinin, yalnızca geçmiş fiyat verilerine dayanan modellere kıyasla tahmin doğruluğunu önemli ölçüde artırdığını göstermektir. Bunu yaparak, genellikle kur hareketlerinden önce gelen piyasa duyarlılığını ve tematik itici güçleri yakalar.

2. Metodoloji ve Çerçeve

Önerilen metodoloji, çok kaynaklı veri toplamadan nihai tahmine kadar yapılandırılmış bir iş akışı izlemektedir.

2.1 Veri Toplama ve Ön İşleme

Nicel Veriler: Açılış, yüksek, düşük, kapanış ve hacim dahil olmak üzere tarihsel günlük EUR/USD döviz kurları toplanmıştır. Teknik göstergeler (örneğin, hareketli ortalamalar, RSI) öznitelikler olarak türetilmiştir.

Nitel Metinsel Veriler: Euro bölgesi ve ABD ekonomileri ile ilgili finansal haber makaleleri ve piyasa analiz raporlarından oluşan bir derlem, güvenilir kaynaklardan toplanmıştır. Metinler temizlenmiş, tokenize edilmiş ve NLP analizi için hazırlanmıştır.

2.2 Metin Madenciliği ve Öznitelik Mühendisliği

Duygu Analizi: Önceden eğitilmiş RoBERTa-Large modeli, her bir haber makalesinin duyarlılığını (pozitif, negatif, nötr) sınıflandırmak ve sürekli bir duygu puanı çıktılamak üzere bir finansal duygu veri seti üzerinde ince ayarlanmıştır. Bu, piyasa ruh halinin nicel bir ölçüsünü sağlar.

Konu Modelleme: Latent Dirichlet Allocation (LDA), derlem üzerinde gizli konuları (örneğin, "ECB Politikası," "ABD Enflasyonu," "Jeopolitik Risk") belirlemek için uygulanmıştır. Belge başına konu dağılımı ve anahtar konu kelimeleri, haberlerin tematik bağlamını yakalayan ek öznitelikler haline gelmiştir.

Her bir $t$ zaman adımı için nihai öznitelik vektörü bir birleştirmedir: $\mathbf{X}_t = [\mathbf{P}_t, S_t, \mathbf{T}_t]$, burada $\mathbf{P}_t$ nicel/teknik öznitelikler, $S_t$ duygu puanı ve $\mathbf{T}_t$ konu dağılım vektörüdür.

2.3 PSO-LSTM Model Mimarisi

Tahmin modeli, sıralı verilerdeki uzun vadeli bağımlılıkları modelleme yeteneği nedeniyle seçilen bir LSTM ağıdır. LSTM hücresinin $t$ zamanındaki işlemi şu şekilde özetlenebilir:

$\begin{aligned} \mathbf{f}_t &= \sigma(\mathbf{W}_f \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_f) \\ \mathbf{i}_t &= \sigma(\mathbf{W}_i \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_i) \\ \tilde{\mathbf{C}}_t &= \tanh(\mathbf{W}_C \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_C) \\ \mathbf{C}_t &= \mathbf{f}_t * \mathbf{C}_{t-1} + \mathbf{i}_t * \tilde{\mathbf{C}}_t \\ \mathbf{o}_t &= \sigma(\mathbf{W}_o \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_o) \\ \mathbf{h}_t &= \mathbf{o}_t * \tanh(\mathbf{C}_t) \end{aligned}$

Burada $\mathbf{x}_t$, $\mathbf{X}_t$ giriş öznitelik vektörüdür, $\mathbf{h}_t$ gizli durumdur, $\mathbf{C}_t$ hücre durumudur ve $\sigma$ sigmoid fonksiyonudur.

Parçacık Sürü Optimizasyonu (PSO), kritik LSTM hiperparametrelerini (örneğin, katman sayısı, gizli birimler, öğrenme oranı, dropout oranı) optimize etmek için kullanılmıştır. PSO, hiperparametre uzayını bir kuş sürüsünün sosyal davranışını simüle ederek, aday çözümlerin (parçacıklar) kendi ve sürünün bilinen en iyi konumlarına dayanarak yinelemeli olarak iyileştirilmesi yoluyla arar. Bu, manuel veya grid aramasına kıyasla ayar sürecini otomatikleştirir ve geliştirir.

3. Deneysel Sonuçlar ve Analiz

3.1 Kıyaslama Modeli Karşılaştırması

PSO-LSTM modeli, birkaç yerleşik kıyaslama modeline karşı değerlendirilmiştir: Destek Vektör Makinesi (SVM), Destek Vektör Regresyonu (SVR), ARIMA ve GARCH. Performans, standart metrikler kullanılarak ölçülmüştür: Ortalama Mutlak Hata (MAE), Kök Ortalama Kare Hata (RMSE) ve Ortalama Mutlak Yüzde Hata (MAPE).

Grafik Açıklaması (Tasarlanmış): "Tahmin Performansı Karşılaştırması (RMSE)" başlıklı bir çubuk grafik, PSO-LSTM çubuğunu tüm kıyaslama modellerinden önemli ölçüde daha kısa (daha düşük hata) gösterecektir. Gerçek ve tahmin edilen EUR/USD kurlarını üst üste koyan bir çizgi grafik, PSO-LSTM tahmin çizgisinin gerçek hareketi yakından takip ettiğini, diğer modellerin çizgilerinin ise özellikle büyük haber olaylarıyla çakışan oynak dönemlerde daha büyük sapma gösterdiğini gösterecektir.

Temel Bulgu: PSO-LSTM modeli, tüm hata metriklerinde tutarlı bir şekilde tüm kıyaslama modellerini geride bırakmış, entegre metin-nicel yaklaşımın üstün tahmin gücünü göstermiştir.

3.2 Ablasyon Çalışması Bulguları

Her bir veri bileşeninin katkısını izole etmek için ablasyon çalışmaları yapılmıştır:

• Model A: Yalnızca nicel özniteliklerle LSTM (temel).
• Model B: Nicel + duygu öznitelikleriyle LSTM.
• Model C: Nicel + konu öznitelikleriyle LSTM.
• Model D (Tam): Tüm özniteliklerle PSO-LSTM (nicel + duygu + konular).

Sonuç: Model D (Tam) en düşük hatayı elde etmiştir. Hem Model B hem de Model C, temel Model A'dan daha iyi performans göstermiş, hem duygu hem de konu bilgisinin değer kattığını kanıtlamıştır. Bu çalışmada, konuların eklenmesinden gelen performans kazancı, yalnızca duygu eklenmesinden gelen kazançtan biraz daha yüksek olmuş, tematik bağlamın güçlü bir sinyal olduğunu göstermiştir.

4. Teknik Derinlemesine İnceleme

4.1 Matematiksel Formülasyon

Çekirdek tahmin problemi, geçmiş öznitelik vektörlerinin bir dizisi verildiğinde bir sonraki dönemin döviz kuru getirisini $y_{t+1}$ tahmin etmek olarak formüle edilir: $\hat{y}_{t+1} = f(\mathbf{X}_{t-n:t}; \mathbf{\Theta})$, burada $f$, $\mathbf{\Theta}$ ile parametrelendirilmiş PSO-LSTM modelidir ve $\mathbf{X}_{t-n:t}$, $n$ uzunluğunda bir öznitelik penceresidir.

PSO algoritması, hiperparametreleri $\mathbf{\Phi}$'yi ($\mathbf{\Theta}$'nin bir alt kümesi), bir doğrulama setindeki tahmin hatasını en aza indirerek optimize eder. Her bir $i$ parçacığının bir konumu $\mathbf{\Phi}_i$ ve hızı $\mathbf{V}_i$ vardır. Güncelleme denklemleri şöyledir:

$\begin{aligned} \mathbf{V}_i^{k+1} &= \omega \mathbf{V}_i^k + c_1 r_1 (\mathbf{P}_{best,i} - \mathbf{\Phi}_i^k) + c_2 r_2 (\mathbf{G}_{best} - \mathbf{\Phi}_i^k) \\ \mathbf{\Phi}_i^{k+1} &= \mathbf{\Phi}_i^k + \mathbf{V}_i^{k+1} \end{aligned}$

burada $\omega$ eylemsizliktir, $c_1, c_2$ ivme katsayılarıdır, $r_1, r_2$ rastgele sayılardır, $\mathbf{P}_{best,i}$ parçacığın en iyi konumudur ve $\mathbf{G}_{best}$ sürünün küresel en iyi konumudur.

4.2 Analiz Çerçevesi Örneği

Senaryo: Bir sonraki işlem günü için EUR/USD hareketinin tahmini.

Adım 1 - Veri Getirme: Sistem kapanış fiyatını alır, 10 günlük SMA, RSI'yi hesaplar (nicel). Aynı anda, önceden tanımlanmış finansal API'lerden en son 50 haber başlığını getirir.

Adım 2 - Metin İşleme:

• Duygu İş Akışı: Başlıklar, ince ayarlanmış RoBERTa-Large modeline beslenir. Çıktı: Ortalama günlük duygu puanı = -0.65 (orta derecede negatif).
• Konu İş Akışı: Başlıklar, eğitilmiş LDA modeli tarafından işlenir. Çıktı: Baskın konu = "Para Politikası" (%60 ağırlık), anahtar kelimeler: "ECB," "lagarde," "faiz oranları," "şahin."

Adım 3 - Öznitelik Vektörü Oluşturma: Birleştir: `[Kapanış_Fiyatı=1.0850, SMA_10=1.0820, RSI=45, Duygu_Puanı=-0.65, Konu_Ağırlığı_ParaPolitikası=0.60, ...]`.

Adım 4 - Tahmin: Öznitelik vektörü, eğitilmiş PSO-LSTM modeline beslenir. Model, "negatif duygu + 'şahin ECB' konusunun genellikle Euro'nun güçlenmesinden önce geldiği" gibi kalıpları öğrenerek tahmini bir getiri çıktılar.

Adım 5 - Çıktı: Model, bir sonraki gün için EUR/USD'de %+0.3'lük bir artış tahmin eder.

5. Gelecek Uygulamalar ve Yönelimler

Bu çerçeve oldukça genişletilebilirdir. Gelecek yönelimler şunları içerir:

• Gerçek Zamanlı Tahmin: Modelin, yüksek frekanslı haber akışları ve tik verileri kullanarak gün içi tahminler için bir akış mimarisinde konuşlandırılması.
• Çoklu Varlık ve Çapraz Döviz Çiftleri: Aynı metodolojinin diğer büyük döviz çiftlerini (örneğin, GBP/USD, USD/JPY) veya duygu odaklı olduğu bilinen kripto para birimi kurlarını tahmin etmek için uygulanması.
• Alternatif Verilerin Entegrasyonu: Sosyal medyadan sinyallerin (örneğin, Twitter/X duyarlılığı), gelişmiş LLM'lerle analiz edilen merkez bankası konuşma metinlerinin veya hedge fon araştırmalarında görülen eğilimleri takip eden ekonomik aktivite için uydu görüntü verilerinin dahil edilmesi.
• Gelişmiş Mimari: Standart LSTM'nin, hem özniteliklerdeki uzamsal kalıpları hem de zamansal bağımlılıkları yakalamak için Transformer tabanlı modeller (örneğin, Temporal Fusion Transformers) veya hibrit CNN-LSTM modelleri gibi daha sofistike varyantlarla değiştirilmesi.
• Açıklanabilir Yapay Zeka (XAI): Modelin kararlarını yorumlamak, belirli bir tahmin için hangi haber konularının veya duygu değişimlerinin en etkili olduğunu belirlemek için SHAP veya LIME gibi araçların entegre edilmesi; finansal uygulamalarda güven kazanmak için kritiktir.

6. Referanslar

1. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation.
2. Kennedy, J., & Eberhart, R. (1995). Particle swarm optimization. Proceedings of ICNN'95.
3. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.
4. Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet allocation. Journal of machine Learning research.
5. Box, G. E. P., Jenkins, G. M., & Reinsel, G. C. (2008). Time Series Analysis: Forecasting and Control. Wiley.
6. Vaswani, A., et al. (2017). Attention is All You Need. Advances in Neural Information Processing Systems.
7. Investopedia. (2023). Foreign Exchange Market (Forex). Retrieved from investopedia.com.
8. European Central Bank & Federal Reserve Economic Data (FRED) – temel veriler için temsili kaynaklar olarak.

7. Analistin Eleştirel İncelemesi