টেক্সট মাইনিং ও ডিপ লার্নিং দিয়ে EUR/USD পূর্বাভাস: একটি PSO-LSTM পদ্ধতি

সূচিপত্র

1. ভূমিকা ও সারসংক্ষেপ

এই গবেষণাটি EUR/USD বিনিময় হার পূর্বাভাসের জন্য একটি উদ্ভাবনী হাইব্রিড কাঠামো উপস্থাপন করে, যা গুণগত পাঠ্য তথ্যের সমন্বয়ে ঐতিহ্যগত পরিমাণগত মডেলগুলির একটি গুরুত্বপূর্ণ ফাঁক মেটায়। মূল উদ্ভাবনটি উন্নত প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) কৌশল—নির্দিষ্টভাবে RoBERTa-Large এর মাধ্যমে সেন্টিমেন্ট বিশ্লেষণ এবং ল্যাটেন্ট ডিরিচলেট অ্যালোকেশন (LDA) এর মাধ্যমে টপিক মডেলিং—একটি গভীর শিক্ষণ পূর্বাভাস ইঞ্জিনের সাথে সমন্বয় করে, যা লং শর্ট-টার্ম মেমরি (LSTM) নেটওয়ার্কের উপর ভিত্তি করে। মডেলের হাইপারপ্যারামিটারগুলি আরও অপ্টিমাইজ করা হয়েছে পার্টিকল সোয়ার্ম অপ্টিমাইজেশন (PSO) ব্যবহার করে, যা একটি শক্তিশালী, তথ্য-চালিত পূর্বাভাস ব্যবস্থা তৈরি করেছে যার নাম PSO-LSTM।

গবেষণার প্রাথমিক উদ্দেশ্য হল দেখানো যে, সংবাদ ও আর্থিক বিশ্লেষণ থেকে বাস্তব-সময়ের, অ-কাঠামোবদ্ধ পাঠ্য তথ্য অন্তর্ভুক্ত করা শুধুমাত্র ঐতিহাসিক মূল্যের তথ্যের উপর নির্ভরশীল মডেলগুলির তুলনায় পূর্বাভাসের যথার্থতা উল্লেখযোগ্যভাবে বৃদ্ধি করে। এর মাধ্যমে, এটি বাজারের মনোভাব এবং বিষয়ভিত্তিক চালকগুলিকে ধারণ করে যা প্রায়শই মুদ্রার গতিবিধির পূর্বে ঘটে।

2. পদ্ধতি ও কাঠামো

প্রস্তাবিত পদ্ধতিটি বহু-উৎস তথ্য সংগ্রহ থেকে চূড়ান্ত পূর্বাভাস পর্যন্ত একটি কাঠামোবদ্ধ পাইপলাইন অনুসরণ করে।

2.1 তথ্য সংগ্রহ ও প্রাক-প্রক্রিয়াকরণ

পরিমাণগত তথ্য: ঐতিহাসিক দৈনিক EUR/USD বিনিময় হার, যাতে ওপেন, হাই, লো, ক্লোজ এবং ভলিউম অন্তর্ভুক্ত, সংগ্রহ করা হয়েছে। প্রযুক্তিগত নির্দেশক (যেমন, মুভিং এভারেজ, RSI) বৈশিষ্ট্য হিসাবে উদ্ভূত করা হয়েছে।

গুণগত পাঠ্য তথ্য: ইউরোজোন এবং মার্কিন অর্থনীতির সাথে সম্পর্কিত আর্থিক সংবাদ নিবন্ধ এবং বাজার বিশ্লেষণ প্রতিবেদনের একটি সংগ্রহ (কর্পাস) বিশ্বস্ত উৎস থেকে স্ক্র্যাপ করা হয়েছে। পাঠ্যটি পরিষ্কার করা হয়েছে, টোকেনাইজ করা হয়েছে এবং NLP বিশ্লেষণের জন্য প্রস্তুত করা হয়েছে।

2.2 টেক্সট মাইনিং ও বৈশিষ্ট্য প্রকৌশল

সেন্টিমেন্ট বিশ্লেষণ: প্রাক-প্রশিক্ষিত RoBERTa-Large মডেলটিকে একটি আর্থিক সেন্টিমেন্ট ডেটাসেটে ফাইন-টিউন করা হয়েছে প্রতিটি সংবাদ নিবন্ধের সেন্টিমেন্ট (ইতিবাচক, নেতিবাচক, নিরপেক্ষ) শ্রেণীবদ্ধ করতে এবং একটি অবিচ্ছিন্ন সেন্টিমেন্ট স্কোর আউটপুট দিতে। এটি বাজারের মনের অবস্থার একটি পরিমাণগত পরিমাপ প্রদান করে।

টপিক মডেলিং: ল্যাটেন্ট ডিরিচলেট অ্যালোকেশন (LDA) কর্পাসে প্রয়োগ করা হয়েছে লুকানো বিষয়গুলি (যেমন, "ECB নীতি," "মার্কিন মুদ্রাস্ফীতি," "ভূ-রাজনৈতিক ঝুঁকি") চিহ্নিত করতে। প্রতিটি নথির বিষয়ের বন্টন এবং প্রধান বিষয়ের কীওয়ার্ডগুলি অতিরিক্ত বৈশিষ্ট্য হয়ে উঠেছে, যা সংবাদের বিষয়ভিত্তিক প্রসঙ্গ ধারণ করে।

প্রতিটি সময় ধাপ $t$ এর জন্য চূড়ান্ত বৈশিষ্ট্য ভেক্টরটি একটি সংযুক্তি: $\mathbf{X}_t = [\mathbf{P}_t, S_t, \mathbf{T}_t]$, যেখানে $\mathbf{P}_t$ হল পরিমাণগত/প্রযুক্তিগত বৈশিষ্ট্য, $S_t$ হল সেন্টিমেন্ট স্কোর, এবং $\mathbf{T}_t$ হল বিষয় বন্টন ভেক্টর।

2.3 PSO-LSTM মডেল স্থাপত্য

পূর্বাভাস মডেলটি একটি LSTM নেটওয়ার্ক, যা ক্রমিক তথ্যে দীর্ঘমেয়াদী নির্ভরতা মডেল করার ক্ষমতার জন্য নির্বাচন করা হয়েছে। সময় $t$ এ LSTM সেলের অপারেশন নিম্নরূপে সংক্ষিপ্ত করা যেতে পারে:

$\begin{aligned} \mathbf{f}_t &= \sigma(\mathbf{W}_f \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_f) \\ \mathbf{i}_t &= \sigma(\mathbf{W}_i \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_i) \\ \tilde{\mathbf{C}}_t &= \tanh(\mathbf{W}_C \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_C) \\ \mathbf{C}_t &= \mathbf{f}_t * \mathbf{C}_{t-1} + \mathbf{i}_t * \tilde{\mathbf{C}}_t \\ \mathbf{o}_t &= \sigma(\mathbf{W}_o \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_o) \\ \mathbf{h}_t &= \mathbf{o}_t * \tanh(\mathbf{C}_t) \end{aligned}$

যেখানে $\mathbf{x}_t$ হল ইনপুট বৈশিষ্ট্য ভেক্টর $\mathbf{X}_t$, $\mathbf{h}_t$ হল লুকানো অবস্থা, $\mathbf{C}_t$ হল সেল অবস্থা, এবং $\sigma$ হল সিগময়েড ফাংশন।

পার্টিকল সোয়ার্ম অপ্টিমাইজেশন (PSO) ব্যবহার করা হয়েছে গুরুত্বপূর্ণ LSTM হাইপারপ্যারামিটারগুলি (যেমন, স্তরের সংখ্যা, লুকানো ইউনিট, শিক্ষার হার, ড্রপআউট হার) অপ্টিমাইজ করতে। PSO একটি পাখির ঝাঁকের সামাজিক আচরণ অনুকরণ করে হাইপারপ্যারামিটার স্পেস অনুসন্ধান করে, প্রার্থী সমাধানগুলির (কণা) নিজস্ব এবং ঝাঁকের সর্বোত্তম পরিচিত অবস্থানের ভিত্তিতে পুনরাবৃত্তিমূলকভাবে উন্নতি করে। এটি ম্যানুয়াল বা গ্রিড সার্চের তুলনায় টিউনিং প্রক্রিয়াটিকে স্বয়ংক্রিয় এবং উন্নত করে।

3. পরীক্ষামূলক ফলাফল ও বিশ্লেষণ

3.1 বেঞ্চমার্ক মডেল তুলনা

PSO-LSTM মডেলটি বেশ কয়েকটি প্রতিষ্ঠিত বেঞ্চমার্কের বিরুদ্ধে মূল্যায়ন করা হয়েছে: সাপোর্ট ভেক্টর মেশিন (SVM), সাপোর্ট ভেক্টর রিগ্রেশন (SVR), ARIMA, এবং GARCH। কর্মক্ষমতা পরিমাপ করা হয়েছে স্ট্যান্ডার্ড মেট্রিক্স ব্যবহার করে: গড় পরম ত্রুটি (MAE), মূল গড় বর্গ ত্রুটি (RMSE), এবং গড় পরম শতাংশ ত্রুটি (MAPE)।

চার্ট বর্ণনা (কল্পিত): "পূর্বাভাস কর্মক্ষমতা তুলনা (RMSE)" শিরোনামযুক্ত একটি বার চার্টে PSO-LSTM বারটি উল্লেখযোগ্যভাবে ছোট (কম ত্রুটি) দেখাবে সমস্ত বেঞ্চমার্ক মডেলের তুলনায়। প্রকৃত বনাম পূর্বাভাসিত EUR/USD হার ওভারলে করা একটি লাইন চার্টে PSO-LSTM পূর্বাভাস রেখাটি প্রকৃত গতিবিধির কাছাকাছি ট্র্যাক করবে দেখাবে, অন্য মডেলগুলির রেখাগুলি বেশি বিচ্যুতি দেখাবে, বিশেষ করে প্রধান সংবাদ ঘটনার সাথে মিলে যাওয়া অস্থির সময়ের কাছাকাছি।

মূল সন্ধান: PSO-LSTM মডেলটি সমস্ত ত্রুটি মেট্রিক্স জুড়ে ধারাবাহিকভাবে সমস্ত বেঞ্চমার্ক মডেলকে ছাড়িয়ে গেছে, যা সমন্বিত পাঠ্য-পরিমাণগত পদ্ধতির উচ্চতর পূর্বাভাসমূলক শক্তি প্রদর্শন করে।

3.2 অ্যাবলেশন স্টাডি ফলাফল

প্রতিটি তথ্য উপাদানের অবদান পৃথক করতে, অ্যাবলেশন স্টাডি পরিচালিত হয়েছে:

• মডেল A: শুধুমাত্র পরিমাণগত বৈশিষ্ট্য সহ LSTM (বেসলাইন)।
• মডেল B: পরিমাণগত + সেন্টিমেন্ট বৈশিষ্ট্য সহ LSTM।
• মডেল C: পরিমাণগত + টপিক বৈশিষ্ট্য সহ LSTM।
• মডেল D (সম্পূর্ণ): সমস্ত বৈশিষ্ট্য সহ PSO-LSTM (পরিমাণগত + সেন্টিমেন্ট + টপিক)।

ফলাফল: মডেল D (সম্পূর্ণ) সর্বনিম্ন ত্রুটি অর্জন করেছে। মডেল B এবং মডেল C উভয়ই বেসলাইন মডেল A এর চেয়ে ভালো কর্মক্ষমতা দেখিয়েছে, যা প্রমাণ করে যে সেন্টিমেন্ট এবং টপিক তথ্য উভয়ই মূল্য যোগ করে। এই গবেষণায়, শুধুমাত্র সেন্টিমেন্ট যোগ করার চেয়ে টপিক যোগ করার থেকে কর্মক্ষমতা লাভ কিছুটা বেশি ছিল, যা ইঙ্গিত করে যে বিষয়ভিত্তিক প্রসঙ্গ একটি শক্তিশালী সংকেত।

4. প্রযুক্তিগত গভীর অনুসন্ধান

4.1 গাণিতিক সূত্রায়ন

মূল পূর্বাভাস সমস্যাটি সূত্রায়িত করা হয়েছে পরবর্তী সময়ের বিনিময় হার রিটার্ন $y_{t+1}$ পূর্বাভাস করা হিসাবে, অতীত বৈশিষ্ট্য ভেক্টরের একটি ক্রম দেওয়া হলে: $\hat{y}_{t+1} = f(\mathbf{X}_{t-n:t}; \mathbf{\Theta})$, যেখানে $f$ হল PSO-LSTM মডেল যা $\mathbf{\Theta}$ দ্বারা প্যারামিটারাইজড, এবং $\mathbf{X}_{t-n:t}$ হল দৈর্ঘ্য $n$ এর বৈশিষ্ট্য উইন্ডো।

PSO অ্যালগরিদম একটি ভ্যালিডেশন সেটে পূর্বাভাস ত্রুটি কমানোর মাধ্যমে হাইপারপ্যারামিটার $\mathbf{\Phi}$ ($\mathbf{\Theta}$ এর একটি উপসেট) অপ্টিমাইজ করে। প্রতিটি কণা $i$ এর একটি অবস্থান $\mathbf{\Phi}_i$ এবং বেগ $\mathbf{V}_i$ আছে। তাদের আপডেট সমীকরণগুলি হল:

$\begin{aligned} \mathbf{V}_i^{k+1} &= \omega \mathbf{V}_i^k + c_1 r_1 (\mathbf{P}_{best,i} - \mathbf{\Phi}_i^k) + c_2 r_2 (\mathbf{G}_{best} - \mathbf{\Phi}_i^k) \\ \mathbf{\Phi}_i^{k+1} &= \mathbf{\Phi}_i^k + \mathbf{V}_i^{k+1} \end{aligned}$

যেখানে $\omega$ হল জড়তা, $c_1, c_2$ হল ত্বরণ সহগ, $r_1, r_2$ হল র্যান্ডম সংখ্যা, $\mathbf{P}_{best,i}$ হল কণার সর্বোত্তম অবস্থান, এবং $\mathbf{G}_{best}$ হল ঝাঁকের গ্লোবাল সর্বোত্তম অবস্থান।

4.2 বিশ্লেষণ কাঠামোর উদাহরণ

পরিস্থিতি: পরবর্তী ট্রেডিং দিনের জন্য EUR/USD গতিবিধি পূর্বাভাস করা।

ধাপ 1 - তথ্য আনয়ন: সিস্টেম ক্লোজিং প্রাইস গ্রহণ করে, 10-দিনের SMA, RSI গণনা করে (পরিমাণগত)। একই সাথে, এটি পূর্বনির্ধারিত আর্থিক API থেকে সর্বশেষ 50টি সংবাদ শিরোনাম সংগ্রহ করে।

ধাপ 2 - পাঠ্য প্রক্রিয়াকরণ:

• সেন্টিমেন্ট পাইপলাইন: শিরোনামগুলি ফাইন-টিউন করা RoBERTa-Large মডেলে ফিড করা হয়। আউটপুট: গড় দৈনিক সেন্টিমেন্ট স্কোর = -0.65 (মাঝারি নেতিবাচক)।
• টপিক পাইপলাইন: শিরোনামগুলি প্রশিক্ষিত LDA মডেল দ্বারা প্রক্রিয়াজাত করা হয়। আউটপুট: প্রভাবশালী বিষয় = "মনিটারি পলিসি" (60% ওজন), শীর্ষ কীওয়ার্ড সহ: "ECB," "lagarde," "সুদ হার," "hawkish."

ধাপ 3 - বৈশিষ্ট্য ভেক্টর তৈরি: সংযুক্ত করুন: `[Close_Price=1.0850, SMA_10=1.0820, RSI=45, Sentiment_Score=-0.65, Topic_Weight_MonetaryPolicy=0.60, ...]`।

ধাপ 4 - পূর্বাভাস: বৈশিষ্ট্য ভেক্টরটি প্রশিক্ষিত PSO-LSTM মডেলে ফিড করা হয়। মডেলটি, "নেতিবাচক সেন্টিমেন্ট + 'hawkish ECB' বিষয় প্রায়শই ইউরো শক্তিশালী হওয়ার পূর্বে ঘটে" এর মতো প্যাটার্ন শিখে, একটি পূর্বাভাসিত রিটার্ন আউটপুট করে।

ধাপ 5 - আউটপুট: মডেলটি পরের দিনের জন্য EUR/USD এ +0.3% বৃদ্ধি পূর্বাভাস করে।

5. ভবিষ্যতের প্রয়োগ ও দিকনির্দেশনা

কাঠামোটি অত্যন্ত প্রসারিতযোগ্য। ভবিষ্যতের দিকনির্দেশনার মধ্যে রয়েছে:

• বাস্তব-সময়ের পূর্বাভাস: উচ্চ-ফ্রিকোয়েন্সি সংবাদ ফিড এবং টিক ডেটা ব্যবহার করে ইন্ট্রাডে পূর্বাভাসের জন্য একটি স্ট্রিমিং স্থাপত্যে মডেলটি স্থাপন করা।
• বহু-সম্পদ ও ক্রস-কারেন্সি জোড়া: একই পদ্ধতি অন্যান্য প্রধান FX জোড়া (যেমন, GBP/USD, USD/JPY) বা এমনকি ক্রিপ্টোকারেন্সি হার পূর্বাভাসের জন্য প্রয়োগ করা, যা কুখ্যাতভাবে সেন্টিমেন্ট-চালিত।
• বিকল্প তথ্যের সমন্বয়: সোশ্যাল মিডিয়া থেকে সংকেত অন্তর্ভুক্ত করা (যেমন, Twitter/X সেন্টিমেন্ট), উন্নত LLM দিয়ে বিশ্লেষিত কেন্দ্রীয় ব্যাংকের বক্তৃতা ট্রান্সক্রিপ্ট, বা অর্থনৈতিক কার্যকলাপের জন্য স্যাটেলাইট ইমেজারি ডেটা, হেজ ফান্ড গবেষণায় দেখা প্রবণতা অনুসরণ করে।
• উন্নত স্থাপত্য: স্ট্যান্ডার্ড LSTM কে আরও পরিশীলিত বৈকল্পিক যেমন ট্রান্সফরমার-ভিত্তিক মডেল (যেমন, টেম্পোরাল ফিউশন ট্রান্সফরমার) বা হাইব্রিড CNN-LSTM মডেল দিয়ে প্রতিস্থাপন করা বৈশিষ্ট্যগুলিতে স্থানিক প্যাটার্ন এবং সময়গত নির্ভরতা উভয়ই ধারণ করতে।
• ব্যাখ্যাযোগ্য AI (XAI): SHAP বা LIME এর মতো টুলগুলি সমন্বয় করা মডেলের সিদ্ধান্ত ব্যাখ্যা করতে, কোন নির্দিষ্ট সংবাদ বিষয় বা সেন্টিমেন্ট পরিবর্তন একটি নির্দিষ্ট পূর্বাভাসের জন্য সবচেয়ে প্রভাবশালী ছিল তা চিহ্নিত করতে, যা আর্থিক প্রয়োগে আস্থা অর্জনের জন্য গুরুত্বপূর্ণ।

6. তথ্যসূত্র

1. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation.
2. Kennedy, J., & Eberhart, R. (1995). Particle swarm optimization. Proceedings of ICNN'95.
3. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.
4. Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet allocation. Journal of machine Learning research.
5. Box, G. E. P., Jenkins, G. M., & Reinsel, G. C. (2008). Time Series Analysis: Forecasting and Control. Wiley.
6. Vaswani, A., et al. (2017). Attention is All You Need. Advances in Neural Information Processing Systems.
7. Investopedia. (2023). Foreign Exchange Market (Forex). Retrieved from investopedia.com.
8. European Central Bank & Federal Reserve Economic Data (FRED) – as representative sources for fundamental data.

7. বিশ্লেষকের সমালোচনামূলক পর্যালোচনা