ক্রামার-রাও নিম্নসীমা

ডিপথট থেকে

ক্রামার-রাও নিম্নসীমা উপপাদ্যের প্রমাণ

অজানা রাশিটিকে অদিক (স্কেলার, <math>\theta=g(\theta)</math>) ধরে নিয়ে সহজেই সিআরএলবি (Cramer-Rao Lower Bound) উপপাদ্য প্রমাণ করা যায়। এর পাশাপাশি অবশ্যই রাশিটির নিরূপককে নিটাল ধরে নিতে হবে, অর্থাৎ

<math>E(\hat{\theta}) = \theta = g(\theta)</math>

বাম পক্ষের প্রত্যাশাটিকে প্রথম পরিঘাত (প্রত্যাশা ও পরিঘাত দ্রষ্টব্য) হিসেবে লিখা যায়,

<math>\int \hat{\theta} \ p(\mathbf{x}; \theta) \ d\mathbf{x} = g(\theta)</math>
<math>\Rightarrow \int \hat{\theta} \ \frac{\partial p(\mathbf{x}; \theta)}{\partial\theta} \ d\mathbf{x} = \frac{\partial g(\theta)}{\partial\theta}</math>
<math>\Rightarrow \int \hat{\theta} \ \frac{\partial\ln p(\mathbf{x}; \theta)}{\partial\theta} \ p(\mathbf{x}; \theta) \ d\mathbf{x} = \frac{\partial g(\theta)}{\partial\theta}</math>

সমীকরণ এবং ১১ অনুযায়ী, বাম পক্ষের <math>\hat{\theta}</math> ব্যতীত বাকি অংশটুকুর সমাকলনের ফলাফল শূন্য, কারণ সেটুকু হচ্ছে লগ-সম্ভাব্যতা অপেক্ষকের প্রথম অন্তরকের প্রত্যাশা, যা শূন্য। সেহেতু উপরের সমীকরণকে লিখা যায়:

<math>\Rightarrow \int (\hat{\theta}-\theta) \ \frac{\partial\ln p(\mathbf{x}; \theta)}{\partial\theta} \ p(\mathbf{x}; \theta) \ d\mathbf{x} = \frac{\partial g(\theta)}{\partial\theta}</math>

এখন উপরের সমীকরণে কোশি-শোয়ার্ৎস অসমতা প্রয়োগ করা যাক, অসমতাটি হচ্ছে

<math>\left[\int w(\mathbf{x}) \ g(\mathbf{x}) \ h(\mathbf{x}) \ d\mathbf{x}\right]^2 \le \int w(\mathbf{x}) \ g^2(\mathbf{x}) \ d\mathbf{x} \int w(\mathbf{x}) \ h^2(\mathbf{x}) \ d\mathbf{x}</math>

যেখানে, g এবং h সাধারণ স্কেলার অপেক্ষক, এবং <math>w(\mathbf{x})\ge 0</math>, এবং <math>g(\mathbf{x})=c \ h(\mathbf{x})</math> (c একটি ধ্রুবক, যা x এর উপর নির্ভর করে না) হলে অসমতাটি সমতায় পরিণত হয়।

ধরি,

<math>w(\mathbf{x}) = p(\mathbf{x}; \theta)</math>
<math>g(\mathbf{x}) = (\hat{\theta}-\theta)</math>
<math>h(\mathbf{x}) = \frac{\partial\ln p(\mathbf{x}; \theta)}{\partial\theta}</math>

তাহলে কোশি-শোয়ার্ৎস অসমতা অনুসারে,

<math>\left(\frac{\partial g(\theta)}{\partial\theta}\right)^2 \le \int (\hat{\theta}-\theta)^2 \ p(\mathbf{x}; \theta) d\mathbf{x} \int \left(\frac{\partial\ln p(\mathbf{x}; \theta)}{\partial\theta}\right)^2 \ p(\mathbf{x}; \theta) d\mathbf{x} </math>

কিন্তু উপরের অসমতার বাম ডক্ষের প্রথম সমাকলনটুকু নিরূপকটির ভেদাঙ্ক, আর দ্বিতীয় সমাকলনটুকু লগ-সম্ভাব্যতা অপেক্ষকের প্রথম অন্তরকের বর্গের প্রত্যাশা। তাই আমরা পাই,

<math>\text{var}(\hat{\theta}) \ge \frac{\left(\frac{\partial g(\theta)}{\partial\theta}\right)^2}{E\left[\left(\frac{\partial\ln p(\mathbf{x}; \theta)}{\partial\theta}\right)^2\right]}</math>

কিন্তু প্রমাণ করা সম্ভব যে,

<math>E\left[\left(\frac{\partial\ln p(\mathbf{x}; \theta)}{\partial\theta}\right)^2\right] = -E\left[\frac{\partial^2\ln p(\mathbf{x}; \theta)}{\partial\theta^2}\right]</math>
<math>\therefore \text{var}(\hat{\theta}) \ge \frac{\left(\frac{\partial g(\theta)}{\partial\theta}\right)^2}{-E\left[\frac{\partial^2\ln p(\mathbf{x}; \theta)}{\partial\theta^2}\right]}</math>

উল্লেখ্য এখানে, <math>\hat{\theta} = g(\theta) = \theta</math> হলে ডান পক্ষের লবের মান ১ হয়ে যাবে। তাই নিটাল নিরূপকের ক্ষেত্রে ক্রামার-রাও উপপাদ্য আমরা প্রমাণ করে ফেললাম।

সমতার শর্ত ব্যবহার করে আমরা c এর মান নির্ণয় করতে পারি। কোশি-শোয়ার্ৎস অসমতা অনুসারে,

<math>\frac{\partial\ln p(\mathbf{x}; \theta)}{\partial\theta} = \frac{1}{c(\theta)} \ (\hat{\theta}-\theta)</math>

সমীকরণ ১০ অনুসারে <math>c(\theta)</math> এর মান কত হওয়া উচিত আমরা জানি। উপরের সমীকরণের উভয় পক্ষকে ব্যবকলন করে দেখানো সম্ভব যে,

<math>c(\theta) = \frac{1}{-E\left[\frac{\partial^2\ln p(\mathbf{x}; \theta)}{\partial\theta^2}\right]} = \frac{1}{I(\theta)}</math>

যেহেতু <math>I(\theta)</math> ন্যূনতম ভেদাঙ্কের বিপরীত।