A forecast mean can land near the observed outcome while the rest of the predicted probability sits in unhelpful places. Distance from one predicted price cannot fully evaluate an entire distribution.

The laboratory reports CRPS, a score for predictive distributions. A lower value is better when the comparison conditions are held fixed. It looks beyond a single central estimate, but its magnitude depends on the scale of the variable being forecast.

Do not rank different instruments simply by comparing raw scores expressed on different scales. Begin within an instrument, using the same target and evaluation cases. A correct formula still needs a fair comparison before its result can support a useful conclusion.

التوزيع كله يستحق الحساب

يمكن أن يقترب متوسط التوقع من النتيجة، بينما يضع النموذج بقية الاحتمالات في أماكن غير مناسبة. لهذا لا تكفي المسافة بين السعر المتوقع والسعر المحقق لتقييم توزيع كامل.

يعرض المختبر مقياس CRPS لتقييم التوزيع التنبؤي، وتكون قيمته الأصغر أفضل عند ثبات شروط المقارنة. وهو يساعد على النظر إلى ما وراء نقطة واحدة، لكنه يتأثر بمقياس المتغير الذي نقيسه.

لذلك لا يصح ترتيب أدوات مختلفة بمجرد مقارنة درجاتها الخام إذا كانت وحداتها ومقاييسها مختلفة. ابدأ بالمقارنة داخل الأداة وعلى الهدف والعينة نفسيهما. جودة المقياس تعتمد على عدالة المقارنة بقدر اعتمادها على صحة المعادلة.

Leave a Comment