כיול וציון בריאר: איך מבדילים הסתברות אמיתית ממספר

תחזית מכוילת היא תחזית שההסתברויות שהיא מצהירה עליהן מתרחשות בקצב שהוצהר: אם בכל המשחקים שסומנו 60% התרחשו בסביבות 60% מהמקרים, המודל מכויל באותה רמה. אחוז פגיעה, לעומת זאת, הוא מדד חלש — וזו הסיבה שכמעט כל מי שמוכר תחזיות מציג דווקא אותו.

כיול במשפט אחד

הסתברות היא הצהרה שניתנת לבדיקה, אבל לא על משחק בודד. משחק בודד קורה או לא קורה; 60% אינם "נכונים" או "שגויים" בו. הבדיקה אפשרית רק על קבוצה: אוספים את כל התחזיות שהצהירו בסביבות 60%, ובודקים איזה שיעור מהן אכן התרחש. זו כל התורה, וזה גם מה שהופך הסתברות למשהו שאי אפשר להתחמק ממנו בדיעבד.

למה אחוז פגיעה מדד חלש

נניח מודל שחוזה רק מועדפות כבדות. הוא יציג אחוז פגיעה מרשים, ולא יאמר כמעט דבר — כי גם אתם ידעתם שהמועדפת תנצח. אחוז פגיעה גבוה יכול לנבוע מבחירת משחקים קלים, ואחוז פגיעה נמוך יכול לנבוע מעיסוק דווקא במשחקים שבהם יש אי-ודאות אמיתית ולכן גם הזדמנות.

מה שאחוז פגיעה לא מודד: האם הביטחון שהוצהר היה כנה. מודל שאומר 90% ופוגע ב-60% מהמקרים מטעה, גם אם 60% נשמע סביר. בדיוק לשם כך קיימים שני המדדים הבאים.

ציון בריאר

ממוצע ריבועי הפער בין ההסתברות שהוצהרה לבין מה שקרה, כשהתרחשות היא 1 ואי-התרחשות היא 0. נמוך יותר טוב יותר.

היתרון שלו הוא שהוא מודד שני דברים יחד: כיול — האם המספרים כנים, וחדות — האם הם מעזים להתרחק מהממוצע. מודל שמצהיר 33% על כל תוצאה בכל משחק יהיה מכויל להפליא וחסר תועלת מוחלטת. בריאר קונס אותו על חוסר החדות.

דוגמה מספרית, להמחשה

נניח שני חוזים על אותו משחק שבו הבית ניצח. הראשון הצהיר 0.60 על ניצחון הבית, השני הצהיר 0.95. תרומת המשחק הזה לבריאר של הראשון היא ‎(1 − 0.60)² = 0.16, ושל השני ‎(1 − 0.95)² = 0.0025 — השני תוגמל על הביטחון, ובצדק, כי צדק.

עכשיו הפכו את התוצאה: הבית הפסיד. הראשון משלם ‎0.60² = 0.36, והשני משלם ‎0.95² = 0.9025. כלומר ביטחון גבוה הוא הימור על עצמו: הוא משתלם כשהוא מוצדק ונענש כשאינו. חוזה שמצהיר תמיד על ביטחון גבוה ייראה מרשים בטבלת פגיעות ויקבל ציון בריאר גרוע — וזה בדיוק ההבדל שהמדד קיים כדי לחשוף.

כיול וחדות אינם אותו דבר

אלה שני צירים נפרדים, ומודל יכול להיכשל בכל אחד מהם בנפרד:

• מכויל ולא חד — מצהיר 33% על כל תוצאה בכל משחק. המספרים כנים לחלוטין וחסרי תועלת מוחלטת.
• חד ולא מכויל — מצהיר 85% לעתים תכופות ופוגע ב-60%. נשמע החלטי, ומטעה.
• מכויל וחד — מתרחק מהממוצע רק כשיש סיבה, וכשהוא מתרחק המספרים מתקיימים.

רק השילוב שווה משהו, ולכן אף אחד מהמדדים לבדו אינו מספר את הסיפור.

log-loss, ולמה הוא קובע את השקלול

log-loss מעניש ביטחון שגוי בחריפות רבה יותר מבריאר: תחזית שהצהירה על ודאות כמעט מלאה והתבדתה משלמת מחיר גדול במיוחד. זו התכונה שהופכת אותו למדד הנכון לשקלול מודלים, כי היא בדיוק מה שרוצים למנוע — מודל שמדבר בביטחון גדול מדי.

לכן המשקלים של אלו, פואסון, דיקסון-קולס וה-boosting נקבעים לפי log-loss על עונות קודמות בלבד, ולא על העונה שנבדקת. פירוט השיטה נמצא באיך המודל עובד, והמונחים במילון.

איך מכיילים בפועל

מודל גולמי נוטה להיות בטוח מדי. התיקון הוא שכבה נפרדת שממפה את הפלט הגולמי להסתברות מתוקנת, מכוילת איזוטונית — כלומר בלי להניח צורה מסוימת לעיוות, רק שהוא מונוטוני. הכיול נלמד על נתונים שאינם הנתונים שעליהם נבדק המודל; אחרת מודדים את עצמכם על התשובות.

מה הבקטסט מראה

הבדיקה מתקדמת בזמן על חמש ליגות אירופיות מובילות, עונה אחרי עונה. שתי מסקנות, מוצגות כמו שהן — הנתונים מגיעים מארטיפקט הבקטסט של המודל, והם אלה שמוצגים בעמוד הביצועים:

1. ההרכב מגיע לדיוק שנע סביב 52%–53% ב-1X2 בעונות הבדיקה.
2. מחיר הסגירה של השוק, לאחר הסרת המרווח, עדיין נמדד כמדויק יותר מההרכב בכ-0.02 עד 0.03 ב-log-loss.

המשמעות של "מתקדם בזמן" היא שכל עונה נבדקת במודל שאומן על העונות שקדמו לה בלבד. זו ההגנה מפני דליפת מידע — מודל שמאומן על העונה שהוא נבדק עליה תמיד ייראה מצוין ולעולם לא יחזור על כך בפועל.

הנקודה השנייה היא החשובה, והיא זו שרוב המוצרים היו משמיטים. היא אומרת שהשוק הוא מעריך הסתברויות מעולה, ושרכיב ה-boosting — שמקבל משקל ממשי ברוב העונות — אינו סוגר את הפער.

ביטחון אינו הסתברות

שני מספרים שמתבלבלים תדיר, ואצלנו הם מופרדים במפורש. הסתברות היא מה שהמודל חושב שיקרה. ביטחון הוא עד כמה הוא סומך על ההסתברות הזו — פונקציה של כמות ואיכות מה שידוע על המשחק הזה, לא של גודל ההסתברות.

הסתברות של 70% עם ביטחון נמוך והסתברות של 70% עם ביטחון גבוה הן שתי הצהרות שונות לגמרי, ורק הראשונה מצדיקה המתנה. משום כך אין טעם לדרוש פער קבוע: הפער הנדרש גדל בדיוק כשמידת אי-הוודאות גדלה.

מדגם קטן אינו ראיה

בדיקת כיול היא בדיקה על קבוצות, ולכן היא זקוקה לנפח. עשרים תחזיות אינן אומרות דבר על כיול, לא לטובה ולא לרעה; מאתיים מתחילות לאמר משהו על הקבוצות הצפופות בלבד. זו הסיבה ששיעור פגיעה של "תשע מתוך עשר" הוא בידור ולא נתון, וגם הסיבה שבטבלה שלנו מופיע ה-n לצד כל שורה.

מכאן גם נובע כלל פשוט לקריאת כל טבלת ביצועים: מספר בלי n ובלי חלון זמן אינו מדידה. שני אלה הם התנאי, לא קישוט.

הצעדים הבאים שנקבעו הם ספציפיים באותה מידה: הכללת xG במאפיינים, הוספת זמינות שחקנים והתאמות הרכב, וכיוונון קצב העדכון ודעיכת הזמן פר ליגה במקום גלובלית.

למה זה מעצב את כל המוצר

אם השוק מכויל טוב יותר מהמודל בממוצע, בשביל מה המודל?

לא כדי לנצח את השוק בכל מקום. כדי למצוא את המשחקים שבהם השניים חולקים בפער גדול יותר משגיאת ההערכה עצמה — ולומר "אין כאן כלום" בכל השאר.

זו הסיבה שהפער הנדרש גדל עם כל מקור אי-ודאות שניתן למדוד, שיש שישה מצבי PASS מוצהרים ונפרדים, ושמחזור טיפוסי מייצר מעט מאוד משחקים שיש בהם מה לעשות. הסלקטיביות אינה זהירות לשמה — היא התוצאה הישירה של פער שנמדד בכנות. הצד הזה מפורט באיכות החלטה.

מה כיול לא אומר

כיול טוב אינו רווחיות. מודל יכול להיות מכויל בצורה מושלמת ולא להיות שווה כלום מסחרית, אם השוק מכויל באותה מידה או טוב יותר — וזה בדיוק המצב שהבקטסט מתאר. הסתברות מכוילת היא תנאי מוקדם להחלטה טובה, לא תחליף לה: מה שהופך אותה לשימושית הוא הפער מול המחיר, ורק כשהפער עולה על שגיאת ההערכה עצמה.

כיול גם אינו קבוע. הוא נמדד על תקופה, ותקופה מסתיימת: ליגה שמשנה אופי, עונה עם פציעות חריגות או שינוי בכללי המשחק יכולים להזיז אותו. לכן זה נמדד מחדש ולא נקבע פעם אחת, והמספר מוצג לצד העונה שאליה הוא מתייחס ולא כמספר יחיד נצחי.

חמישה צעדים לבדוק כל חוזה בעצמכם

1. אספו את ההסתברויות שהוצהרו לפני המשחק, עם תאריך.
2. חלקו אותן לקבוצות: 30–40%, 40–50%, 50–60% וכן הלאה.
3. בכל קבוצה, חשבו איזה שיעור מהמקרים אכן התרחש.
4. השוו: קבוצת ה-70% צריכה להתרחש בסביבות 70%. אם היא מתרחשת ב-45%, ההסתברויות אינן מכוילות.
5. בדקו אם יש חורים בציר הזמן. תקופה חסרה היא כמעט תמיד תקופה שהוסרה.

אם החוזה אינו מפרסם הסתברויות מראש, אין מה לבדוק — ואי אפשר לדעת. הרשומה המאומתת קיימת בדיוק כדי שהבדיקה הזו תהיה אפשרית עלינו, ולא רק על אחרים; ההפרדה בין איכות ההחלטה לתוצאה מוסברת בתוצאה טובה מהחלטה גרועה.

תחזיות ניתוח אינן הבטחה לתוצאה, ואין שיטה שמנטרלת סיכון. התוכן מיועד לבני 18 ומעלה בלבד. אם ההימורים מפסיקים להיות בחירה, יש גורמי סיוע — ראו שימוש באחריות.