לאחרונה מדינת ישראל יזמה והקימה מערכת מרכזית לדירוג אשראי. כתוצאה מכך, כיום, כאשר מוגשת בקשה להלוואה, המלווה יכול לשלם לסוכנות דירוג אשראי כדי להעריך את דירוג האשראי של המבקש/ת. אחד המניעים בבסיס היוזמה החדשה היה להגביר את הגישה ההוגנת והשוויונית לאשראי, על-ידי שימוש במחשבים במקום בבני אדם כדי ליצור הערכות אלו.
זה לא מפתיע שפקידים המאשרים מתן הלוואות יכולים להיות מוטים, ולהפלות לרעה נשים, מיעוטים אתניים, מיעוטים דתיים, קהילת הלהט"ב, אנשים עם מוגבלויות וקשישים, וכיוצא בזה. עם זאת, עצם העברת הסמכות לאלגוריתם אינה מבטיחה שהחלטות אלה לא יהיו מוטות אף הן.
מדוע שמחשבים יהיו לא הוגנים? האם הם לא צריכים להיות תמיד קרים ורציונליים? למעשה, מחשבים אינם "יודעים" אם מישהו עם פרטים מסוימים בבקשת ההלוואה וההיסטוריה הפיננסית שלו צפוי להחזיר הלוואה, ומי צפוי לעמוד בהחזר. מחשבים יכולים להיות טובים מאוד בניחוש כזה, אבל הניחושים שלהם יתבססו על הנתונים של האנשים שקיבלו הלוואות בעבר. והנתונים ההיסטוריים הזמינים כמעט תמיד מוטים ומפלים.
ניתן לתאר עולם שבו הנתונים ההיסטוריים על הלוואות מגיעים מהחלטות של פקידי הלוואות מוטים, ונניח שאותם פקידים נתנו באופן היסטורי ריבית גבוהה יותר לנשים מאשר לגברים (כלומר, גרמו לנשים לשלם יותר עבור אותן הלוואות), קיבלו החלטות גרועות יותר לגבי אילו נשים היו ראויות לאשראי (מה שהגדיל את השיעור שבו נשים שמקבלות הלוואות לא עמדו בהלוואותיהן), וקיבלו פחות בקשות להלוואות מנשים מאשר מגברים מלכתחילה. סביר להניח שאלגוריתם שהתבסס על הנתונים ההיסטוריים המעוותים הללו יורש חלק מההטיות שהנתונים משקפים: אם באופן היסטורי נשים היו מקבלות שיעורי ריבית גבוהים יותר מאשר גברים בעלי כישורים שווים, הריבית הגבוהה הזו הייתה יכולה לגרום לנשים להיכשל בהחזר ההלוואות בשיעורים גבוהים יותר, ולכן לגרום להן להיראות כמו מלוות מסוכנות יותר.
אלגוריתם יכול ללמוד שמתן תעריפים גבוהים יותר לנשים הוא הדבר ה"נכון" לעשות, גם אם זה היה למעשה תוצאה של טיפול לא הוגן בידי פקידי הלוואות אנושיים. בנוסף, אם היסטורית, פקידי הלוואות לא היו הוגנים לגבי מתן הלוואות לנשים כמו לגבי מועמדים גברים (אולי בגלל שהם היו מוטים או חסרי ניסיון בפענוח בקשות של נשים), אלגוריתם המשתמש בנתונים המתקבלים עשוי להסיק שנשים הן לוות מסוכנות יותר ממה שהן באמת, רק בגלל הטעויות של המלווים האנושיים. יתר על כן, אלגוריתמים בדרך כלל מתוכננים לביצועים טובים במקרה ה"טיפוסי", על חשבון היותם פחות מדויקים במקרים "נדירים" יותר. אז אם היסטורית גברים היו רוב הלווים, אלגוריתמים היו נוטים להתמקד בשימוש במשתנים שהם מנבאים טובים להחזר של גברים, ולעתים קרובות היו משתמשים באותם מנבאים על נשים, גם אם ההחזר של נשים מנובא טוב יותר על-ידי משתנים אחרים.
החדשות הטובות הן שקל יותר לתקן הטיות אלגוריתמיות מאשר הטיות אנושיות. אבל זה לא אומר שזה פשוט. חשוב להבין שכדי להבטיח שאלגוריתמים של דירוג אשראי יהיו הוגנים לנשים, לא עוזר פשוט למחוק את עמודת "המין" מהנתונים המשמשים לאימון האלגוריתם. הסיבה לכך היא שהנתונים של נשים וגברים נוטים להיות שונים בהמון דרכים אחרות מעבר לשאלה אם האדם מסומן כ"אישה" או "גבר", ומחשבים טובים מאוד בזיהוי הבדלים מסוג זה. אז אלגוריתמים עדיין יכולים ללמוד לתת ריביות גבוהות יותר לאנשים ש"נראים כמו נשים", לפי הנתונים שלהם. אלגוריתמים עדיין יושפעו מבחירות היסטוריות גרועות של הלוואות שהגדילו את שיעורי הריבית של אנשים ש"נראים כמו נשים". ואם אנשים ש"נראים כמו נשים" הם מיעוט במערך הנתונים, אלגוריתמים עדיין ייטו להזניח את הדיוק עליהם, לטובת דיוק על אנשים ש"נראים כמו גברים".
הדרך להבטיח שקבלת ההחלטות האלגוריתמית תהיה הוגנת היא לא על-ידי מחיקת עמודות הנתונים "הרגישות" והחזקת אצבעות, אלא על-ידי ביסוס נהלים רשמיים ושקופים לניטור אקטיבי של מתאמים בעייתיים. אם הניטור הזה היה מעלה הטיות, ניתן היה לשנות את התהליכים המאמנים את האלגוריתמים כדי לתקן באופן אקטיבי את ההטיה. דירוג אשראי הוא רק דוגמה אחת משלל ההחלטות החשובות שהאלגוריתמים מקבלים לגבי חיינו. קבלת החלטות אלגוריתמית מציעה לנו הזדמנות ענקית להשאיר מאחור כמה מההטיות של מקבלי ההחלטות האנושיים, כי אלגוריתמים – בניגוד לבני אדם – ניתנים בקלות לתכנות מחדש. אבל ללא גישה שקופה לביקורת, ככל הידוע לנו, אלגוריתמים עשויים למעשה להחמיר את המצב.