管理與企業倫理 · EMI 期末小組報告 · 個案庫 難度:進階

個案 02

Apple Card 信用額度爭議

當一項決策同時是合法的、無法解釋的,也是無從辯護的

2019 年 11 月,一位軟體開發者發文表示,Apple Card 給他的信用額度(credit limit)大約是妻子的二十倍——儘管兩人合併報稅,而且妻子的信用分數更高。數日之內,Apple 的一位共同創辦人也說,同樣的事發生在他和妻子身上。一個州級監理機關隨即展開調查。十六個月後,該監理機關的結論是未發現違法歧視。這家公司沒有違法,沒有使用任何被禁止的資料,卻仍然無法告訴任何一位顧客,他們的額度為什麼是這個數字。

課程對應

Ch. 6(必讀)+ Ch. 7–18 架構

個案期間

2019 年 8 月 – 2021 年 3 月(影響延續至今)

決策時點

2019 年 11 月 — 如何回答「為什麼?」

可與個案 01 搭配閱讀。在 The DAO 個案中,規則完全公開、毫無例外地執行,而傷害正來自遵守這些規則。本個案的規則則是看不見的,傷害來自無法看見這些規則。兩個個案合讀,涵蓋了同一問題的兩端:當決策由系統而非由人作出時,課責(accountability)會發生什麼變化。各組可任選其一;選擇本個案的組別可引用個案 01 作為比較。

本個案的教學目標

分析本個案後,你應該能夠:

  1. 在沒有裁決可依靠的情況下分析倫理上的失敗。監理機關並未發現違法歧視。你不能斷言這家公司有歧視行為;你必須自行釐清它究竟做錯了什麼——如果真有做錯的話。
  2. 區分不平等結果(unequal outcome)可能產生的三種不同途徑——使用被禁止的屬性、使用該屬性的代理變數(proxy variable),或是對起點不平等的人適用相同的規則——並說明為何只有第一種明顯違法,而三者都會引發倫理問題。
  3. 將 Exhibit 6.7 應用於一個外界反應與其經衡量的議題強度(issue intensity)極不相稱的議題,並指出該架構所未包含的因素。
  4. 評估跨越組織邊界的責任(responsibility)(Ch. 11):一家公司擁有品牌與行銷,另一家公司作出每一項信用決策,而顧客分不清兩者。
  5. 診斷一項溝通失敗(Ch. 14):其中殺傷力最大的一句話,出自第一線人員之口,而他們根本沒有被賦予其他說法。
  6. 為自動化決策設計申訴管道——並論證應由誰負擔其成本。

Part A — 個案內容

請先讀完整篇敘述,再看問題。你需要的事實都在本節及其後的各項 Exhibit 中。

A.1  背景:信用額度究竟是什麼

銀行發行信用卡時必須決定兩件事:是否核准申請人,以及給予多少信用。第二個數字——信用額度——由授信審核(underwriting)模型決定,該模型估算申請人預期能夠償還多少金額。常見的輸入項目包括所得、現有負債、還款紀錄、信用紀錄長度,以及申請人的信用分數(credit score)。

在美國,《平等信用機會法》(Equal Credit Opportunity Act)及其施行規則(Regulation B)禁止在信用授予上基於性別、婚姻狀況、種族、宗教、原國籍及年齡而有所歧視。這項禁令的力道之強,使得貸款機構在大多數情況下,甚至不得在一般信用卡申請中詢問申請人的性別。請記住這一點:「我們不使用性別」並不是銀行自己選擇的政策,而是法律的要求。

同一套規則也要求貸款機構在採取不利行動(adverse action)——拒絕申請,或給予的條件明顯比申請人所要求的差——時,必須告知申請人具體的主要理由。換句話說,這套法律架構早已預設:信用決策是可以向一個人說明理由的事。請先把這個想法記著。

A.2  產品,以及究竟是誰在做決定

Apple Card 於 2019 年 3 月宣布推出,並於 2019 年 8 月在美國上市。它被定位為對信用卡的重新思考:零費用、實體鈦金屬卡片、在 iPhone 錢包(Wallet)App 中顯示消費類別,還有一句告訴顧客它是「created by Apple, not a bank(由 Apple 打造,而非銀行)」的行銷標語。

但就最關鍵的層面而言,它確實是由銀行打造的。Goldman Sachs Bank USA(高盛美國銀行)是發卡機構。高盛持有金融監理執照、承擔信用風險、建置並營運授信審核模型,並作出每一項核准與額度決策。Apple 提供品牌、硬體、軟體介面以及顧客關係。覺得信用決策對自己不公的顧客,完全是在一項 Apple 產品之中經歷這件事,而作出決策的公司,其名稱並未出現在行銷內容裡。

本個案中還有一項設計決策,比其他任何因素都重要。上市時,Apple Card 沒有聯名帳戶、沒有共同簽署人,也沒有任何合併兩人財務的方式。每位申請人都嚴格以個人身分接受評估。一對共享住宅與銀行帳戶、合併報稅的已婚夫妻,仍然會被當成兩個互不相干的陌生人來評分——各自只看掛在自己名下的信用紀錄。

請記住這一點

僅評估個人的做法並未提及性別。但在一個許多夫妻當中有一方在歷史上將較多信用帳戶、房貸與收入紀錄掛在自己名下的社會裡,僅評估個人的做法並不會同等對待這對夫妻。它是一致地對待他們——而一致性套用在不平等的起點上,就會產生不平等結果。這究竟是缺陷還是優點,正是本個案要你判斷的問題之一。

A.3  2019 年 11 月:那串貼文

2019 年 11 月初,David Heinemeier Hansson——一位擁有大批追蹤者的知名軟體開發者——公開發文表示,Apple Card 給他的信用額度約為妻子 Jamie Hansson 的二十倍。這對夫妻合併報稅、結婚多年、共享資產,而且——依他的說法——她的信用分數更高。他稱這項結果是一個性別歧視的程式。

這串貼文迅速擴散,而讓它廣為流傳的細節並不是倍數,而是他描述自己詢問原因時發生的事。他表示,客服人員無法解釋這項決定,無法指出是哪個因素造成的,也無法指出有誰能夠解釋。他們說得出來的只有:這項決定是演算法做的。

數日之內,Apple 共同創辦人 Steve Wozniak 回應表示,他和妻子也遇到同樣的情形,比例約為十比一,儘管兩人並沒有各自獨立的帳戶或資產。2019 年 11 月 9 日,負責監理 Goldman Sachs Bank USA 的紐約州金融服務署(New York Department of Financial Services, DFS)宣布展開調查。

關於證據的提醒

本個案中的倍數來自當事人自己在社群媒體上的說法。這些數字未經查核,相關申請資料從未公開,兩對夫妻的完整財務狀況也都未對外揭露。兩則生動的軼事並不等於資料集。你的報告可以把它們視為引發監理回應的指控——但不可把它們當作模型在整體顧客間實際表現的衡量結果。

A.4  回應

高盛在數日內公開回應。Goldman Sachs Bank USA 執行長所陳述的立場,實質內容是:信用決策依據的是個人自身的信用狀況——所得、負債、還款紀錄及類似因素——而且性別並非模型的輸入項目,既未蒐集,也不可能被使用。該銀行也表示,任何認為自己的額度未反映實際狀況的顧客,銀行都會重新評估其信用額度;後來它也著手支援共用帳戶。

就現有紀錄所見,這項回應的每一句話都是真的。但它也幾乎徹底失敗,原因有三,值得分開來看:

  • 它回答了一個沒有人問的問題。抱怨的內容並不是「你們把我的性別輸入電腦」,而是「結果與性別連動,而你們說不出原因」。否認使用了該項輸入,並未回應關於輸出的指控。
  • 它提供的補救只有提出抱怨的人才得以享有。應要求而重新評估,對提出要求的顧客而言是真實的補救。但對從不知道答案可能不同的顧客,它毫無作用——而且實務上,最先獲得重新評估的,正是擁有最多受眾的那些人。
  • 它並非來自顧客實際往來的品牌。Apple 的名字印在卡片上、手機上與行銷內容上,卻相對較少公開發言。

與此同時,整起事件中殺傷力最大的一句話,並非出自任何高階主管之口,而是第一線人員一再說出的:這只是演算法決定的(it’s just the algorithm)。這些員工並不是在閃躲。他們被交付了一套系統,必須為其輸出辯護,卻從未獲准了解其判斷理由。

A.5  三種相互競爭的解釋

到 2019 年底,外界流傳著三種互不相容的說法。每一種背後都有嚴肅的支持者。你的分析必須三者都加以處理。

  • 沒有任何地方出錯。模型並未使用被禁止的屬性。兩起公開案例是軼事,不是模式存在的證據。已婚夫妻的個人信用紀錄往往差異很大,而評估個人的貸款機構自然會反映這一點。若貸款機構改以家戶為單位分配額度,等於是用另一個人的財務狀況對某人作決定——這本身也會造成嚴重問題,包括對需要獨立於配偶之外取得信用的人而言。
  • 模型複製了既有的不平等。即使排除性別,輸入項目本身仍帶有數十年來的痕跡:在那些年代,信用、財產與收入都不成比例地登記在男性名下。中性的規則套用在這些輸入上,就會產生與性別連動的結果。依此解讀,模型完全按設計運作,而這正是問題所在。
  • 問題從來就不在模型。真正的失敗在於:一項攸關顧客財務生活的重大決策,一般人除了公開讓對方難堪之外,無法透過任何管道獲得解釋、提出質疑或進行申訴。依此解讀,這些額度在統計上是否公平,幾乎已無關緊要。

A.6  監理機關的答案

在歷時約十六個月的調查後,紐約州金融服務署於 2021 年 3 月公布調查結果。其結論是,該署依公平放貸法規未發現基於性別的違法歧視證據。授信審核模型並未使用性別。該署檢視的差異,可由模型有權考量的個人信用特徵加以解釋。

報告內容不止於此。該署批評了消費者體驗——流程的不透明,以及顧客無法取得有意義的解釋——並藉此事件提出更廣泛的論點:信用決策日益仰賴一些推理過程對受影響者而言並不可見的模型,而僅憑合法的結論,並不足以使這類系統值得信賴。實際上,監理機關洗清了銀行被指控的罪名,接著又提出了另一項指控。

為什麼這是本個案的難處

大多數企業倫理個案都以不當行為的認定作結,分析可以圍繞它來建構。本個案並非如此。如果你想主張高盛行為不當,就必須在不宣稱其違法的前提下論證,因為就現有紀錄而言,它並未違法。如果你想主張其行為可以接受,就必須說明:一項無法向受影響者解釋的合法決策,為何是可以接受的。兩種立場都可以採取,但都不是毫無代價。

A.7  後續發展

Part B — 附表(Exhibits)

你可以在報告中重製這些 Exhibit,但必須以自己的分析加以延伸。原封不動抄錄不會獲得任何分析分數。

Exhibit 1 — 時間軸

日期事件對分析的重要性
2019 年 3 月Apple Card 宣布推出;行銷標語為「created by Apple, not a bank(由 Apple 打造,而非銀行)」。確立了品牌與決策者之間的落差,這正是課責問題的根源。
2019 年 8 月Apple Card 在美國上市。沒有聯名帳戶、沒有共同簽署人;僅進行個人評估。造成此結果的設計決策——在任何爭議發生之前就已作成,其理由從未在公開場合被視為合乎倫理或不合倫理。
2019 年 11 月初開發者發文表示,儘管妻子信用分數較高且兩人合併報稅,他的額度仍約為妻子的 20 倍。導火線。請注意,抱怨針對的是輸出,而非輸入。
2019 年 11 月據報第一線人員無法解釋決策;「這只是演算法決定的」。一句話同時呈現了溝通失敗(Ch. 14)與工作設計失敗(Ch. 12)。
2019 年 11 月Apple 共同創辦人表示自家的比例約為 10 倍。透過接近性(proximity)與消息來源的可信度提升了議題強度——而不是透過新證據。
2019 年 11 月 9 日紐約州 DFS 宣布展開調查。環境中的法律/政治構面開始發揮作用(Ch. 3)。
2019 年 11 月高盛表示性別並非輸入項目;提供應要求重新評估。典型的社會回應(social responsiveness)——短期、務實、由能見度所觸發(Exhibit 6.2)。
2021 年 3 月DFS 報告未發現違法性別歧視的證據;批評透明度與消費者體驗。排除了簡單的定論。倫理分析必須在沒有它的情況下仍然成立。
2021 年推出共用 Apple Card 帳戶。結構性補救——確實可行,但要到聲譽受損之後才提供。
2024 年CFPB 因 Apple Card 的帳戶服務與爭議處理,對 Apple 與高盛採取執法行動。2021 年的非法律批評後來成為法律認定。引用前請查證。

Exhibit 2 — 利害關係人(stakeholder)清單(僅為起點)

此清單刻意不完整且未排序。Q3 要求你補上遺漏的利害關係人、評估其權力與正當性,並加以排序。

利害關係人利害所在影響結果的權力事件對其的結局
獲得低額度的申請人取得信用的機會;其財務狀況被評判為不足的暗示,卻沒有任何理由。個別而言幾乎沒有。可申請重新評估——前提是知道可以提出。
兩對公開案例的夫妻與其他人相同的利害,外加一個公開平台。非常高——龐大受眾與媒體可信度。很快獲得重新評估;引發監理調查。
Goldman Sachs Bank USA監理地位、消費金融策略、作為零售銀行業新進者的聲譽。完全掌控決策系統。公平放貸方面經認定無違規;透明度遭批評;後來在帳戶服務方面遭到執法。
Apple建立在顧客信任與隱私之上的品牌權益(brand equity)——其最寶貴的無形資產。商業上很高;對信用決策則完全沒有。在公開回應中大致缺席;但品牌仍承受了損害。
第一線客服人員能否做好自己的工作,以及能否帶著答案面對顧客。沒有——被要求為自己看不見的決策辯護。成為一場非其造成之失敗的公眾面孔。
授信審核/資料科學團隊專業判斷;是否有人問過他們,模型會對不同群體造成什麼影響。設計階段很高;之後隱而不見。未公開具名,也未對外發聲。
紐約州 DFS消費者保護;本身作為演算法放貸監理者的公信力。正式調查職權。未發現違規;提出當時無法強制執行的批評。
從未抱怨的顧客相同的待遇,卻沒有補救。沒有。未知——而這正是重點所在。
其他產業的未來申請人「系統決定的」是否會在其他領域成為可接受的答案。沒有;不在場。承接了這個先例。

Exhibit 3 — 三種相互競爭的診斷

診斷核心主張若正確會帶來什麼最有力的反對意見
合規就夠了
沒有任何地方出錯
法律禁止使用性別;模型並未使用;監理機關也證實了這一點。兩則軼事不構成模式。 無須提供補救。正確的回應是改善溝通,而不是換一個模型。 這使倫理問題等同於法律問題——而 Ch. 6 存在的目的,正是要抗拒這種做法。
中性規則,不平等的輸入
結構性
對歷史上不平等的信用紀錄適用同一套一致的規則,會複製紀錄中的不平等。 公司應進行結果測試,而不只是排除輸入——甚至可能需要重新設計產品。 替代方案——依配偶的財務狀況評估個人——也有其受害者,包括需要獨立於伴侶之外取得信用的任何人。
無從得到答案
程序性
缺陷在於缺乏解釋、質疑與申訴的機制——而不在於額度的分配。 解方在於治理:可解釋性要求、申訴管道、賦予員工職權。無論模型是否公平,這都行得通。 這可能過於安逸:它讓公司避開了實質問題,即這些結果究竟是否站得住腳。

Exhibit 4 — 不平等結果如何在沒有被禁止輸入的情況下產生

學生經常把這三者混為一談,統稱為「演算法有偏誤」。它們是不同的機制,證據要求、法律地位與補救方式都不同。你的分析必須說明自己指控的是哪一種。

機制發生了什麼法律地位(美國信用領域)如何修正
1. 直接使用
差別待遇(disparate treatment)
受保護屬性是輸入項目,且會影響結果。 明確禁止。本案並未如此指控,監理機關也未發現相關證據。 移除該輸入。(已是如此。)
2. 代理變數 獲准使用的輸入與受保護屬性高度相關,並成為其替代指標。 具爭議且須視具體事實而定;若中性做法產生業務必要性無法正當化的不成比例影響,則可能違法。 依群體檢驗輸出;找出有問題的輸入,並予以正當化或移除。
3. 相同規則,不平等的歷史 輸入確實相關且衡量正確——但各群體帶著不同的歷史而來,因此相同的待遇會產生不同的結果。 一般而言合法。這是與本案公開紀錄最相符的機制。 無法在模型內部修正。需要改變產品(例如聯名帳戶),或就誰應承擔歷史劣勢作出政策選擇。

本 Exhibit 描述這些機制是為了管理分析之用,並非法律意見,且公平放貸法規因司法管轄區而異。如果你的論點仰賴某項法律結論,請引用其來源。

Exhibit 5 — 關鍵數字

~20× / ~10×

兩對公開案例夫妻所稱的信用額度倍數——當事人自述,從未經查核

~16 個月

從 DFS 展開調查到公布調查結果

0

監理機關認定違法性別歧視的次數

~18 個月

從上市到推出共用帳戶——這項結構性補救

資料提醒。這些倍數是當事人的指控,不是衡量結果。請勿據此建立量化論證。本個案最有力的數字是時間長度——回答這個問題花了多久,以及推出修正花了多久。

Part C — 作業說明

C.1  本個案如何滿足課綱要求

要求課綱文字你在本個案中如何達成
(1)選擇一個真實的組織或產業個案,並運用本課程涵蓋的架構加以分析。Goldman Sachs Bank USA 與 Apple 都是真實且有文獻記錄的組織,並有公開的監理紀錄。在 Q6–Q9 中應用 Ch. 7–18 的架構——至少包括溝通(Ch. 14)與控制(Ch. 18)。
(2)納入明確的企業倫理與社會責任分析:指認倫理議題、繪製利害關係人圖、依倫理判準(ethical criteria)與企業社會責任(CSR)期待評估行為(Ch. 6)。Q2、Q3、Q4 與 Q5 為必答,占分比重最大。報告第 3 節的標題必須為「Ethics and Social Responsibility Analysis(倫理與社會責任分析)」。
(3)以建議的行動方案及支持該方案的理由作結。Q10——分為兩部分:2019 年 11 月的回應,以及面向未來的自動化決策設計。
(4)以英文撰寫書面報告並進行口頭報告。Part G 提供術語與簡報語言支援。

C.2  第一個決定:你要分析哪一個組織?

如同個案 01,弱的報告就是在這裡失敗。本案涉及兩家公司,它們的角色、權力與義務完全不同。請在第一段就說明你的分析單位(unit of analysis),並在全文維持一致。請選擇其一:

(a) Goldman Sachs Bank USA

受監理的發卡機構,建置了模型並作出每一項決策。這是最站得住腳的選擇,義務也最明確。

(b) Apple

擁有品牌、行銷、介面與顧客關係——卻沒有任何決策權。最適合探討有責任而無職權,以及 Ch. 9 的品牌策略。

(c) 將合作關係視為一個單位

將兩家公司視為中間分工的單一系統。最適合 Ch. 11 的組織結構——但你必須精確界定邊界,否則分析會變得模糊。

(d) 將演算法消費放貸視為一個產業

最具企圖心的選項。需要此單一事件以外的證據;除非你真的會蒐集這些證據,否則不要選擇。

無論你選哪一個,其他組織都以利害關係人的身分出現,而不是分析主體。

C.3  四個應避免的陷阱

Part D — 分析問題

標示 必答 的問題,每一組都必須回答——它們落實了課綱要求 (2) 與 (3)。在標示 選答 的問題中,至少回答三題,其中至少一題須來自 Ch. 14/Ch. 18 這一組。

Q1

背景脈絡與分析單位 必答

界定你所分析的組織(見 C.2),並描述其 2019 年的外部環境(external environment)。哪些環境構面施加了最大的壓力?請特別注意其中兩項:社會文化構面(公眾高度關注演算法公平性的時期)以及法律/政治構面(為人工授信審核人員而制定的既有公平放貸制度)。接著以 Ch. 3 的構面描繪你所選公司的組織文化(organizational culture),並說明在某一領域強大的文化——工程卓越,或設計與保密——如何能同時在此事件所要求的能力上是薄弱的。

架構:Ch. 3 外部環境構面;環境不確定性;組織文化的構面;強文化與弱文化。

Q2

指認倫理議題並排序 必答

至少指認四項不同的倫理議題,並將每一項陳述為特定行為者所面臨的決策。可選項目包括但不限於:在沒有聯名帳戶功能的情況下推出消費信用產品;將銀行產品行銷為「not a bank(不是銀行)」;部署一套員工無法解釋其輸出的決策系統;僅向提出抱怨的顧客提供補救;以關於輸入的聲明回答關於輸出的指控;以及一家公司接受品牌利益,而另一家公司吸收監理義務。

接著運用議題強度的六項決定因素(Exhibit 6.7)加以排序。以表格呈現排序,每項因素附一行理由。本個案藏有一項特定的分析收穫,優秀的報告會找到它:誠實衡量此事件的議題強度,你會發現它在數項因素上偏低——每人的財務傷害不大、後果並不立即,而且對於是否確有過錯的共識也確實存在爭議。然而外界的反應卻極為強烈。請找出驅動這種反應的因素,並明確說明它是 Exhibit 6.7 的六項因素之一,還是該架構所未包含的東西。如果架構缺少了什麼,請說明缺了什麼,以及管理者應該如何因應。

架構:Exhibit 6.7 議題強度;倫理困境的定義;架構的侷限。

Q3

繪製利害關係人圖 必答

延伸 Exhibit 2。針對每位利害關係人,記錄其利害所在、影響結果的權力、其主張的正當性、其利益是否有人代表,以及事件對其的結局。接著回答三個更難的問題:

架構:利害關係人的辨識與優先排序;權力–正當性–急迫性;Ch. 6 中超越股東的 CSR 期待。

Q4

依倫理判準與 CSR 期待評估行為 必答

本題分為三部分,全部必答。

(a) 應用倫理判準測試(ethics tests)。取 Exhibit 6.4 中的五項測試,應用於三項決策:(i) 在沒有聯名帳戶的情況下上市,(ii) 告訴顧客性別並非輸入項目,以及 (iii) 僅應要求提供重新評估。呈現一個 3×5 矩陣,每格附上判定結果。請注意,頭版測試(Front Page test)在本個案中很特別:它不是思想實驗,而是真的發生了。請善用這一點。那些在真實頭版測試中失敗的決策,是否事先就已無法通過——如果是,為何在上市前沒有人做這項測試?

(b) 分類 CSR 姿態。將你所選組織的行為歸類為社會義務(social obligation)、社會回應(social responsiveness)或社會責任(social responsibility),並以時間軸上的證據佐證。將 Exhibit 6.2 應用於 2019 年 11 月的回應:是倫理的還是務實的?是目的還是手段?是長期還是短期?接著另外應用於 2021 年推出的共用帳戶,並說明為何同一家公司在相隔十八個月後可以落在不同類別。

(c) 古典觀點與社會經濟觀點。「我們遵守了法律,監理機關也同意,我們的義務到此為止」是一個前後一致、具有悠久思想傳統的立場。請以古典觀點(classical view)與 Exhibit 6.1,用最有力的形式陳述它。接著陳述社會經濟觀點(socioeconomic view)的回應。最後表明立場:如果合規不足以作為倫理標準,那麼標準是什麼?由誰來訂定?只批評合規、卻未提出可行替代方案的答案,不算完成。

架構:Exhibit 6.4 倫理判準測試;Exhibit 6.2 責任與回應;Exhibit 6.1;古典與社會經濟觀點。

Q5

解釋行為:一個謹慎的組織怎麼會這樣做? 必答

運用 Exhibit 6.5 解釋行為,而不只是評判行為。這兩家公司都不是粗心的組織;兩者都以各自領域的嚴謹著稱。請逐項探討這些決定因素:

架構:Exhibit 6.5 決定因素;Exhibit 6.6 道德發展階段;價值觀、自我強度、內外控傾向;倫理守則與獨立社會稽核。

Q6

溝通:造成傷害的那句話 選答

請從三個層次將此分析為溝通失敗(Ch. 14)。向下:第一線人員需要知道哪些他們未獲告知的事,組織又假定他們會怎麼說?向上:客服在這項抱怨公開之前就已聽到——要有什麼條件成立,這個訊號才能傳達給有能力處理的人?請指出當時發揮作用的向上溝通障礙。對外:將 2019 年 11 月的公開聲明視為危機溝通加以評估——它準確、迅速,卻不成功。請說明這三者如何同時成立,並說明更好的聲明會怎麼說,同時又不會對公司認為不實的法律主張作出讓步。

架構:Ch. 14 溝通流程、障礙、流向、非正式網絡;危機溝通;Ch. 12 工作設計與員工賦權。

Q7

控制:什麼本該發現這個問題,又該在何時發現 選答

應用三種控制類型(Ch. 18)。事前控制(Feedforward):上市前應進行哪些測試——跨群體的結果測試、可解釋性要求、「客服人員答得出來嗎?」的把關關卡——各自的成本是多少?事中控制(Concurrent):公司自第一天起就持續掌握結果資料。什麼樣的監控能在顧客察覺前數個月就偵測到額度分布的模式?為什麼很可能根本沒有人在看?事後控制(Feedback):請依照設計良好的控制系統之標準,評估「應要求重新評估」這項矯正行動:及時性、涵蓋範圍、判準,以及誰有權觸發。

接著是更難的問題。Ch. 6 討論獨立社會稽核,作為依組織自身標準檢核行為的機制。請設計演算法版本的對應機制:由誰執行、他們能取得哪些資料、向誰報告,以及發現問題時會怎麼處理?請具體說明利益衝突,因為受稽核的公司要支付稽核費用——這與財務審計中出現的問題相同。

架構:Ch. 18 控制流程與事前/事中/事後控制;矯正行動;Ch. 6 獨立社會稽核。

Q8

結構:跨越組織邊界的責任 選答

一家公司握有品牌、介面與顧客關係;另一家握有執照、模型、風險與法律義務。請運用 Ch. 11 的概念——職權(authority)、責任(responsibility)、課責(accountability)以及指揮鏈(chain of command)——描述這項安排,並說明當指揮鏈終止於顧客看不見的公司邊界時,會發生什麼事。

接著根據你的結構分析,評估「created by Apple, not a bank」這句行銷標語。它是對使用者體驗的準確描述、對決策過程的誤導描述,還是兩者皆是?最後:設計這項合作關係本該具備的治理機制。誰有職權叫停上市?誰負責回應顧客?一方建置模型、另一方的顧客親身體驗其結果,這樣的決策應由誰向監理機關負起課責?

架構:Ch. 11 職權、責任、課責、指揮鏈、無邊界組織;Ch. 9 品牌作為策略資產。

Q9

決策與例外路徑 選答

信用額度核定是程式化決策(programmed decision)的教科書範例:重複、大量、可由規則解決。將其自動化顯然是正確的。請運用 Ch. 2,說明當程式化決策系統遇到真正非程式化的個案——顧客的情況不在規則涵蓋範圍內——而組織中任何地方都沒有人有職權作決定時,會發生什麼事。

接著指認此事件中可見的決策偏誤,並列出可作為證據的行為。至少考慮:內部回應早期抱怨時的確認偏誤(confirmation bias)、抱怨一旦冠上名人的名字就被認真看待所反映的可得性偏誤(availability bias),以及假定排除某變數就能保證結果公平的過度自信(overconfidence)。最後與個案 01 比較作結:兩個組織都將規則自動化,卻沒有留下處理例外的正當途徑。這是同一種失敗,還是兩種不同的失敗?

架構:Ch. 2 程式化與非程式化決策、結構化與非結構化問題、決策偏誤;Ch. 11 職權授予。

Q10

你的建議 必答

(a) 2019 年 11 月的回應。假設你的團隊在 2019 年 11 月 10 日身處決策現場。指控已經公開,監理機關已宣布調查,而你相信——事後證明這是正確的——模型並未使用性別,你們也沒有違法。請建議應採取的回應。你的建議必須說明:決策準則及其權重;合作關係中由誰作此決定、誰必須簽核;公開時要說什麼,而且用的是你願意被引述的措辭;要向顧客提供什麼、提供給哪些顧客;成本多少、由誰負擔;反對你立場的最有力論點,先公允陳述再加以回應;以及在什麼條件下你會改變做法。請注意真正的限制——承認歧視的道歉既不實,在法律上也有害,因此「道歉」本身並不是答案。

(b) 面向未來的設計。設計你在部署任何會對顧客造成重大影響的自動化決策之前所要求的治理機制。至少處理:以「必須能告訴顧客什麼」來表述的可解釋性標準;跨群體的結果測試,包括由誰執行、誰能看到結果;不取決於顧客是否擁有受眾的申訴管道;第一線人員所需的職權,以及他們獲准說什麼;有權阻止上市的上市前關卡,以及由誰掌握此權力;以及讓認為系統產生無法正當化結果的員工可使用的受保護管道。針對每項要素,指出它所落實的 Ch. 6 機制,以及它本可防止本個案中哪一項具體失敗。接著說明其成本——可解釋性會限制模型選擇,而結果測試會發現你隨後必須修正的問題。

(c) 可移轉性。用一段話回答:你在 (b) 中的建議適用於信用領域。請說明它是否也應適用於招募、保險定價、大學招生或醫療檢傷的自動化決策——如果答案因領域而異,請說明差異何在。「視情況而定」只有在你說明視什麼情況時才可接受。

架構:Ch. 2 決策流程;Ch. 6 倫理守則、倫理訓練、獨立社會稽核、保護提出疑慮的員工;Ch. 18 控制設計;Ch. 14 危機溝通。

選做延伸題(給想挑戰更難問題的組別)

Part E — 繳交項目

書面報告

  • 長度:本文 3,000–4,000 字(words,約 10–14 頁),不含封面、Exhibit 與參考文獻。
  • 語言:全文使用英文。
  • 格式:A4、12 pt、1.5 倍行距,頁碼與章節標題都要編號。
  • 引用:每一項事實陳述與每個數字都須標明來源。引用格式須一致(建議 APA 第 7 版)。參考文獻清單為必備項目。
  • 貢獻聲明:一張簡短表格,列出各成員主導的章節,並由全體成員簽名。

規定結構

  1. 執行摘要(最多 250 字,最後撰寫)
  2. 個案背景與分析單位(Q1)
  3. 倫理與社會責任分析(Q2–Q5)— 篇幅最大的部分
  4. 管理分析(從 Q6–Q9 中選擇的三題)
  5. 建議與理由(Q10)
  6. 研究限制,以及什麼會改變我們的答案
  7. 參考文獻 · 附錄 · 貢獻聲明

口頭報告

  • 時間:簡報 15 分鐘 + Q&A 5 分鐘(以課堂確認為準)。
  • 參與:每位組員都要負責有份量的報告段落。
  • 投影片:最多 15 張。任何只有一段文字的投影片都會被扣分。
  • 語言:全程使用英文,包括 Q&A。照稿朗讀不算簡報——請使用提示筆記。

建議時間分配

  • 2 分鐘 — 用一句話說明兩難,並一開始就提出你的建議
  • 2 分鐘 — 個案事實,包括監理機關的結論(不要把它埋起來)
  • 6 分鐘 — 倫理與利害關係人分析(你的核心內容)
  • 3 分鐘 — 管理分析:溝通與控制
  • 2 分鐘 — 建議、成本,以及最有力的反論

請準備這三個問題——一定會被問到:監理機關沒有發現違規,那你們究竟在指控什麼?誰來為你們的建議買單?你們會把同樣的標準用在對自己有利的系統上嗎?

資料來源與學術誠信

Part F — 評分規準

總分 100 分,對應課綱的四項要求。期末小組報告占課程成績的 30%。

配分評分項目優秀不佳
15 個案理解與問題界定
要求 (1) · Q1
明確宣告分析單位並維持一致;準確且及早陳述監理機關的結論;明確區分 Exhibit 4 的三種機制;技術說明簡短,且僅在與論證相關時才提及。 在 Apple 與高盛之間游移;將歧視斷言為既定事實;長篇機器學習教學;將軼事當成資料。
30 倫理與 CSR 分析
要求 (2) · Q2、Q4、Q5
指認並排序四項以上議題;找出並解釋經衡量的議題強度與實際反應之間的落差;將 Exhibit 6.4 應用於多項決策,並給出誠實、相互衝突的判定;在回應古典立場之前先以其最強形式陳述。 只列出架構名稱而未應用;以道德評判取代分析;對合規論點加以否定而非認真回應;所有測試都恰好得出一致結論。
15 利害關係人圖
要求 (2) · Q3
超越所提供的 Exhibit;區分權力與正當性;同時為從未抱怨的顧客與第一線人員定位並加以分析;正面處理 Apple 的義務。 僅略作修改地重製 Exhibit 2;只討論兩對知名夫妻;將員工視為罪魁禍首而非利害關係人。
15 管理架構
要求 (1) · Q6–Q9
至少應用三個 Ch. 7–18 的架構,產生僅憑事實無法得出的洞見;在架構力有未逮之處承認其侷限。 架構只是報告的裝飾而非分析動力;定義抄自投影片;即使沒有架構,結論也完全相同。
15 建議與理由
要求 (3) · Q10
具體且可執行;在公司未違法的限制下仍然成立;列明成本並分配;實際擬出公開用語;回應最有力的反論;提出修正的條件。 含糊(「要更透明」);毫無成本;建議為公司沒有做過的事道歉;面向未來的設計未連結到個案中的任何失敗。
10 英文溝通
要求 (4) · 書面報告 + 口頭簡報
英文清楚、組織良好;正確使用管理與信用術語;以口述方式(而非朗讀)進行簡報,全體成員皆有貢獻;沉著應對 Q&A。 語言錯誤使意思模糊;術語誤用;照著投影片朗讀;由一位成員撐起整場簡報;迴避 Q&A。

關於語言流暢度的說明:本課程是 EMI 管理課程,不是語言考試。不妨礙理解的文法錯誤不會扣分。誤用管理概念會被扣分,因為那是內容錯誤。誤用法律用語亦然:想說「unequal outcome(不平等結果)」卻寫成「discrimination(歧視)」,是內容錯誤,不是語言錯誤。

Part G — EMI 工具包(EMI Toolkit)

以英文撰寫及報告本個案所需的術語與語言支援。

G.1  關鍵術語(Key terms)

術語在本個案中的意義
Issuer(發卡機構)實際授予信用、承擔風險並持有金融監理執照的銀行。在此為 Goldman Sachs Bank USA——不是 Apple。
Underwriting(授信審核)評估申請人信用狀況,並決定是否放貸及放貸金額的過程。
Credit limit(信用額度)持卡人可持有的最高餘額。本個案的核心數字。
Protected attribute(受保護屬性)法律禁止作為信用決策依據的特徵(性別、種族、宗教、年齡、婚姻狀況)。
Disparate treatment(差別待遇)因為受保護屬性而給予較不利的待遇。須該屬性確實影響決策。本案未獲認定。
Disparate impact(差別影響)表面中立的做法對受保護群體造成不成比例的影響。即使沒有意圖也可能遭到質疑——這就是「我們從未使用性別」無法終結爭論的原因。
Proxy variable(代理變數)獲准使用的輸入與受保護屬性高度相關,實際上成為其替代指標。
Adverse action notice(不利行動通知)貸款機構作出不利信用決策時必須提供的通知,須載明具體的主要理由。請注意法律內建的假設:理由存在,而且可以說明。
Explainability(可解釋性)能夠以受影響者可以理解並提出質疑的方式,說明系統為何產生特定結果。有別於透明度(transparency),後者關乎揭露系統的存在或設計。
Black box(黑箱)輸入與輸出可以觀察、但內部推理無法檢視的系統——有時連操作者自己都無法檢視。
Appeal path / redress(申訴管道/補救)受影響者得以質疑決策並獲得補救的途徑。依某種解讀,缺少這一途徑就是本個案的全部。
Joint account / co-signer(聯名帳戶/共同簽署人)讓兩人共同接受評估並共同承擔責任的安排。本產品上市時並未提供。
Compliance(合規)符合法律的要求。請特別注意:合規認定回答的是法律問題,而非倫理問題。將這兩者混為一談,是本個案中最常見的錯誤。
Enforcement action(執法行動)監理機關施加罰則或要求改正的正式步驟。有別於報告或調查結論,後者可能帶有批評但不具法律後果。
Fiduciary duty(受託義務)為另一方利益行事的法律義務。信用卡發卡機構對申請人一般不負有此義務——值得說明,因為學生常有相反的假設。
Remediation(補救措施)修復已造成的傷害,有別於修正未來的流程。完整的建議應兼顧兩者。

G.2  簡報實用語句(Useful language for the presentation)

精確陳述指控(Being precise about the allegation)

  • “The regulator found no unlawful discrimination. Our argument is not that the law was broken.”(監理機關並未發現違法歧視。我們的論點並不是說有人違法。)
  • “We are alleging an unequal outcome, not a prohibited input.”(我們指控的是不平等結果,而不是被禁止的輸入。)
  • “This is a question of disparate impact, not disparate treatment.”(這是差別影響的問題,不是差別待遇的問題。)
  • “Compliance was achieved. Our claim is that compliance was not sufficient, and here is why.”(合規已經達成。我們的主張是合規並不足夠,理由如下。)

先讓步,再回應(Conceding, then answering)

  • “The strongest version of the company’s position is… We accept that much. Where we differ is…”(公司立場最有力的版本是……這一點我們接受。我們的分歧在於……)
  • “It is true that two anecdotes are not evidence of a pattern. Our argument does not rest on them.”(兩則軼事確實不足以證明存在某種模式。我們的論點並不依賴它們。)
  • “We accept this imposes a real cost. We think it is justified because…”(我們承認這會帶來真實的成本。我們認為這是值得的,因為……)

應對提問(Handling questions)

  • “Let me separate the legal question from the ethical one.”(讓我把法律問題和倫理問題分開來談。)
  • “Do you mean the November 2019 response, or the governance we propose?”(您指的是 2019 年 11 月的回應,還是我們提出的治理機制?)
  • “We don’t have evidence on the outcome distribution, so we would not want to speculate about it.”(我們沒有關於結果分布的證據,所以不想對此妄加推測。)

請避免這些說法(Avoid these)

  • “The algorithm was sexist.”(這個演算法有性別歧視。)— 把監理機關並未認定的事當成事實陳述
  • “AI is biased.”(AI 有偏誤。)— 過於籠統,無法分析;請說明是 Exhibit 4 的哪一種機制
  • “They should be more transparent.”(他們應該更透明。)— 這不是建議;請說明必須能告訴顧客什麼、由誰告知、何時告知

Part H — 資料來源與延伸閱讀

一手資料(從這裡開始)

課程教材

二手資料

關於演算法公平性、可解釋 AI 與公平放貸,已有大量學術與政策文獻。請在圖書館資料庫中搜尋 (“algorithmic fairness” OR “explainable AI”) AND (credit OR lending),並另外搜尋 “disparate impact” AND algorithm。請用這些文獻建立 Exhibit 4 的概念架構;至於這兩家公司實際作為的每項事實,請回到一手資料。

關於本文件事實內容的說明。本個案彙整廣泛報導的紀錄。其中幾項內容——後來的執法行動、Apple–高盛合作關係的現況,以及監理機關結論的確切措辭——在引用前應與一手資料核對,有些仍在發展中。請查證你使用的每個數字與法律定性,若存在分歧也請如實報告。請勿在報告中將本個案文件本身引用為事實的來源。