不顧新產品帶來風險更關注利潤，FB谷歌Zoom都是「壞傢伙」？

編者按：本文來自騰訊科技，審校：金鹿 ，36氪經授權發佈。

2014年春季的某日，蘇珊‧貝內什(Susan Benesch)來到位於門洛帕克(Menlo Park)的Facebook總部，被領進一間有玻璃牆的會議室。她從華盛頓特區趕來與Facebook內部所謂的「同情研究團隊」（Compassion Research Team）會面，該團隊包括員工、學者和研究人員，他們的工作是開發工具，幫助用戶直接解決衝突，減少Facebook的干預需求。

貝內什是一名人權律師、哈佛大學助教，同時也是非營利組織「危險演講項目」(Dangge Speech Project)的創始人，該項目旨在研究網絡言論與現實世界暴力之間的聯繫。貝內什與同情研究團隊密切合作，並利用這次會議提出了她所關注的一個嚴肅問題，即通過Facebook進行協調的人權暴力問題。

為瞭解決這個問題，Facebook開始直接與人權活動家合作，標記危險內容。該公也司做出了一些改變，比如將Facebook的社區標準翻譯成多國語言，並建立了一個快速提供報告的渠道。但貝內什和人權活動人士表示，這些變化力度相對較小，對阻止暴力浪潮幾乎沒有什麼作用。

現在，社交媒體處理這些司空見慣的問題已經成為例行公事：Facebook、Snapchat或Zoom等科技公司在沒有完全預料到濫用可能性的情況下推出了一項新產品或服務。然後是道歉，並發誓「要做得更好」。這是一個持續數十年的洗滌-漂洗的重複循環。

2003年，Facebook創始人馬克‧扎克伯格(Mark Zuckerberg)在未經同意的情況下，收集了許多哈佛同學的照片，並將它們放到Facemash.com上。Facemash.com是Facebook的前身，該網站邀請學生們對同學進行「熱門與否」排名。之後，扎克伯格對許多哈佛同學說：「我希望你們能理解，這不是我的本意，對於疏於考慮這個網站的傳播速度而造成的任何傷害，我深表歉意。」

Twitter聯合創始人伊夫‧威廉姆斯（Ev Williams）曾在2008年10月至2010年10月期間擔任該公司首席執行官，他在2017年接受採訪時表示：「我認為，當每個人都能自由發言、交流信息和思想的時候，世界就會自然而然地變得更美好。然而我錯了。」許多媒體報導了Twitter上存在的暴力、騷擾和假新聞，並暗示該平台可能幫助唐納德‧特朗普（Donald Trump）贏得了總統大選。

2020年4月，在新冠疫情爆發最嚴重的時候，當」互聯網巨魔「用騷擾內容攻擊視頻通話時，視頻會議應用開發商Zoom首席執行官袁征也為「我們沒有預料到的挑戰」道歉。

未能正確計算風險是過去十年大多數備受矚目的科技災難爆發的核心。批評人士說，這個問題是該行業普遍存在的問題。微軟首席研究員、康奈爾大學兼職副教授塔爾頓‧吉萊斯皮(Tarleton Gillesbie)表示：「任何類別的有害內容都不屬於例外，而是在平台上普遍存在。」

互聯網上的「危害狀況」及其與風險的直接關係是結構性的。科技行業，從風險資本家到工程師再到創造性的遠見卓識者，以其富有活力的狂野西部個人主義精神、傲慢的冒險行為和持久的同質化而聞名。這在某種程度上可能是該行業由白人和男性佔主導地位的直接結果。

二十多年來，研究發現，在美國有一群特定的男性，主要是白人，地位較高，對個人效能有強烈的信念，他們傾向於以更快的速度接受新技術，同時將潛在威脅降至最低，研究人員將這種現象稱為「白人-男性效應」，這是一種保護地位的認知形式。用一項研究的措辭來形容，這些發現揭示了「在協調風險的理性監管和民主決策方面面臨的一系列新的實踐和道德挑戰」。

風險評估也經常被忽視，因為公司更傾向於獲取利潤。Decision Research的聯合創始人、風險評估領域的先驅保羅‧斯洛維奇(Paul Slovic)稱：「在決策制定過程中，人們的注意力變得集中在利潤上，而不是人類福利和人道主義社會問題上。這可能會導致某些政策會在不經意間造成傷害。」

「快速行動，打破陳規」有後遺症？

根據對30多名科技行業專家、內部人士和研究人員的採訪，這些公司以及包括谷歌、YouTube、Lime和Zoom在內的更多公司，多數時候未能充分評估其產品帶來的風險。尤其是Facebook，該公司繼續成為頭條新聞，最近是關於國家行為者涉嫌出於政治目的濫用該平台。今年夏天發生的一起大規模高調黑客攻擊事件，突顯出Twitter也在努力應對風險。歷史上以降低風險為使命的安全功能開發仍然是孤立的狹隘技術，對大約50年內的決策科學研究一無所知或不屑一顧。

相反，許多科技公司仍然會造成傷害，並在事後道歉。多位消息人士將這一動態歸因於「快速行動，打破陳規」（move fast and break things）的後遺症。曾在2014年至2018年擔任雅虎和Facebook高級安全主管的亞歷克斯‧斯塔莫斯(Alex Stamos)說：「當你在這些公司工作時，你會不斷地遇到緊急情況。我想不出有什麼辦法可以讓我坐下來，積極主動地做些事情。」

每天關於安全漏洞、監控風險、武器化數據、選民操縱、虛假信息、算法偏差、陰謀論、仇恨和騷擾的故事層出不窮，證明可能的失敗數量似乎無窮無盡，而且種類繁多。已經融入我們日常生活的物聯網充滿了更多的安全風險：從匆忙設計和發佈的、與投票相關的應用程序，到對危險的電子煙、自動駕駛汽車、智能手機爆炸的擔憂，以及理應是革命性的血液測試，但公司經常發佈未經測試、未經驗證、不受監管的產品，有時還會發佈欺詐性產品。

識別風險不僅僅是個技術問題。簡而言之，風險評估是指個人或機構為決定什麼是可接受的風險而採取的任何行動。重要的是誰在房間裡識別可接受的風險，並採取行動應對。這具有政治意義，且風險超高。而且，據該領域的專業人士稱，這種說法被嚴重誤解了。

「風險」和「威脅」這類術語經常被混為一談。風險評估專業人士斯洛維奇說：「風險這個詞的措辭是模糊而令人困惑的。我們用『風險』這個詞來表達不同的意思，通常是從一句話到另一句話，而我們並沒有意識到這一點。」威脅通常被理解為已知的可能性，可以是自然的龍捲風、無意中的編碼器錯誤或故意的恐怖襲擊。從歷史上看，威脅一直是安全團隊的核心。

另一方面，風險可以理解為發生壞事並影響整個組織的可能性。Altitude Networks聯合創始人兼首席執行官、Twitter前首席信息安全官、Mozilla前安全主管邁克爾‧科茨(Michael Coates)說：「風險管理著眼於組織面臨的所有風險的宏觀層面。」

隨著2020年總統大選的臨近，科技行業出現問題的風險是有形的、迫在眉睫的。9月中旬，Facebook數據科學家索菲‧張(Sophie Zhang)撰寫的一份內部文件被洩露給媒體。她在一份離職備忘錄中寫道：「我發現外國政府多次公然企圖大規模濫用我們的平台，誤導本國公民。」她還將Facebook描述為優先考慮商業利益而不是「現實世界問題」的公司。

雖然索菲本人並不是Facebook「公民誠信」團隊的一員，但她的工作經常暴露出公民誠信風險，但卻被降級為在「業餘時間」進行的寵兒項目的地位。她寫道，相對於垃圾郵件，「由於體量小，公民誠信風險被忽視了，它不成比例的影響被忽略了。」她謹慎地指出，並無故意的惡意。相反，她說，「草率和偶然的事故」比比皆是。考慮到這種高風險，她的觀察令人擔憂，但並不令人感到驚訝。

調查人員採訪了大量學者、活動人士以及谷歌、微軟、Twitter、Uber和YouTube等大型科技公司的現任和前任員工，以瞭解他們的公司是如何應對風險的。他們在Facebook總部逗留了一段時間，並與該公司的高層管理人員進行了廣泛的面對面討論，並通過電子郵件進行了討論。

Facebook披露了有關該公司如何應對風險的重大細節，但該公司願意回答問題並不是常態。正如YouTube的一位發言人所說，除了說他們正在「持續監測新的威脅」之外，很少有公司描述了識別和評估風險的具體或正式的過程。Twitter和谷歌等公司在其網站上提供了降低風險的概括性承諾聲明或公共通信鏈接。調查人員還聯繫了最近遇到高調問題的其他公司，包括Zoom和Snapchat。這些公司的發言人提供了公開可用的政策文件和博客帖子。

在採訪中，行業高管、技術專家和安全專家們說：「你不可能知道不該知道的東西。」在傷害發生之前，他們對旨在識別可接受風險的決策過程幾乎沒有閉口不談。 雖然不是所有的風險都是已知的，新技術造成的風險往往是史無前例的，但風險和決策的科學是由半個世紀的研究支持的。核電、銀行、環境、食品、汽車、航空航天和醫療行業都有正式的流程，用於在發佈新產品或服務之前評估潛在風險。硅谷最傑出的公司應該獲得通行證嗎？

加州大學洛杉磯分校「關鍵互聯網調查中心」聯合創始人、《壓迫的算法》(Algorithms Of Compression)一書作者薩菲亞‧諾布爾(Safiya Noble)表示：「例如，我們絕不會允許一家製藥公司在公眾身上進行試驗，然後在看到結果後撤回或更換產品。」那麼，如果它們的創造者融合了最好的風險科學，有害的科技產品會是什麼樣子呢？

評估風險需直面並克服偏見

那是2019年12月份一個陰沉的下午，也就是風險分析協會2019年年會的第二天，調查人員在弗吉尼亞州阿靈頓首次見到了保羅‧斯洛維奇(Paul Slovic)。這位82歲的禿頭男子穿著工裝褲、跑鞋和一件破舊的羊毛色塊毛衣，他正在草草記下關於風險溝通演示的筆記，包括「不完整」、「複雜」、「多學科」等字眼兒。

斯洛維奇後來表示，「快速、直觀的思維無法擴展」，尤其是涉及到社會價值和人道主義問題時。技術領導者應該更謙虛一些，「因為他們有能力預見到一個強大的系統可能會出現的所有問題。在這個系統中，我們沒有決策的經驗基礎」。他說，第一步是「意識到我們的頭腦在欺騙我們，這樣我們就可以警惕為什麼可以保護我們的系統也會欺騙我們」。

斯洛維奇花了幾十年的時間研究風險和決策過程，以及遇到前所未有的速度、規模和傷害的組織會發生什麼。他說：「人們必須非常努力地思考，才能想像出令人不快的、前所未見的後果。」1957年，斯洛維奇還是個十幾歲的籃球運動員，他已經進入斯坦福大學，計畫主修數學。不久之後，他得出結論，他對塑造人類行為的強大力量（如好奇心、恐懼、野心、地位、注意力和貪婪）更感興趣，並將專業轉向心理學。

在密歇根大學研究生院時，斯洛維奇主要研究風險和決策的心理學。最終，他和他的合作者確定了他所說的「社會賭博」（即我們每天面臨的風險）的核心機制。他的研究以經驗、身份和情感為基礎，研究了形成決策的認知啟發法和偏見，形成了一個工作準則。斯洛維奇的理論和方法已被應用於公共政策、能源、醫藥、人權、法律、航空航天、軍事、經濟和環境等各個領域。

斯洛維奇說，風險評估具有挑戰性，因為它迫使我們直面並克服自己的偏見。決策還伴隨著這樣一個事實，即如果我們不想看到某些東西，我們很可能就不會去想它們。如果出現有問題或令人不快的結果，你可能不會非常努力地預測和解決它們。

20世紀70年代，斯洛維奇應邀在核工程師和能源行業高管會議上展示他的工作。他說：「就像今天的技術一樣，核電是一項由工程科學和高深的技術知識推動的技術。」工程師們認為自己是房間裡最聰明的人，就像今天的技術工程師和首席執行官一樣。他們對斯洛維奇描述的關於風險的心理學觀點幾乎不理解，也不感興趣。

斯洛維奇和兩位合著者在20世紀70年代末寫道，當時核工業「正在不利輿論的灘塗上沉沒」。他告訴他的核工程師和科學家聽眾，專家和非專業判斷之間存在著嚴重的差異，他們最好能理解這些差異。斯洛維奇警告說，反對核能的聲音在全國範圍內如雨後春筍般湧現，核科學家不應將公眾對風險的擔憂視為無知和不理性而選擇忽略。

然而，工程師們卻認為斯洛維奇是個麻煩製造者，在「硬科學」和技術專長面前，專注於主觀上的不可量化因素，包括不確定性、價值觀、政治、信任問題。出席會議的工程師不能將他們自己的同質性、社會地位、商業動機、感情以及對「非專家」的鄙視視為風險因素。斯洛維奇在描述他的遭遇和數十年的研究時說：「整個過程是主觀的和充滿價值的，定義風險是一種權力的行使。」

然後，核工業敲響了警鐘。1979年3月28日凌晨4點左右，賓夕法尼亞州三里島核電站的2號機組反應堆發生故障，導致部分熔燬。一份調查報告發現，該工廠的設計存在缺陷，其員工沒有接受過應對緊急情況的培訓。不久之後，美國核管理委員會為斯洛維奇與同事、決策研究公司聯合創始人巴魯克‧菲施霍夫(Baruch Fischhoff)和薩拉‧利希滕斯坦(Sarah Lichstein)提供資金，以編制一份「可接受風險」指南。

他們在1980年發表的結果報告中寫道：「可接受的風險問題是決策問題，他們需要在兩種選擇之間做出選擇。這一選擇取決於所考慮的替代方案、價值觀和信仰。」

風險分析最初是作為工程師和政治家的「客觀」工具，他們需要更多的事實來理解和控制新技術帶來的風險，特別是在航空航天和核工業中。在20世紀70年代和80年代，私營部門、行業協會、學術界、研究中心和聯邦政策層面的社區圍繞這一主題聯合起來，工程師、研究人員和監管機構構建特定於行業的流程和控制。

今天，一大批公司為你能想像到的幾乎任何集體、部門或公司提供信息安全和風險管理服務，惠普、雀巢、國家氣象局和密歇根州都提供了風險管理服務。據估計，這個行業每年產生的收入超過1300億美元。

現在，批評人士說，科技行業現有的應對風險的方法已經過時了。這種方法植根於狹義的做法，歸入法律和信息安全部門，專注於版權等可量化和離散的東西。信息安全傳統上專注於阻止已知對手對系統的「攻擊」，這讓公司很容易被濫用。批評人士說，2020年，科技行業的風險評估實踐還必須考慮到對社會價值的保護，比如獲取準確信息。

斯洛維奇和他的同事們認為，徵求公眾的意見對於克服內部偏見和盲點以及避免未來的問題至關重要。正如他們在1980年所說的那樣：「早期的公眾參與可能會導致需要更長時間才能做出的決定，但這更有可能讓決策長期堅持下去。」

評估部分核熔燬的風險和評估社交媒體平台被用來侵入選舉的風險可能看起來截然不同，但它們之間也有共同點。這兩個行業都聲稱要改變世界，它們都有早期的批評者和公民社會倡導者警告潛在的危害。兩個行業都是由白人、有權勢的人主導的，他們傾向於將批評者斥為主觀的、情緒化的、無理的和消息靈通的人。

與此同時，兩個行業都匆忙將自己的產品推向市場，將技術和商業目標置於社會和人道主義考慮之上。今天的科技領袖仍然傾向於優先考慮技術修復，比如更好的算法、更快的處理器、改進的功能，而不是努力改善決策結構和公眾參與的途徑，以改善結果。

科技行業面臨三里島時刻？

科技公司現在正處於自己的三里島核危機時刻嗎？有跡象表明，隨著新理論和新方法的出現，風險評估實踐正在演變，以更好地應對危機。這一轉變在很大程度上是由在最大的科技公司以外工作的學者和風險專家推動的。他們的想法和工作代表迅速發展的努力，以解決超越傳統的、技術解決方案和擁抱人類和社會價值的風險。

Twitter和Mozilla的前安全主管邁克爾‧科茨(Michael Coates)表示，這些對話開始產生影響。他稱，公民問題「在這個行業討論了很多年，但人們會說『好吧，你有點偏執了』，並對此不屑一顧」。或者乾脆認為「這些事情根本不會發生」。這種做法在處理安全問題的行業專家中很常見。

今天的科技公司沒有這樣的自滿。那些安全專家認為我們永遠不會看到的問題？科茨說。現在很多人都已經看到了！緬甸的暴力事件，以及Facebook顯然在其中扮演的火上澆油的角色，對該公司來說是一場史無前例的災難。據報導，該公司多年來因被指控擴大種族暴力而受到警告。批評人士說，由於該國規劃、翻譯服務和內容審查不足，這些問題通常會加劇。

一位曾在緬甸政策和安全問題上與Facebook合作並瞭解這些問題發展過程的消息人士透露，將緬甸語添加到Facebook的決定是在緬甸2010年選舉後放開電信系統期間由工程師匆忙發起的。這位人士說，像這樣的項目是一件「讓人感覺很好的事情，聽起來很可能是積極的，畢竟支持儘可能多的語言沒什麼壞處。然而事實證明，在這種情況下，這是一件非常負面的事情「。

Facebook不僅在監控緬甸言論方面的能力有限，而且因為在緬甸人們主要使用Zawgyi，而不是Unicode，該國的用戶不能輕鬆地使用緬甸文字輸入評論或帖子，讓公民和活動人士只能依靠視頻、照片和圖像進行交流。此外，貝內什表示，當她在2014年與Facebook會面時，該公司依賴於都柏林的一家翻譯公司來滿足緬語需求。

知名活動家一度通過貝內什與Facebook合作開發了一種貼紙包，類似於今天的表情符號，以阻止在線仇恨言論。貝內什說：「一方面，這只是一件表面上的小事。顯然，我們不打算用貼紙包裝來預防種族滅絕，但這件小事似乎總比什麼都沒有強。」直到2019年10月，Facebook才將Unicode字體轉換器集成到Facebook和Messenger中。該公司表示：「這些工具將對緬甸數百萬使用我們的應用程序與朋友和家人交流的人產生重大影響。」

Facebook的一位發言人承認該公司存在不足，但強調了情況的特殊性，以及該公司自那以來採取的措施。他們說，緬甸是世界上唯一一個擁有大量在線業務但尚未完全採用Unicode並對其進行標準化的國家。現在有100多名母語為緬甸語的人在Facebook上評論內容，該公司也有能力用當地少數民族語言評論內容。該公司使用自動化系統識別包括緬甸語在內的45種語言的仇恨言論。

Facebook發言人表示：「就像我們之前說過的，我們當時對我們平台上的濫用行為採取行動太慢了，很大程度上是因為圍繞報告流、雙重字體問題和語言能力的挑戰。我們知道緬甸仍然存在挑戰，但今天我們比2013年更有能力應對這些挑戰。」

類似的語言問題將繼續成為Facebook和其他平台面臨的挑戰，因為它們將繼續在全球範圍內擴張。Facebook的人工智能總監奈西普‧法齊爾‧阿揚(Necip Fazil Ayan)在2018年稱：「規模效應是我們必須牢記的。」他指出，Facebook在那一年使用了70種語言，每天提供60億份翻譯服務，我們的目標是不斷提高質量，並不斷增加語言」。

截至2019年，Facebook官方支持111種語言，而內容審核團隊則繼續致力於應對識別另外數百種語言的需求。Facebook負責全球政策和管理的副總裁莫妮卡‧比克特(Monika Bickert)在2019年表示：「翻譯所有這些不同的語言是非常艱巨的挑戰。」Facebook拒絕提供該公司如何決定加入和支持新語言的具體細節，但其發言人表示，公司會考慮「來自各種來源的見解，包括政策意見或潛在危害增加的地區」。

如果沒有足夠的語言資源，推出可能會影響一個社區、地區甚至整個國家的產品，特別是在歷史和政治背景不熟悉的地方，可能是相當危險的。批評人士認為，問題不僅僅是語言障礙，解決方案也不僅僅是更好的翻譯和機器學習。相反，他們說，該公司在決定向世界上某些他們不完全瞭解政治和文化動態的地區擴張時，應該採取更慎重和理性的方式。

一位Facebook前高管稱：「添加一系列語言是個獨立的過程，不同於『我們要搬到一個國家，我們會具體考慮這個國家的人口結構』。這些進程之間的脫節是有問題的。」

Facebook Live個例解析

進入緬甸的舉動也反映了Facebook其他倉促的產品開發行動。Facebook Live被用來記錄和傳播自殺、強姦、危害兒童、謀殺和仇恨犯罪等，據稱也是匆忙間推向市場的。扎克伯格在2016年4月興高采烈地推出了這項服務。他在Facebook的帖子中寫道，這項新功能將「就像口袋裡裝了電視攝像機」。

當時，該公司已經積累了近20億月活躍用戶，正在管理全天候的投訴和問題，包括2015年的早期警告，即劍橋分析公司（Cambridge Analytica）利用從數千萬Facebook用戶挖掘的數據，形成潛在選民的心理檔案，幫助特德‧克魯茲（Ted Cruz）的總統競選。

現在還不清楚Facebook Live在發佈前進行了多少風險評估。據報導，時任該公司首席安全官的斯塔莫斯(Stamos)在該產品被推出之前「幾個月」才被告知這款產品的存在，以回應尤其是來自Snapchat越來越大的競爭壓力。據悉，除了在產品即將發佈之前將其首席安全官蒙在鼓裡之外，政策、信任和安全團隊也同樣被排除在圈子之外，直到相對較晚的階段才給予通報。據一位熟悉情況的消息人士稱，多個團隊建議推遲產品發佈，但未被採納。

Facebook的一位發言人否認了產品推出過於倉促的說法，他說：「當我們研發產品時，我們總是考慮產品在世界上的用途(產品的願景)和通過產品可能產生的負面影響。在推出Facebook Live的過程中，我們就是這樣做的。」

但在Facebook Live推出後的幾天裡，一位顧問形容Facebook總部的場景看起來就像「狗屎秀」。據兩位知情人士透露，Facebook Live團隊夜以繼日地工作，刪除了自殺、強姦和其他暴力行為的視頻。到了2017年，Facebook每天都在努力控制損失，因為現場直播的暴力故事充斥在新聞之中。

相對於其他公司來說，Facebook一直願意公開談論運營是如何演變的，以回應人們對其產品給個人和社會帶來的風險的認識和理解。在2018年採訪時，當時的Facebook產品管理副總裁蓋伊‧羅森(Guy Rosen)承認了與Facebook Live發佈相關的問題。他說，在「一系列糟糕的事情」之後，「我們意識到我們必須更快地」解決這項服務的問題。該公司將不同團隊的成員聚集在一起，他們放棄了其他優先事項，花了兩到三個月的時間進行封鎖，只專注於解決新服務的問題。

斯塔莫斯表示，對於確定和優先處理Facebook Live團隊當時面臨的問題的最佳方式，存在合理的爭論。他畫了個簡單的X-Y坐標網格，用不同大小的圓圈表示某些風險的威脅程度、發生的可能性及其潛在影響。他和他的團隊使用這樣的網格來評估某些傷害的可能性，比如兒童性剝削、恐怖主義、仇恨言論和其他濫用Facebook產品的行為，並相應地給出針對性解決方案。斯塔莫斯說：「我們的資源有限，我們如何運用有限的資源呢？」如果安全團隊早些時候參與Facebook Live的計畫，他的團隊也許能夠幫助防止發生的問題。

在Facebook Live推出後的兩年裡，Facebook將重新評估其風險管理方法。2018年5月，時任Facebook項目管理總監、負責新聞業務的格雷格‧馬拉(Greg Marra)首次公開談論Facebook轉向綜合風險管理方法，試圖防止傷害，並創建協調一致的跨職能團隊。他說：「我們需要做很多事情來進行內部協調，比如Facebook、Instagram、Messenger、WhatsApp和Oculus，我們需要一種標準的方法來解決這一問題。」

六個月後，也就是2018年11月，扎克伯格還宣佈Facebook計畫處理風險的方式發生重大轉變。他表示：「得益於人工智能的進步，以及我們現在每年可以提供數十億美元的投資，大規模內容的被動處理到主動處理直到最近才開始成為可能。在我們歷史上的大部分時間裡，內容審查過程都是非常被動的。」

整合跨職能團隊的工作，從被動轉向主動，已經成為該公司的頭號關注點。當斯塔莫斯離開時，在涉及俄羅斯可能干預2016年美國大選的棘手情況下，他作為首席安全官的職位沒有得到填補。相反，Facebook的一位發言人稱，該公司「嵌入了我們產品和工程團隊中的安全工程師、分析師、調查人員和其他專家，以便能夠更好地解決我們面臨的、新出現的安全威脅。」

2018年，蓋伊‧羅森(Guy Rosen)透露，扎克伯格已經找到他，準備進行大量投資。他記得扎克伯格問過他：「你需要多少錢？這是最重要的，我們必須把這件事做好。」在過去的兩年裡，Facebook在安全和安保方面的工作人員增加了一倍多，達到大約3.5萬人。它已經正式使用跨職能團隊來解決孤島和盲點問題，並將這些團隊定位在Integrity之下，在擔任誠信副總裁的羅森領導下。此外，2019年7月，Facebook增加了一個新角色，任命人權活動家米蘭達‧西森斯(Miranda Sissons)為其人權總監。

在多次採訪和電子郵件交流中，Facebook高管和發言人描述了跨職能團隊的工作方式，這些團隊分為兩大類：一類是識別和緩解風險的團隊，另一類是專注於與特定事件相關的風險處理團隊，比如可能會導致在線活動激增的選舉或危機。

這兩類小組都對風險進行前瞻性和事後調查。然後，他們與政策和誠信工作人員一起工作。據報導，誠信團隊由約200名員工組成，由負責產品和社會影響的副總裁內奧米‧格萊特(Naomi Gleit)監督。該團隊由跨職能小組組成，負責瞭解Facebook運營地區的政治和文化動態以及條件。這些都是蘇菲‧張經常合作的團隊。

羅森說：「我認為公眾的關注幫助激勵了工程師們致力於此。這些都是很難解決的問題，人們還沒有做到這一點。」雖然內部消息人士描述了這一過程中遇到的困難，包括不同職能領域之間缺乏透明度，以及內部溝通不暢導致工作重複，但Facebook強調了它所取得的成就：由於實施了某些改革而有所改善的產品和功能，這些變化使Facebook能夠更加積極主動，比如使用照片技術打擊兒童剝削、性虐待和恐怖主義內容的傳播；在Messenger Kids中制定安全措施；改進Facebook約會的安全、隱私和身份驗證程序；加強與選舉相關的安全措施。

儘管如此，2019年3月，28歲的澳大利亞人布倫頓‧塔蘭特(Brenton Tarant)依然激活了Facebook Live，並用它在17分鐘內直播他殺害了50多人的場景。然後，在襲擊發生12分鐘後，一名用戶將這段視頻標記出來，執法部門聯繫Facebook後，該公司花了近一個小時才將其刪除。但到那時，這些內容已經被無數人瀏覽。

加州大學洛杉磯分校(UCLA)關鍵互聯網調查中心的聯合創始人薩拉‧T‧羅伯茨(Sarah T.Roberts)表示：「顯而易見的解決方案是放慢用戶生成內容的速度。」羅伯茨曾多次提出，科技公司應該建立直播流等功能的訪問層，這樣用戶在使用特定產品之前就會經過審查。然而，到目前為止，公司一直抵制這樣的改革。她說：「這個想法從來沒有被認真討論過。」

Facebook的一位發言人說：「安全不會因為關注利潤而受到損害。扎克伯格在以前的場合已經清楚地表明了這一點，他指出，我們在安全方面的投資如此之大，以至於會影響我們的盈利能力，但保護我們的社區比最大化我們的利潤更重要。」

作為一位專注於技術和人權交集的維權人士和天使投資者，薩布麗娜‧赫西‧伊薩（Sabrina Hersi Issa），為公司提供建議，建議如何創建、配備員工和為包容性系統提供資金，使其以人的價值和利潤為中心。伊薩說：「在考慮風險時，科技公司往往將事物視為產品和平台。當我看到一項技術時，我會問自己，這項技術是如何促進參與民主生活的？這種重組增加了層層複雜的考慮，而大多數技術專家並沒有考慮到這一點。」

構建更全面風險管理機制

用最近一份安全報告的話說，在現有基礎設施上增加更多的產品和實踐已經不夠了。那麼，一種更全面的風險管理方法會是什麼樣子呢？收集來自不同部門和不同利益相關者的投入很重要，但僅有這一點是不夠的。專家說，負責評估風險的個人也需要有權參與最終決策。

曾在Slake、Twitter、谷歌和蘋果擔任工程主管、並曾在奧巴馬基金會(Obama Foundation)擔任首席技術官的萊斯利‧麥利(Leslie Miley)說：「即使你有跨職能的團隊，提出這些擔憂的聲音有時也從未被聽到或注意到，或者沒有被給予同樣的重視。因為人們沒有那種親身經歷，或者他們認為這沒什麼大不了的。這是我經常看到的。」

在接受調查的每一家公司中，工程師和產品經理（佔壓倒性多數的男性群體）掌握著權力。與此同時，法律、政策、信託和安全團隊(有時被稱為「清理團隊」)的領導層往往偏向女性，而且更加多樣化，正如薩拉‧愛默生(Sarah Emerson)最近所發現的那樣。斯塔莫斯在談到他在Facebook的經歷時說：「如果我和信任與安全組織開會，特別是高層會議，我會是房間裡唯一的男性。如果參加信息安全方面的會議，到會的人可能都是男性，也可能只有一名女性。」

職業性別隔離問題在科技領域十分普遍。谷歌一位要求匿名的消息人士說：「如果你不和女性一起工作，谷歌會給你很大的壓力。雖然我知道谷歌上有20、30、40、50個沒有女性的群體。」當被問及對這一描述有何評論時，在一系列對話(包括要求提供有關其風險評估和緩解方法的詳細信息)之後，谷歌發言人通過電子郵件回覆道：「隨著數字威脅的發展，區分傳統安全威脅與平台和產品濫用的界限變得越來越模糊。我們的安全和信任與安全團隊的專業知識，加上他們多年的合作夥伴關係，使我們能夠為我們的用戶提供強有力的保護。」

今年夏天發佈的一項基於2016年數據的研究發現，硅谷10家主要科技公司的員工中根本沒有黑人女性。研究發現，三家大型科技公司在任何職位上都沒有黑人員工。在過去的四年裡，行業分析師注意到了變化的緩慢步伐。2019年，Facebook 64.9%的技術團隊由白人和亞裔員工組成，其中77%為男性。

不難發現這種同質性如何影響風險感知和產品開發的有害示例。2017年，Snapchat發佈了一項名為Snap Maps的功能，該功能可以顯示用戶的地理位置，然後根據設置與其他人分享他們的下落。這激起了倡導者的憤怒，他們認識到這一功能可能對兒童、跟蹤目標和親密伴侶虐待等構成風險。

2018年，共享滑板車初創公司Lime因一項旨在保護其滑板車的安全功能而遭到強烈反對。據報導，當加州奧克蘭的人們試圖在沒有先下載應用程序並付費使用的情況下操作一輛滑板車時，滑板車會發聲稱「解鎖我騎我，否則我就報警了」。當地活動人士和一名政客對執法系統中過度監管和歧視黑人個人的問題非常敏感，並據此提出抗議，認為這危及黑人公民的安全。

2019年，使用人工智能虛擬脫光女性(對男性照片無效)的應用程序DeepNude，在發佈大約24小時後撤回了產品，但已經引發了廣泛的抗議。開發團隊在社交媒體上表示：「人們誤用它的概率太高了。」

麥莉說，這些失敗中的每個例子都強調了，經歷如何決定一個人如何看待風險。斯洛維奇是許多研究人員中的一員，他們長期以來一直在記錄只讓白人男性進入做出安全和傷害決定的房間的風險。1994年的一項發現寫道：「最引人注目的是，白人男性往往在態度和認知上與其他所有人不同。平均而言，他們認為風險比其他人小得多，也更容易接受。」這些結果表明，權力、地位、疏離和信任等社會政治因素是人們感知和接受風險的重要決定因素。

前風投公司Reddit首席執行官、現任Project Include首席執行官的鮑康如(Ellen Pao)表示，為了抵消認知和結構性問題，風險評估需要「完全改變意圖」，「科技領域的安全和隱私至少在其存在之日起就一直是男性佔主導地位的領域。」和斯洛維奇一樣，鮑康如認為，科技行業需要將包容性和跨學科作為核心實踐，並給予那些擁有傳統上女性化的、與安全和護理相關的「軟」技能的人更多的權力、地位和薪酬。

然而，如果沒有問責和領導，這樣的轉變是徒勞的。斯塔莫斯說：「公眾對Facebook的批評確實很準確，但在Facebook從事社交媒體安全工作的人可能比世界其他地方的總和還要多。但你會遇到這樣的問題，即做出的行政決策完全忽視了這些人，然後就完全毀掉了他們正在做的所有工作。」

當被問及他在科技行業的工作時，斯洛維奇Decision Research聯合創始人巴魯克‧菲施霍夫(Baruch Fischhoff)說：「很難區分惡意與無能和無知。我認為，除非首席執行官深度投入，否則風險評估注定會失敗。」菲施霍夫曾擔任包括FDA、國土安全部和環境保護局在內的一系列聯邦監管機構的風險顧問。

Facebook的一位發言人強調，無論公司的風險評估努力多麼積極，總會有更多的工作要做。他說：「在一個完美的世界裡，我們將擁有完美的信息，並能夠根據這些信息採取行動，以預防和減輕風險和傷害。我們一直試圖建立健全的風險評估機制，一直在努力預測風險，並在此過程中吸取教訓，但我們都是在信息不夠完善的情況下運營的。」

然而，識別更多的信息、更好的算法和增強的技術並不能從根本上反映「意圖的完全轉變」。可以說，這種以技術修復為基礎的方法，在現有方法的基礎上反而讓傷害加倍。事後的數據和信息作為預測性輸入，無論多麼必要，都是不夠的。《價值敏感設計：用道德想像塑造技術》一書的合著者、設計師和技術專家巴特亞‧弗裡德曼教授（Batya Friedman）說：「想像一下，如果這些公司說：『我們將堅持推出這一新功能。這些系統的部署速度非常快，而且是規模化的。這些都是非常非常棘手的問題。」

此外，批評人士說，主要的社交媒體公司一直與外部研究人員保持距離，抵制更多瞭解有害內容以及如何防止有害內容的努力。例如，2018年，Twitter發起了一項旨在促進文明和改善平台行為的研究，並與蘇珊‧貝內什(Susan Benesch)和康奈爾大學的內森‧馬蒂亞斯(J.Nathan Matias)合作，後者是公民與技術實驗室創始人。不過，該公司最終以編碼錯誤為由放棄了該項目。去年夏天開始的一項後續研究只運行了幾天，然後貝內什說該研究在沒有任何解釋的情況下被內部關閉。

貝內施表示：「他們浪費了一個非常好的機會，去看看怎樣才能減少網上的仇恨和騷擾。」在一份聲明中，Twitter承認員工流失和優先事項的轉變阻礙了一些研究項目，但表示仍致力於與學者合作。Twitter的一位發言人說：「我們堅信研究的力量可以促進人們對網上發生的公共對話的理解。」

與此同時，公司和公眾仍然面臨風險敞口。2020年7月，監管機構指控來自佛羅里達州坦帕市的17歲青年格雷厄姆‧伊萬‧克拉克(Graham Ivan Clark)侵入了包括比爾‧蓋茨(Bill Gates)、埃隆‧馬斯克(Elon Musk)和巴拉克‧奧巴馬(Barack Obama)在內的多位知名人士的Twitter賬戶。對於Twitter來說，這是個令人尷尬的失敗，其安全團隊沒有發現員工賬戶容易受到安全界眾所周知的社交工程的攻擊。

薩拉‧T‧羅伯茨(Sarah T.Roberts)認為，這些問題是科技行業抵制外部意見和專業知識的直接後果，並突顯了採用更具協作性、透明度和結構性的風險評估方法的必要性。羅伯茨說：「我們承受不起公眾對不知情的測試者的持續使用。今天之所以發生這樣的事情，是因為40年來，任何不能立即應用於工業的東西都遭到了詆毀。」

美國算法歧視方面的專家薩菲亞‧諾布爾（Safiya Noble）指出：「為了以不同的方式組織我們的經濟和社會，必須想像範式的轉變。我以類似於菸草或棉花巨頭的方式看待大型科技公司，並問道，範式的轉變是什麼？與這些技術分不開的嚴重侵犯人權和民權行為合法嗎？以此能證明他們的存在是正當的？我們知道得更清楚。這裡的挑戰是，這些技術經常以如此不透明的方式呈現，以至於人們看不到其他歷史時刻發生的相同程度的剝削。作為研究人員，我們的工作就是將危害公之於眾。」

那名17歲的Twitter黑客在7月份被捕，這促使許多人問道，硅谷最著名的公司之一怎麼會如此脆弱。就在克拉克考慮72.5萬美元保釋金的時候，Twitter正在精心設計另一份道歉方案，洗刷和重複科技行業近20年來的事後道歉慣例。傑克‧多西(Jack Dorsey)在信息洩露後發推文寫道：「我們在Twitter度過了艱難的一天，我們都對這件事感到很難過。我們正在診斷，當我們對到底發生了什麼有了更完整的瞭解後，我們會盡我們所能分享一切。向我們的隊友致敬，他們正在努力修復這個問題。」

硅谷未來的風險意識會更強？

我們有理由懷疑，科技領導者是否會放慢腳步，採用諾布爾所說的那種範式轉變。Facebook成立約16年後，要求政府對科技行業進行監管、放棄一種商業模式的呼聲越來越高，這種商業模式得益於內容是「中立的」，平台是客觀的。但批評人士指出，這種模式是利用參與度和極端主義來賺錢的。

在2020年7月下旬的一次國會聽證會上，眾議院司法反壟斷小組委員會對蘋果、Facebook、谷歌和亞馬遜的商業行為進行了為期13個月的調查，來自佐治亞州的民主黨眾議員漢克‧約翰遜(Hank Johnson)質疑扎克伯格的掠奪性市場行為。他說：「你嘗試了一件事，然後出了問題，你為此道歉。然後，又重新做了一次，是不是？」 扎克伯格回答說：「我不同意這種說法。」

然而不到兩個月後，Facebook在被披露未能從平台上刪除與威斯康星州基諾沙反抗議活動有關的煽動性和暴力帖子後道歉。扎克伯格形容這是一個「操作錯誤」，不熟悉發表評論的「民兵頁面」的簽約版主忽略了450多條事件報導。在不久之後一個混亂的抗議晚上，兩名抗議者被槍殺。

7月份的聽證會被描述為大型科技公司的「菸草巨頭時刻」，很明顯，某種形式的監管控制即將到來。它將採取的形式還有待觀察，是否會強調消費者保護、市場限制或公民權利和人權？

弗裡德曼說：「我們可能會認為，對於某些類型的工具或公司來說，我們還不夠明智。」事實上，去年4月，歐盟的人工智能高級別專家組(High-level Expert Group on A.I.)發佈了人工智能發展的倫理指導方針，並建議面部識別等某些技術「必須得到明確的授權」，當時就已經注意到了這一點。英國議會也得出了同樣的結論，它們最近撤回了使用算法來做出從福利到移民再到兒童保護的一切決定，承認傷害風險太高，無法證明它們的應用是合理的。今年9月，波特蘭市議會成為美國第一個限制面部識別使用的機構，不僅限制公共機構使用面部識別，還限制可能尋求在公園、商場或雜貨店等公共場所使用該技術的企業使用此類技術。

到目前為止，減輕傷害、監管，甚至撤回一項潛在的有害技術都是自願的。例如，微軟最近宣佈承諾確保「綜合安全」，並拒絕向美國警察部門出售面部識別技術，直到國會採取行動建立限制。但批評人士說，這還不夠。諾布爾說：「看看大型菸草公司，看看化石燃料巨頭，如果不是為了這些公司的利益，還能有什麼證據證明這一點是有效的呢？」

科技巨頭的遊說投資已經等於或高於大銀行、製藥商和石油業的支出。最大的科技公司都在華盛頓設有人員齊全的辦事處，但它們不像其他行業那樣受到廣泛或正式的聯邦風險制度的影響。谷歌和亞馬遜等公司資助了一家致力於為監管機構提供「繼續教育」的機構，教授「一種不插手的反壟斷方法」。

硅谷未來的風險意識會更強嗎？只有當權者才能這麼說。雖然呼籲公眾更加積極的呼聲經久不衰，但依賴人民明顯減弱的力量是幼稚的。芝加哥大學布斯商學院的經濟學教授瑪麗安‧伯特朗(Marianne Bertrand)說:「政府應該通過法律來約束利潤最大化的行為。但是，太多的立法者本身已經變成了股東的僱員，他們的選舉成功與競選捐款和其他形式的巨額資金支持息息相關。」

弗裡德曼告誡說，不要想得過於簡單化和爭論不休，並不是所有的風險都是可知的。即使是最可靠的風險評估和內容審核協議也不能防止每一種危害。她說：「記住，工具製造者並不是萬能的，更好的工具本身不會改變種族滅絕、強姦、自殺等等的現實。」她認為，目標應該是改進，而不是追求完美。「設計就是設想一種更好的替代方案，並朝著那個替代方案前進，這通常意味著打破和重組目前的狀況」。弗裡德曼還稱：「我想我們可以說，我們在開發大技術領域的專業最佳實踐方面還不夠努力，忽視人的價值不是一個負責任的選擇。」

在美國總統大選前夕，公司越來越迫切地需要解決人們的大量擔憂。Twitter和Facebook都實施了各種措施，以解決其平台上的政治虛假信息問題。例如，在大選前夕發佈虛假信息或屏蔽政治的廣告，但這些解決方案可能還不夠深入，賭注也高得不能再高了。

今年6月，賓夕法尼亞州民主黨眾議員邁克‧多伊爾(Mike Doyle)在眾議院能源和商務小組委員會就虛假信息舉行的聽證會上表示：「社交媒體公司需要加強和保護我們的民權、人權和人命，而不是在國家淹沒在虛假信息的海洋中時袖手旁觀。毫無疑問，我們民主的未來岌岌可危，現狀是不可接受的。」

與此同時，在世界的另一端，Facebook也將不得不面對過去的失敗。緬甸定於今年11月8日舉行大選，這是60年來的第四次大選。這將是對Facebook的又一次重大考驗，該公司正在努力確保不良行為者不會利用其平台傳播虛假信息或以其他方式干預民主進程。

一名Facebook員工表示，該公司一直在關注緬甸當地發生的事情，並與全國各地的不同團體舉行會議，以便更好地瞭解背景下的風險。Facebook稱，該公司正在「組建一個包括工程師和產品經理在內的多學科團隊」，專注於瞭解該平台在衝突國家的影響，發展和擴大語言能力，以及提高公司審查潛在有害內容的能力。

然而，該團隊可能不包括廣告部的代表。Facebook的一位發言人說，負責審查廣告的團隊與審查用戶生成內容的團隊是分開的。一位消息靈通的Facebook高管稱：「Facebook廣告銷售部的人員正在努力增加緬甸的廣告內容和商業廣告，這是為了讓更多的人加入這個平台。有一段時間，由於即將到來的選舉，人們甚至在內部提議關閉緬甸的廣告。最終，他們沒有選擇這樣做，但進行了討論。」

這些人稱：「對於我們這些人來說，考慮風險似乎真的很難，而且對待風險也不夠認真，因為所有這些事情都歸結到我們的人類審查員身上，而我們已經沒有那麼大的能力。我們已經確認，我們將無法獲得更多的能力，我們有一個風險非常高的選舉即將到來，而這個地方有暴力歷史。那麼我們要做什麼呢？為迎接某種災難做好準備？「

本文經授權發布，不代表36氪立場。
如若轉載請註明出處。來源出處：36氪