麥肯錫九項行動的核心是:在戰略上,需明確AI立場并識別高價值用例;在技術與數據上,需升級企業與數據架構以支持多模型編排;在組織與人才上,需重塑IT職能、建立集中的AI平臺團隊并進行定制化的技能提升;最后,在風險上,需建立新的治理與緩解措施。
幾乎每一天,媒體上都會出現一些與生成式AI相關的、足以顛覆商業的進展。這種興奮是理所應當的——麥肯錫的研究估計,生成式AI每年可能增加相當于2.6萬億至4.4萬億美元的價值。
CIO(首席信息官)和CTO(首席技術官)在捕獲這一價值方面扮演著關鍵角色,但值得記住的是,我們以前也看過這部電影。新技術不斷涌現——互聯網、移動設備、社交媒體——引發了一場試驗和試點的混戰,盡管重大的商業價值往往更難獲得。從那些發展中學到的許多教訓仍然適用,尤其是在如何超越試點階段以達到規模化方面。對于CIO和CTO來說,生成式AI的熱潮提供了一個獨特的機會,可以應用這些教訓來指導高管層,將生成式AI的承諾轉化為企業的可持續價值。
通過與數十位技術領導者的對話,以及對50多家公司(包括我們自己)的生成式AI項目的分析,我們確定了所有技術領導者可以采取的九項行動,以創造價值、編排技術和數據、規模化解決方案并管理生成式AI的風險:
迅速行動,確定公司對采納生成式AI的立場,并制定面向員工的實用溝通方式和適當的訪問權限。
重塑業務,識別通過提高生產力、增長和新商業模式來構建價值的用例。發展一種能夠估算生成式AI真實成本和回報的“金融AI”(FinAI)能力。
重塑技術職能,專注于在軟件開發中快速構建生成式AI能力,加速減少技術債務,并大幅減少IT運營中的手動工作。
利用現有服務或調整開源生成式AI模型來發展專有能力(構建和運營自己的生成式AI模型至少在短期內可能耗資數千萬至數億美元)。
升級您的企業技術架構,以集成和管理生成式AI模型,并編排它們如何相互協作以及與現有的AI和機器學習(ML)模型、應用程序和數據源協同工作。
開發一個數據架構,以通過處理結構化和非結構化數據源來支持對高質量數據的訪問。
創建一個集中的、跨職能的生成式AI平臺團隊,按需為產品和應用團隊提供經批準的模型。
投資于關鍵角色的技能提升——軟件開發人員、數據工程師、MLOps工程師和安全專家——以及更廣泛的非技術員工。但您需要根據角色和熟練程度定制培訓項目,因為生成式AI的影響各不相同。
評估新的風險格局并建立持續的緩解實踐,以應對模型、數據和策略方面的問題。
1. 確定公司對采納生成式AI的立場
隨著生成式AI的使用日益廣泛,我們看到CIO和CTO通過阻止員工訪問公開可用的應用程序來限制風險。這樣做,這些公司可能會錯失創新機會,一些員工甚至認為這些舉動限制了他們培養重要新技能的能力。
相反,CIO和CTO應與風險負責人合作,在風險緩解的實際需求與在業務中培養生成式AI技能的重要性之間取得平衡。這需要通過就業務能夠接受的風險水平以及生成式AI如何融入業務整體戰略達成共識,來確立公司對生成式AI的立場。這一步使業務能夠迅速確定全公司范圍的政策和指導方針。
一旦政策明確定義,領導者應將其傳達給業務部門,由CIO和CTO為組織提供適當的訪問權限和用戶友好的指導方針。一些公司已經推出了關于生成式AI的全公司范圍的通訊,為特定用戶群體提供了廣泛的生成式AI訪問權限,創建了在用戶將內部數據輸入模型時發出警告的彈出窗口,并建立了一個在用戶每次訪問公開可用的生成式AI服務時出現的指導方針頁面。
2. 識別通過提高生產力、增長和新商業模式來構建價值的用例
CIO和CTO應該是我們已在許多公司看到的“死于用例”狂熱的解藥。他們最有幫助的方式是與CEO、CFO和其他業務領導者合作,思考生成式AI如何挑戰現有商業模式,開啟新模式的大門,并創造新的價值來源。憑借對技術可能性的深刻理解,CIO和CTO應識別整個公司中可以從生成式AI中受益的最有價值的機會和問題——以及那些不能的。在某些情況下,生成式AI并不是最佳選擇。
例如,麥肯錫的研究表明,生成式AI可以將某些營銷用例的生產力提升約10%(例如,通過分析非結構化和抽象數據以了解客戶偏好),并將客戶支持的生產力提升高達40%(例如,通過智能機器人)。CIO和CTO在就如何最好地按領域(如客戶旅程或業務流程)或用例類型(如創意內容創作或虛擬代理)對用例進行聚類,以使生成式AI產生最大價值方面,可以提供特別有幫助的見解。識別機會并非最具戰略性的任務——市面上有很多生成式AI用例——但考慮到人才和能力的初步限制,CIO和CTO將需要提供可行性和資源估算,以幫助業務部門確定生成式AI的優先順序。
提供這種級別的建議,要求技術領導者與業務部門合作,發展一種FinAI能力,以估算生成式AI項目的真實成本和回報。成本計算可能特別復雜,因為單位經濟學必須考慮多個模型和供應商的成本、模型間的交互(一個查詢可能需要多個模型的輸入,每個模型都有自己的費用)、持續的使用費以及人工監督成本。
3. 重塑技術職能
生成式AI有潛力徹底改變技術職能的工作方式。CIO和CTO需要全面審視生成式AI對技術所有領域的潛在影響,但迅速采取行動以積累經驗和專業知識非常重要。他們可以集中精力于三個初始領域:
軟件開發:麥肯錫的研究表明,生成式AI編碼支持可以幫助軟件工程師開發代碼的速度提高35%至45%,重構代碼的速度提高20%至30%,執行代碼文檔工作的速度提高45%至50%。生成式AI還可以自動化測試過程并模擬邊緣案例,使團隊能夠在發布前開發出更具韌性的軟件,并加速新開發人員的入職過程(例如,通過向生成式AI提問關于代碼庫的問題)。要獲得這些好處,將需要大量的培訓(詳見行動8)以及通過DevSecOps實踐自動化集成和部署管道,以管理代碼量激增。
技術債務:技術債務可能占到技術預算的20%至40%,并顯著減慢開發速度。CIO和CTO應審視他們的技術債務資產負債表,以確定生成式AI的能力,如代碼重構、代碼翻譯和自動測試用例生成,如何能加速減少技術債務。
IT運營(ITOps):CIO和CTO將需要審視他們的ITOps生產力工作,以確定生成式AI如何能加速流程。生成式AI的能力在自動化諸如通過自助服務代理進行密碼重置、狀態請求或基本診斷等任務方面特別有幫助;通過改進路由加速分類和解決;浮現有用上下文,如主題或優先級,并生成建議的響應;通過分析大量日志流來提高可觀測性,以識別真正需要關注的事件;以及開發文檔,如標準操作程序、事件事后分析報告或性能報告。
4. 利用現有服務或調整開源生成式AI模型
在發展生成式AI能力方面,存在著經典的“租用、購買或構建”決策的變體。基本規則仍然適用:公司應在能夠為業務創造專有優勢的地方投資生成式AI能力,并為那些更像商品的能力訪問現有服務。
CIO和CTO可以從三個原型來思考這些選項的影響:
使用者(Taker)——通過聊天界面或API使用公開可用的模型,幾乎沒有或沒有定制。好的例子包括用于生成代碼的現成解決方案(如GitHub Copilot)或協助設計師進行圖像生成和編輯的解決方案(如Adobe Firefly)。就工程和基礎設施需求而言,這是最簡單的原型,通常也是最快上手的。這些模型本質上是商品,依賴于以提示的形式向公共模型提供數據。
塑造者(Shaper)——將模型與內部數據和系統集成,以生成更定制化的結果。一個例子是通過將生成式AI工具連接到客戶關系管理(CRM)和財務系統,以整合客戶之前的銷售和互動歷史,從而支持銷售交易的模型。另一個例子是用公司內部文件和聊天記錄對模型進行微調,以充當客戶支持代理的助手。對于希望規模化生成式AI能力、發展更多專有能力或滿足更高安全或合規需求的公司來說,“塑造者”原型是合適的。
在此原型中,有兩種常見的數據與生成式AI模型集成方法。一種是“將模型帶到數據所在地”,即模型托管在組織的內部設施上,無論是在本地還是在云環境中。例如,Cohere在其客戶的云基礎設施上部署基礎模型,減少了數據傳輸的需要。另一種方法是“將數據帶到模型所在地”,即組織可以聚合其數據并在云基礎設施上部署一個大型模型的副本。兩種方法都實現了提供對基礎模型訪問的目標,選擇哪種將取決于組織的工作負載足跡。
創造者(Maker)——構建一個基礎模型以解決離散的業務案例。構建一個基礎模型是昂貴且復雜的,需要海量數據、深厚的專業知識和巨大的計算能力。這個選項需要一次性的大量投資——數千萬甚至數億美元——來構建模型并進行訓練。成本取決于多種因素,如訓練基礎設施、模型架構選擇、模型參數數量、數據大小和專家資源。
每個原型都有其自身的成本,技術領導者需要考慮(圖表1)。雖然新的發展,如高效的模型訓練方法和GPU計算成本隨時間的降低,正在推動成本下降,但“創造者”原型固有的復雜性意味著短期內很少有組織會采納它。相反,大多數將轉向“使用者”和“塑造者”的某種組合,以快速訪問商品化服務,并在基礎模型之上構建專有能力。
圖表1
(睿觀:相比2023年7月的麥肯錫研究,2025年7月的國內技術棧性能和價格更優)
5. 升級您的企業技術架構以集成和管理生成式AI模型
組織將使用許多大小、復雜性和能力各異的生成式AI模型。為了產生價值,這些模型需要能夠相互協作,并與企業的現有系統或應用程序協同工作。因此,為生成式AI構建一個獨立的技術棧所帶來的復雜性,遠比它解決的問題要多。例如,我們可以看一個消費者在一家旅游公司向客戶服務查詢以解決預訂問題的情況(圖表2)。在與客戶互動時,生成式AI模型需要訪問多個應用程序和數據源。
圖表2
對于“使用者”原型,這種級別的協調并非必要。但對于希望作為“塑造者”或“創造者”規模化應用生成式AI優勢的公司來說,CIO和CTO需要升級他們的技術架構。主要目標是將生成式AI模型集成到內部系統和企業應用程序中,并構建通往各種數據源的管道。最終,是企業技術架構的成熟度,使其能夠集成和規模化其生成式AI能力。
最近在集成和編排框架(如LangChain和LlamaIndex)方面的進展,已顯著減少了將不同生成式AI模型與其他應用程序和數據源連接所需的工作量。一些集成模式也正在出現,包括那些使模型能夠在響應用戶查詢時調用API的模式——例如,GPT-4可以調用函數——以及作為用戶查詢的一部分,從外部數據集提供上下文數據,這種技術被稱為檢索增強生成(RAG)。技術領導者將需要為他們的組織定義參考架構和標準集成模式(如標準的API格式和參數,用于識別用戶和調用API的模型)。
要有效地集成生成式AI,需要將五個關鍵元素納入技術架構(圖表3):
上下文管理和緩存,以便從企業數據源向模型提供相關信息。在正確的時間訪問相關數據是模型理解上下文并產生引人注目輸出的關鍵。緩存存儲對常見問題的結果,以實現更快、更便宜的響應。
策略管理,以確保對企業數據資產的適當訪問。這種控制確保了包含員工薪酬細節的人力資源生成式AI模型,例如,不能被組織的其他部分訪問。
模型中心,包含經過訓練和批準的模型,可以按需提供,并作為模型檢查點、權重和參數的存儲庫。
提示詞庫,包含為生成式AI模型優化的指令,包括隨著模型更新而進行的提示詞版本控制。
MLOps平臺,包括升級的MLOps能力,以應對生成式AI模型的復雜性。例如,MLOps管道將需要包含用于衡量特定任務性能的工具,例如衡量模型檢索正確知識的能力。
圖表3
在演進架構時,CIO和CTO將需要在快速增長的生成式AI提供商和工具生態系統中導航。云提供商提供對規模化硬件和基礎模型的廣泛訪問,以及不斷增多的服務。與此同時,MLOps和模型中心提供商提供工具、技術和實踐,以調整基礎模型并將其部署到生產中,而其他公司則提供直接由用戶訪問的、構建在基礎模型之上以執行特定任務的應用程序。CIO和CTO將需要評估如何組裝和集成這些不同的能力,以部署和運營生成式AI模型。
6. 開發一個數據架構以支持對高質量數據的訪問
企業從生成式AI模型中產生和規模化價值(包括降低成本和改善數據與知識保護)的能力,將取決于它如何很好地利用自己的數據。創造這種優勢依賴于一個將生成式AI模型連接到內部數據源的數據架構,這些數據源提供上下文或幫助微調模型以創造更相關的輸出。
在此背景下,CIO、CTO和首席數據官需要密切合作,完成以下工作:
分類和組織數據,以便生成式AI模型可以使用。技術領導者將需要開發一個全面的數據架構,涵蓋結構化和非結構化數據源。這需要制定標準和指導方針來優化數據以供生成式AI使用——例如,通過用合成樣本增強訓練數據以提高多樣性和規模;將媒體類型轉換為標準化的數據格式;添加元數據以提高可追溯性和數據質量;以及更新數據。
確保現有基礎設施或云服務能夠支持存儲和處理生成式AI應用所需的大量數據。
優先發展數據管道,將生成式AI模型連接到提供“上下文理解”的相關數據源。新興的方法包括使用向量數據庫來存儲和檢索嵌入(特殊格式的知識)作為生成式AI模型的輸入,以及情境學習方法,如“少樣本提示”(few shot prompting),即向模型提供好答案的示例。
7. 創建一個集中的、跨職能的生成式AI平臺團隊
大多數技術組織正在向產品與平臺運營模式轉型。CIO和CTO需要將生成式AI能力集成到這個運營模式中,以在現有基礎設施上構建,并幫助快速規模化生成式AI的采納。第一步是建立一個生成式AI平臺團隊,其核心重點是開發和維護一個平臺服務,在該服務中,經批準的生成式AI模型可以按需提供給產品和應用團隊使用。平臺團隊還定義了生成式AI模型如何與內部系統、企業應用程序和工具集成的協議,并開發和實施標準化方法來管理風險,例如負責任的AI框架。
CIO和CTO需要確保平臺團隊配備了具備正確技能的人員。這個團隊需要一位擔任總經理的高級技術領導者。關鍵角色包括:軟件工程師,將生成式AI模型集成到現有系統、應用程序和工具中;數據工程師,構建將模型連接到各種記錄系統和數據源的管道;數據科學家,選擇模型和設計提示詞;MLOps工程師,管理多個模型和模型版本的部署與監控;ML工程師,用新的數據源微調模型;以及風險專家,管理諸如數據泄露、訪問控制、輸出準確性和偏見等安全問題。平臺團隊的確切構成將取決于整個企業所服務的用例。在某些情況下,例如創建一個面向客戶的聊天機器人,將需要強大的產品管理和用戶體驗(UX)資源。
實際上,平臺團隊最初將需要在一個狹窄的優先用例集上工作,隨著他們構建可重用能力并了解什么最有效,逐漸擴大工作范圍。技術領導者應與業務負責人密切合作,評估哪些業務案例值得資助和支持。
8. 根據角色和熟練程度定制技能提升項目
生成式AI有潛力極大地提升員工的生產力并增強他們的能力。但根據角色和技能水平,收益的分布是不均的,這要求領導者重新思考如何培養人們實際需要的技能。
例如,我們最新的實證研究使用生成式AI工具GitHub Copilot,幫助軟件工程師編寫代碼的速度提高了35%至45%。然而,收益各不相同。高技能開發人員的收益高達50%至80%,而初級開發人員的速度則下降了7%至10%。這是因為生成式AI工具的輸出需要工程師進行批判、驗證和改進代碼,而經驗不足的軟件工程師難以做到。相反,在一項研究中,在技術性較低的角色,如客戶服務中,生成式AI顯著幫助了低技能員工,生產力提高了14%,員工流失率也下降了。
這些差異凸顯了技術領導者與首席人力資源官(CHRO)合作,重新思考他們的人才管理戰略以構建未來勞動力的必要性。招聘一批頂尖的生成式AI核心人才將很重要,并且,鑒于該人才日益稀缺和戰略重要性,技術領導者應建立保留機制,如具有競爭力的薪水和參與重要業務戰略工作的機會。
然而,技術領導者不能止步于招聘。因為幾乎每一個現有角色都會受到生成式AI的影響,一個關鍵的重點應該是根據角色、熟練程度和業務目標所需的技能,對人員進行技能提升。讓我們以軟件開發人員為例。對新手的培訓需要強調加速他們成為頂尖代碼審查者的路徑,而不僅僅是代碼生成者。類似于寫作和編輯的區別,代碼審查需要不同的技能集。軟件工程師將需要理解好的代碼是什么樣的;審查由生成式AI創建的代碼的功能性、復雜性、質量和可讀性;并掃描漏洞,同時確保他們自己不在代碼中引入質量或安全問題。此外,軟件開發人員將需要學習在編碼時以不同的方式思考,通過更好地理解用戶意圖,以便他們可以創建幫助生成式AI工具提供更好答案的提示詞和定義上下文數據。
除了培訓技術人才,CIO和CTO在培養非技術人才的生成式AI技能方面也可以發揮重要作用。除了理解如何使用生成式AI工具完成諸如郵件生成和任務管理等基本任務外,整個業務部門的人員將需要熟練使用一系列能力來提高性能和產出。CIO和CTO可以調整學院模式來提供這種培訓和相應的認證。
經驗不足的工程師價值下降,應加速從經典的人才金字塔結構(大多數人在初級水平)向更像鉆石的結構轉變,即技術勞動力的主體由經驗豐富的人員組成。實際上,這將意味著盡快培養初級員工的技能,同時減少致力于低復雜度手動任務(如編寫單元測試)的角色。
9. 評估新的風險格局并建立持續的緩解實踐
生成式AI帶來了一系列新的道德問題和風險,包括“幻覺”,即生成式AI模型基于最高概率響應而呈現不正確的回答;意外泄露機密的個人身份信息;模型使用的大數據集中固有的偏見;以及與知識產權(IP)相關的高度不確定性。CIO和CTO將需要精通道德、人道主義和合規問題,不僅要遵守法律條文(各國法律各不相同),還要遵守負責任地管理其業務聲譽的精神。
應對這一新格局需要對網絡實踐進行重大審查,并更新軟件開發流程,以便在模型開發開始前評估風險并確定緩解措施,這既能減少問題,又能確保流程不被減慢。經過驗證的針對幻覺的風險緩解措施可以包括:在模型生成響應時調整其創造力水平(稱為“溫度”);用相關的內部數據增強模型以提供更多上下文;使用對可生成內容施加護欄的庫;使用“審核”模型來檢查輸出;以及添加明確的免責聲明。早期的生成式AI用例應專注于錯誤成本低的領域,以使組織能夠處理不可避免的挫折并吸取教案。
為了保護數據隱私,建立和執行敏感數據標記協議、在不同領域(如人力資源薪酬數據)設置數據訪問控制、在數據被外部使用時添加額外保護,以及包含隱私保障措施將至關重要。例如,為減輕訪問控制風險,一些組織建立了一個策略管理層,一旦向模型給出提示,就按角色限制訪問。為減輕知識產權風險,CIO和CTO應堅持要求基礎模型的提供商對其使用的數據集的IP(數據源、許可和所有權)保持透明。
生成式AI有望成為我們見過的增長最快的技術類別之一。技術領導者在定義和塑造生成式AI戰略方面,不能有不必要的拖延。雖然這個領域將繼續快速發展,但這九項行動可以幫助CIO和CTO負責任地、有效地在規模化應用中駕馭生成式AI的力量。
睿觀:
【核心挑戰】
為避免重蹈以往技術浪潮(如互聯網、移動)中“試驗混戰多,規模化價值少”的覆轍,CIO(首席信息官)和CTO(首席技術官)必須為生成式AI(GenAI)的采納提供關鍵的戰略引導。
【九步劇本】
麥肯錫為此提出了一個包含九項行動的綜合性“劇本”。其核心是:在戰略上,需明確AI立場并識別高價值用例;在技術與數據上,需升級企業與數據架構以支持多模型編排;在組織與人才上,需重塑IT職能、建立集中的AI平臺團隊并進行定制化的技能提升;最后,在風險上,需建立新的治理與緩解措施。
【結論】
因此,成功駕馭生成式AI并非單一的技術挑戰,而是一項涉及戰略、技術、組織和風險管理的系統工程。CIO/CTO必須運用這一整體框架,將AI的承諾,轉化為企業可持續的、規模化的競爭優勢。
成功的AI轉型,需要的不是零敲碎打的“實驗游擊戰”,而是一場涵蓋戰略、技術、組織和風控的“一體化總體戰”。