企業LLM(大型語言模型。是使用深度學習算法處理和理解自然語言的基礎機器學習模型。這些模型在大量文本數據上進行訓練,以學習語言中的模式和實體關系。LLM可以執行多種類型的語言任務,例如翻譯語言、分析情緒、聊天機器人對話等。)可以建立在公開可用的基礎模型上。這是一個良好的開端。
圖源:BentlyChang/Getty Images
企業是否準備好構建和維護自己的內部LLM?
人工智能——尤其是生成式智能——吸引了科技專業人士和高管們的無限興趣。想想看:盡管最近關于削減云服務和基礎設施預算的討論層出不窮,但人工智能資金的源頭已經打開。只是它是流向外部服務,還是流向內部人才和資源呢?
許多外部實體,如OpenAI(在美國成立的人工智能研究公司,核心宗旨在于“實現安全的通用人工智能,AGI”,使其有益于人類。OpenAI于2015年由一群科技領袖,包括山姆·阿爾特曼、彼得·泰爾、里德·霍夫曼和埃隆·馬斯克等人創辦。)、微軟和谷歌,被視為LLM、基礎設施支持和專業知識的主要提供者。然而,對內部LLM項目的興趣也在上升。TCS(塔塔咨詢服務公司,是印度著名的企業集團—塔塔集團的控股子公司,投資重點為軟件工程實踐和標準、軟件質量保證、軟件項目管理、軟件處理、軟件工程技術研發等。)對1300名首席執行官進行的一項新調查發現,大約一半的受訪者(51%)表示,他們計劃構建自己的生成式人工智能實現。這意味著未來還有很多工作要做,但幸運的是,公開可用的LLM已經奠定了基礎。
“基礎LLMs——比如GPT、Claude(是人工智能初創公司Anthropic 發布的一款類似ChatGPT的產品。升級后的Claude 2 模型在編碼、數學和推理方面的性能都有所提高。2023年7月,Anthropic 宣布,已發布最新大語言模型Claude 2。升級之后,Claude 2的處理能力已經提升到了100K個Token,這意味著它可以處理數百頁的技術文檔,甚至是整本書。此外,Claude 2 也開始面向更廣泛的用戶群體免費開放,并支持中文使用。)、Llama(Meta AI推出的大語言模型。之后源代碼公開到了 4chan 論壇上,使得任何一個普通工程師,都有機會開發自己的聊天機器人產品。只需要一臺筆記本電腦就能部署,不必像 OpenAI 那樣動輒上萬塊 GPU,對中小開發者極其友好,且性能也沒差到哪去。泄漏后的幾個月內,一位斯坦福大學的研究人員,只花了不到 600 美元就做出了一個性能尚可的 AI 聊天機器人;大洋彼岸的哈工大,數位研究人員用 Llama 和專業數據做出了一個醫學知識 AI,取名叫“華佗”。圍繞 LLaMA,一個生態開始涌現。)——可以最好地被描述為具有世界智慧;可以被視為重新包裝互聯網知識,”?TCS的首席技術官兼研究的共同作者Dr. Harrick Vin(哈里克·文博士)告訴筆者,“他們還具有高水平的多模態理解和生成能力,以及推理能力。”
Vin(文博士)說,構建這些基礎模型“既復雜又昂貴”,他指出,內部企業模型將建立在這些模型的能力之上。“這些模型將利用基礎模型的基本技能,如語言理解和生成、推理和一般知識。但他們需要將它們擴展并專門用于行業、企業和活動環境。”
幸運的是,“與基礎模型的開發相比,構建這種專門的模型要容易得多,成本也低得多,”Vin(文博士)說,“事實上,專門化基礎LLM(廣泛的AI模型)以創建特定目的的AI模型和解決方案的相對容易是AI民主化的主要原因?!?/span>
他繼續說道,這些特定于企業的LLM,“指的是行業、企業和活動方面的模型,無論是開源的還是商業的,”他繼續說,“我們相信,在未來,一個成熟的人工智能企業,將有數百或數千個有目的的人工智能模型,所有這些模型都是通過將基礎模型的能力與特定企業的能力相結合而構建的。”
除了構建和實現模型之外,該業務還需要為生成式人工智能做好準備。超過一半(55%)的人表示,他們正在積極改變業務或運營模式,或他們的產品和服務,以適應人工智能。TCS的調查顯示,十分之四的高管表示,在他們能夠充分利用人工智能之前,未來他們“需要對業務進行很多改變”。
這表明生成式和操作性人工智能的發展緩慢但勢頭強勁。在過去的一年里,“每個企業都嘗試過生成式人工智能用例——2024年及以后將是關于價值擴展的,”Vin(文博士)說,“然而,在實驗階段,每個企業都意識到,拓展價值是具有挑戰性的。”
TCS的調查顯示,目前只有17%的人正在討論人工智能并為其制定全企業范圍的計劃。此外,只有28%的人準備制定企業范圍的人工智能戰略,以最大限度地為公司帶來利益。盡管如此,Vin(文博士)還是看到了這項技術的快速發展。“在個別案例或臨時項目基礎上實施人工智能解決方案,與構建全公司范圍計劃以建立成熟的人工智能企業之間存在差異,”Vin(文博士)說,“調查中相對較低的數字是指制定了這種AI企業級應用戰略。這是意料之中的。”
至于人工智能解決方案的采用,Vin(文博士)繼續說,“這一數字相當高;59%的企業職能部門正在進行或已完成人工智能實施,另有34%正在計劃人工智能實施。我們正處于技術成熟度和企業大規模采用成熟度的早期階段。大多數企業開始將人工智能和生成式人工智能用于特定用例,同時開始進行長期量化收益以及管理相應成本和風險的旅程。”
在過去的一年里,“每個企業都嘗試了生成式人工智能用例——2024年及以后將涉及擴展價值,”Vin(文博士)說,“然而,在實驗階段,每個企業都意識到,拓展價值是具有挑戰性的。”
首先,“構建有效的人工智能解決方案需要高質量的數據,”他說,“盡管企業確實擁有大量數據,但這些數據通常分布在許多相互不一致的孤島上。盡管在過去幾年中,大多數企業已經開始了整合和數據產業現代化之旅,但這些旅程還遠未完成。此外,大多數企業的數據資產遷移到云環境的工作仍在進行中。這使得企業難以利用云托管的基礎大語言模型(LLM )及其企業數據。”
此外,企業“需要提高成熟度,主動管理數據采集、使用、安全和隱私,”Vin(文博士)說,“他們需要掌握確定哪些數據可以用于什么目的,即使是無意中,以防止偏見和不公平的做法。這不僅僅是設計時的挑戰,也是運行時的挑戰。”需要的是“實時檢測人工智能模型開始偏離預期行為的緊急情況的系統。”
最后,角色和技能要求的變化速度比公司所能跟上的要快。他說:“隨著人工智能的注入,企業知識工作者的角色將從實干家轉變為機器的培訓師和詢問者、機器工作的審查者,以及批判性思維和創造力的擁有者。”
作者:Joe McKendrick(喬·麥克肯德里克)
譯者:寶藍