2958
編譯?|??ZeR0，編輯?|??漠影
微軟撥上千塊GPU訓(xùn)練自研語(yǔ)言模型，或引入必應(yīng)聊天。?????????
智東西9月27日消息，據(jù)The Information昨日?qǐng)?bào)道，微軟這廂高調(diào)將GPT-4融入自家各種招牌產(chǎn)品里，那廂背地里卻已經(jīng)開(kāi)始密謀Plan B，想要通過(guò)自研對(duì)話式AI（人工智能）大語(yǔ)言模型，來(lái)做到媲美OpenAI模型的表現(xiàn)。
據(jù)一名現(xiàn)任員工和另一位最近離開(kāi)微軟的人透露，最近幾周，領(lǐng)導(dǎo)微軟1500名研究人員的Peter Lee指示他們中的許多人開(kāi)發(fā)對(duì)話式AI。這些AI可能表現(xiàn)不及OpenAI的大模型那么好，但勝在規(guī)模較小，運(yùn)營(yíng)成本也低得多。
這些知情人士說(shuō)，微軟旗下搜索引擎必應(yīng)（Bing）的產(chǎn)品組正試圖將微軟的自研模型整合到必應(yīng)聊天（Bing Chat）中。
一位微軟現(xiàn)任員工稱，微軟研究人員正在分配他們大約2000個(gè)GPU中的大部分，用于制作更低成本、規(guī)模更小的模型。
01.GPT-4太燒錢微軟正在制定Plan B
微軟將AI納入其軟件的推動(dòng)幾乎完全取決于OpenAI，以換取使用其頂尖技術(shù)的權(quán)利。但隨著運(yùn)行先進(jìn)AI模型的成本上升，The Information報(bào)道稱，微軟研究人員和產(chǎn)品團(tuán)隊(duì)正在制定Plan B。
隨著AI成本的飆升，微軟和谷歌等其他大型AI開(kāi)發(fā)人員正想辦法從對(duì)話式AI軟件和運(yùn)行它的服務(wù)器芯片中省錢。此前微軟已經(jīng)承諾向OpenAI投資100多億美元，部分用于獲取其知識(shí)產(chǎn)權(quán)。
盡管有這項(xiàng)投資，但微軟在推出OpenAI支持的功能時(shí)仍然必須控制成本，包括自動(dòng)生成PowerPoint演示文稿、轉(zhuǎn)錄Teams會(huì)議以及根據(jù)客戶告訴他們想要查看的應(yīng)用程序創(chuàng)建Excel電子表格的功能。如果超過(guò)10億人最終使用這些功能，微軟將不得不縮小其規(guī)模和復(fù)雜性，以避免破產(chǎn)。
微軟還希望這樣做將釋放更多供不應(yīng)求的AI服務(wù)器芯片資源。
盡管微軟的努力仍處于早期階段，但這展示了微軟CEO薩提亞·納德拉（Satya Nadella）如何為微軟的AI產(chǎn)品開(kāi)辟一條不完全通過(guò)OpenAI運(yùn)行的道路。多年來(lái)，這兩家公司將保持密不可分的聯(lián)系，但隨著它們?cè)絹?lái)越多地競(jìng)爭(zhēng)向相同的企業(yè)客戶出售AI軟件，它們之間的關(guān)系日益緊張。
“這最終必須發(fā)生，”企業(yè)軟件公司Databricks的高管Naveen Rao在談到微軟的內(nèi)部AI工作時(shí)說(shuō)。
他談道：“微軟是一家智能企業(yè)公司，他們需要高效，當(dāng)你部署使用這些大型型號(hào)的產(chǎn)品時(shí)，如（OpenAI的）GPT-4......這就像說(shuō)，「我需要一個(gè)有醫(yī)學(xué)博士和兩個(gè)博士學(xué)位的人來(lái)接聽(tīng)Nerf槍支公司的客戶服務(wù)熱線。」這不是可行的經(jīng)濟(jì)學(xué)?！?/p>
02.不指望開(kāi)發(fā)GPT-4想增加更多談判籌碼
微軟的研究小組對(duì)開(kāi)發(fā)像GPT-4這樣的大型AI沒(méi)有幻想。該團(tuán)隊(duì)沒(méi)有與OpenAI相同的計(jì)算資源，也沒(méi)有大批人類評(píng)論員來(lái)反饋他們的大語(yǔ)言模型如何回答問(wèn)題，以便工程師可以改進(jìn)這些問(wèn)題。
不可否認(rèn)，OpenAI、谷歌以及周一從亞馬遜云科技（AWS）獲得40億美元投資的另一家明星大語(yǔ)言模型創(chuàng)企Anthropic，在開(kāi)發(fā)先進(jìn)大語(yǔ)言模型方面都領(lǐng)先于微軟。
但微軟可能能夠以成本的一小部分，在構(gòu)建模仿OpenAI軟件質(zhì)量的AI模型的競(jìng)賽中競(jìng)爭(zhēng)，正如微軟在6月份發(fā)布的一個(gè)稱為Orca的內(nèi)部模型時(shí)所表明的那樣。
大語(yǔ)言模型是ChatGPT等對(duì)話式AI的基礎(chǔ)。對(duì)于微軟來(lái)說(shuō)，在沒(méi)有OpenAI直接幫助的情況下開(kāi)發(fā)高質(zhì)量的大語(yǔ)言模型，可以在公司討論在未來(lái)幾年更新合作伙伴關(guān)系時(shí)為其提供更多的談判籌碼。
目前的交易似乎是互惠互利的：作為對(duì)OpenAI資金的回報(bào)，微軟獲得了永久使用OpenAI在微軟產(chǎn)品中現(xiàn)有知識(shí)產(chǎn)權(quán)的獨(dú)家權(quán)利。在償還初始投資之前，它還獲得OpenAI理論運(yùn)營(yíng)利潤(rùn)的75%，并在達(dá)到一定上限之前獲得49%的利潤(rùn)。
微軟指望其與OpenAI以及其他AI企業(yè)的現(xiàn)有聯(lián)盟，在未指定時(shí)期內(nèi)增加至少100億美元的新收入。Office 365生產(chǎn)力應(yīng)用程序中新的AI功能出現(xiàn)了收入牽引的早期跡象。其云計(jì)算競(jìng)爭(zhēng)對(duì)手AWS的至少一個(gè)主要客戶在Azure OpenAI云服務(wù)上花費(fèi)了大量資金。微軟還在7月透露稱，超過(guò)27000家公司已經(jīng)為代碼編程工具GitHub Copilot支付了費(fèi)用，該工具由OpenAI軟件提供支持。
不過(guò)，納德拉或微軟研究主管的任何愿望，在沒(méi)有OpenAI的情況下開(kāi)發(fā)復(fù)雜的AI，都可能是一廂情愿的想法。
自從全力以赴地使用OpenAI以來(lái)，微軟的研究部門在很大程度上被降級(jí)為調(diào)整OpenAI的模型以用于微軟產(chǎn)品，而不是開(kāi)發(fā)自己的模型。過(guò)去一年，隨著幾波研究人員的離開(kāi)，以及一些人進(jìn)入微軟內(nèi)部產(chǎn)品團(tuán)隊(duì)，該部門失去了一些人才。
03.投入上千塊GPU?開(kāi)發(fā)更低成本的“精簡(jiǎn)”模型
但在OpenAI的陰影下呆了一年后，一些微軟研究人員發(fā)現(xiàn)了一個(gè)新的目的：制作AI工程師所謂的“精簡(jiǎn)（distilled）”模型，這些模型模仿GPT-4等大型模型，但規(guī)模更小，操作成本低得多。
諷刺的是，微軟與OpenAI的交易條款，正在幫助微軟努力打破對(duì)OpenAI的依賴。當(dāng)微軟客戶使用必應(yīng)聊天機(jī)器人時(shí)，微軟可以對(duì)OpenAI模型產(chǎn)生的結(jié)果擁有獨(dú)特的訪問(wèn)權(quán)限。
微軟現(xiàn)在正在使用這些數(shù)據(jù)來(lái)創(chuàng)建更小的模型。其研究人員發(fā)現(xiàn)，這些模型可以用更少的計(jì)算資源產(chǎn)生類似的結(jié)果。谷歌、Databricks等許多其他AI開(kāi)發(fā)人員也專注于開(kāi)發(fā)更小的模型來(lái)處理特定任務(wù)。
為了創(chuàng)建其Orca模型，微軟研究人員將GPT-4產(chǎn)生的數(shù)百萬(wàn)個(gè)答案輸入一個(gè)更基本的開(kāi)源模型，以教它模仿GPT-4。
最后，研究人員表示，Orca模型在一系列任務(wù)上的表現(xiàn)，比他們訓(xùn)練的開(kāi)源模型基本版Meta Llama 2要好得多，幾乎和GPT-4一樣，例如解釋如何解決數(shù)學(xué)問(wèn)題或總結(jié)會(huì)議記錄。
他們稱，在某些情況下，Orca與OpenAI的ChatGPT的免費(fèi)版一樣好。Orca能夠用不到GPT-4使用的1/10的計(jì)算能力做到這一點(diǎn)。
在本月發(fā)表的另一篇論文中，微軟研究人員公布了Phi，他們完全根據(jù)“教科書(shū)質(zhì)量”信息對(duì)其進(jìn)行了訓(xùn)練。Phi的參數(shù)量不到GPT-4參數(shù)量的1%。研究表明，由于高質(zhì)量的訓(xùn)練數(shù)據(jù)，Phi在數(shù)學(xué)和邏輯問(wèn)題上精通的開(kāi)源模型是其規(guī)模的5倍。
目前還不清楚像Orca和Phi這樣的精簡(jiǎn)模型在長(zhǎng)期內(nèi)是否有用，微軟之外的研究人員激烈辯論，這些論文是否真的證明了較小的精簡(jiǎn)模型以任何方式與GPT-4等更大的先進(jìn)模型具有可比性。但他們的成本優(yōu)勢(shì)給了微軟一個(gè)繼續(xù)前進(jìn)的動(dòng)力。
一位微軟現(xiàn)任員工說(shuō)，在公布Phi后，Peter Lee本月早些時(shí)候告訴員工，驗(yàn)證此類模型的質(zhì)量將是團(tuán)隊(duì)的首要任務(wù)。他還談道，研究人員正在分配他們大約2000個(gè)GPU中的大部分，用于制作精簡(jiǎn)模型。
當(dāng)然了，與微軟提供給OpenAI的計(jì)算資源相比，這點(diǎn)芯片集群規(guī)?？梢哉f(shuō)是微不足道。一篇即將發(fā)表的論文將重點(diǎn)關(guān)注一種被稱為對(duì)比學(xué)習(xí)的方法，其中工程師教授模型以區(qū)分高質(zhì)量和低質(zhì)量的響應(yīng)，如何改善Orca。這個(gè)人談道，其他微軟研究人員正在開(kāi)發(fā)一個(gè)可以解釋和生成圖文的多模態(tài)大語(yǔ)言模型。
微軟和OpenAI的發(fā)言人拒絕對(duì)這篇論文發(fā)表評(píng)論，微軟不會(huì)讓Lee或Orca背后的研究人員接受采訪。
像Orca和Phi這樣的模型可以幫助微軟降低與它為客戶提供的AI功能相關(guān)的計(jì)算成本。一位現(xiàn)任員工稱，微軟產(chǎn)品經(jīng)理已經(jīng)在測(cè)試如何處理一些用戶的必應(yīng)聊天機(jī)器人對(duì)Orca和Phi的查詢，而不是使用OpenAI的模型。這些方法包括使用更簡(jiǎn)單的查詢來(lái)總結(jié)小段文本或回答是或否的問(wèn)題，不需要多步推理的更長(zhǎng)查詢。
微軟還在權(quán)衡是否向Azure云客戶提供Orca版本。對(duì)它的需求可能已經(jīng)實(shí)現(xiàn)了。
據(jù)知情人士透露，在微軟發(fā)布Orca論文后，微軟研究院的經(jīng)理告訴同事，一些Azure客戶詢問(wèn)了他們何時(shí)可以使用它。鑒于Meta對(duì)公司將其開(kāi)源大語(yǔ)言模型商業(yè)化的限制，目前還不清楚微軟是否需要Meta的許可。
04.結(jié)語(yǔ)：微軟與OpenAI裂痕漸顯正積極接納其他大模型伙伴
華盛頓大學(xué)教授、向AI開(kāi)發(fā)人員銷售軟件的Snorkel AI的聯(lián)合創(chuàng)始人Alex Ratner談道：“越來(lái)越多的企業(yè)正在運(yùn)行小模型?！盙PT-4是“吸引眼球的東西，可以作為你開(kāi)始的基礎(chǔ)......但當(dāng)涉及到微軟為其產(chǎn)品提供動(dòng)力所需的專業(yè)用例時(shí)，我們將繼續(xù)看到這種多樣化。”
微軟還通過(guò)Azure提供其他大語(yǔ)言模型，包括Meta的Llama 2，對(duì)沖了對(duì)OpenAI的賭注。據(jù)The Information此前報(bào)道，微軟正在與Databricks合作，向Azure客戶銷售軟件，以便他們可以使用開(kāi)源大語(yǔ)言模型而不是OpenAI的閉源應(yīng)用程序來(lái)構(gòu)建應(yīng)用程序。
來(lái)源：The Information
下載ECAD模型
