305
肯睿Cloudera AI推理服務(wù)利用NVIDIA加速計(jì)算和NVIDIA NIM微服務(wù)，將大語(yǔ)言模型（LLM）性能提升了 36倍，為企業(yè)帶來(lái)更強(qiáng)大的性能和安全性以及可擴(kuò)展靈活性。
服務(wù)集兩家所長(zhǎng)，將肯睿Cloudera的可信數(shù)據(jù)作為可信AI的基礎(chǔ)，并通過(guò)NVIDIA加速計(jì)算和NVIDIA AI Enterprise軟件平臺(tái)在肯睿Cloudera平臺(tái)上部署安全、高性能的私有AI應(yīng)用。
可信的數(shù)據(jù)、分析和AI混合平臺(tái)廠商肯睿Cloudera今天發(fā)布了由NVIDIA NIM微服務(wù)驅(qū)動(dòng)的肯睿Cloudera AI推理服務(wù)，該服務(wù)同時(shí)成為NVIDIA AI Enterprise平臺(tái)的一部分。作為業(yè)界首批提供嵌入式 NIM微服務(wù)功能的AI推理服務(wù)之一，肯睿Cloudera AI推理服務(wù)以獨(dú)特方式簡(jiǎn)化了大規(guī)模AI模型的部署與管理，使企業(yè)能夠發(fā)揮出其數(shù)據(jù)的真正潛力，將生成式AI從試點(diǎn)階段推進(jìn)到全面生產(chǎn)階段。
根據(jù)德勤最新數(shù)據(jù)顯示，企業(yè)采用生成式AI的最大障礙是合規(guī)風(fēng)險(xiǎn)和治理問(wèn)題。盡管如此，生成式AI仍在快速普及，今年第三季度有超過(guò)三分之二的企業(yè)增加了生成式AI預(yù)算。為了緩解上述問(wèn)題，無(wú)論在本地，還是在公有云中，企業(yè)都必須轉(zhuǎn)向私有AI模型和應(yīng)用。為此，企業(yè)需要安全、可擴(kuò)展的解決方案來(lái)避免復(fù)雜的自行解決方法。
肯睿Cloudera AI推理服務(wù)通過(guò)在企業(yè)控制范圍內(nèi)提供安全開(kāi)發(fā)與部署，防止敏感數(shù)據(jù)泄露到云服務(wù)商托管的非私有AI模型服務(wù)中。這項(xiàng)NVIDIA技術(shù)驅(qū)動(dòng)的服務(wù)幫助企業(yè)快速構(gòu)建實(shí)現(xiàn)可信AI所需的可信數(shù)據(jù)，支持企業(yè)高效開(kāi)發(fā)AI驅(qū)動(dòng)的聊天機(jī)器人、虛擬助手和代理應(yīng)用，從而提升生產(chǎn)力并實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)。
肯睿Cloudera在與NVIDIA合作后不久就推出了肯睿Cloudera AI推理服務(wù)，進(jìn)一步強(qiáng)調(diào)了肯睿Cloudera的承諾，即在各行各業(yè)應(yīng)對(duì)數(shù)字化轉(zhuǎn)型與AI集成復(fù)雜性的關(guān)鍵時(shí)刻，不斷推動(dòng)企業(yè)AI創(chuàng)新。
開(kāi)發(fā)者可以使用NVIDIA Tensor Core GPU構(gòu)建、定制和部署企業(yè)級(jí)大語(yǔ)言模型（LLM） ，其性能最高可提升36倍，吞吐量是使用CPU時(shí)的近4倍。用戶界面（UI）和API可與NVIDIA NIM微服務(wù)容器直接集成，不再需要使用命令行界面（CLI）和單獨(dú)的監(jiān)控系統(tǒng)，為用戶帶來(lái)了無(wú)縫銜接體驗(yàn)。該服務(wù)與肯睿Cloudera AI模型注冊(cè)表集成后，還可通過(guò)管理模型端點(diǎn)和操作的訪問(wèn)控制改善安全性和治理。用戶能夠在一個(gè)統(tǒng)一平臺(tái)上通過(guò)一項(xiàng)服務(wù)無(wú)縫管理所有模型，無(wú)論是LLM部署，還是傳統(tǒng)模型都不例外。
肯睿Cloudera AI推理服務(wù)的其他主要功能包括：
- 高級(jí)AI功能：利用NVIDIA NIM微服務(wù)優(yōu)化開(kāi)源LLM（包括LLama和Mistral），推動(dòng)自然語(yǔ)言處理（NLP）、計(jì)算機(jī)視覺(jué)和其他AI領(lǐng)域的前沿技術(shù)發(fā)展。
- 混合云與隱私：在本地或云中運(yùn)行工作負(fù)載，通過(guò)VPC部署增強(qiáng)安全性與合規(guī)性。
- 可擴(kuò)展性與監(jiān)控：依靠自動(dòng)擴(kuò)展、高可用性（HA）和實(shí)時(shí)性能追蹤檢測(cè)和糾正問(wèn)題，實(shí)現(xiàn)高效資源管理。
- 開(kāi)放式 API與CI/CD集成：使用符合標(biāo)準(zhǔn)的API進(jìn)行模型部署、管理和監(jiān)控，以便與 CI/CD流水線和MLOps工作流程無(wú)縫集成。
- 企業(yè)安全功能：通過(guò)服務(wù)帳戶、訪問(wèn)控制、數(shù)據(jù)沿襲和審計(jì)功能執(zhí)行模型訪問(wèn)。
- 風(fēng)險(xiǎn)管理部署：通過(guò)A/B測(cè)試和“金絲雀推廣”（canary rollout）以控制模型更新。
行業(yè)分析師Sanjeev Mohan表示：“企業(yè)正對(duì)投資生成式AI熱情高漲，但這不僅需要可擴(kuò)展的數(shù)據(jù)，還需要安全、合規(guī)且管理良好的數(shù)據(jù)。將私有AI大規(guī)模投入生產(chǎn)帶來(lái)了DIY方法難以解決的復(fù)雜性。肯睿Cloudera AI推理服務(wù)通過(guò)將先進(jìn)的數(shù)據(jù)管理與NVIDIA的AI專(zhuān)業(yè)技術(shù)相結(jié)合彌補(bǔ)了這一差距，在保護(hù)數(shù)據(jù)的同時(shí)發(fā)揮數(shù)據(jù)潛能。憑借服務(wù)帳戶、訪問(wèn)控制、審計(jì)等企業(yè)級(jí)安全功能，企業(yè)可以放心地保護(hù)自己的數(shù)據(jù)，并在本地或云中運(yùn)行工作負(fù)載。以其所需的靈活性和治理方式高效部署AI模型。”
肯睿Cloudera首席產(chǎn)品官Dipto Chakravarty表示：“我們十分高興能與NVIDIA攜手推出肯睿Cloudera AI推理服務(wù)，為客戶提供一個(gè)支持幾乎所有模型和用例的一站式AI/ML平臺(tái)。如此一來(lái)，企業(yè)既可以使用我們的軟件創(chuàng)建強(qiáng)大的AI應(yīng)用，也可以在肯睿Cloudera平臺(tái)中運(yùn)行性能卓越的AI應(yīng)用。通過(guò)集成NVIDIA AI，肯睿Cloudera能夠以先進(jìn)的性能促進(jìn)決策的智能化，使用可信數(shù)據(jù)大規(guī)模構(gòu)建可信的AI應(yīng)用，從而支持客戶不斷創(chuàng)新?！?/p>
NVIDIA AI軟件、模型和服務(wù)副總裁Kari Briski表示： “當(dāng)今企業(yè)需要將生成式AI與其現(xiàn)有的數(shù)據(jù)基礎(chǔ)設(shè)施無(wú)縫集成，從而提升業(yè)務(wù)成果。通過(guò)將NVIDIA NIM微服務(wù)整合到肯睿Cloudera AI 推理服務(wù)平臺(tái)中，我們支持開(kāi)發(fā)者能夠輕松創(chuàng)建可信的生成式AI應(yīng)用，同時(shí)形成一個(gè)自我維持的AI數(shù)據(jù)飛輪。”
