虹科分享 | 谷歌Vertex AI平臺(tái)使用Redis搭建大語(yǔ)言模型

引導(dǎo)語(yǔ)：最近，谷歌宣布旗下Vertex人工智能平臺(tái)最新支持了生成式人工智能，是什么支持語(yǔ)言模型實(shí)現(xiàn)與人類(lèi)的語(yǔ)言交互呢？語(yǔ)言模型的大量知識(shí)儲(chǔ)備從何而來(lái)呢？

簡(jiǎn)介：基礎(chǔ)模型和高性能數(shù)據(jù)層這兩個(gè)基本組件始終是創(chuàng)建高效、可擴(kuò)展語(yǔ)言模型應(yīng)用的關(guān)鍵，利用Redis搭建大語(yǔ)言模型，能夠?qū)崿F(xiàn)高效可擴(kuò)展的語(yǔ)義搜索、檢索增強(qiáng)生成、LLM 緩存機(jī)制、LLM記憶和持久化。有Redis加持的大語(yǔ)言模型可應(yīng)用于文檔檢索、虛擬購(gòu)物助手、客戶(hù)服務(wù)助理等，為企業(yè)帶來(lái)益處。

朋友圈文案：人工智能如火如荼，語(yǔ)言模型人類(lèi)實(shí)時(shí)交互的同時(shí)，又怎能少了背后高性能可擴(kuò)展的數(shù)據(jù)層支持呢？結(jié)合可靠的Redis，谷歌大語(yǔ)言模型實(shí)現(xiàn)了高效可擴(kuò)展的語(yǔ)義搜索、檢索增強(qiáng)生成、LLM 緩存機(jī)制、記憶和持久化。

一、語(yǔ)言模型構(gòu)件

應(yīng)用程序生成、理解和使用人類(lèi)語(yǔ)言的能力正變得越來(lái)越重要，從客服機(jī)器人到虛擬助手，再到內(nèi)容生成，人們對(duì)AI應(yīng)用功能的需求橫跨眾多領(lǐng)域，而這一切的實(shí)現(xiàn)，都要?dú)w功于谷歌的 PaLM 2 等基礎(chǔ)模型，這些模型經(jīng)過(guò)精心調(diào)教，可以生成類(lèi)似人類(lèi)表達(dá)風(fēng)格的內(nèi)容。

在這一動(dòng)態(tài)環(huán)境中，基礎(chǔ)模型和高性能數(shù)據(jù)層這兩個(gè)基本組件始終是創(chuàng)建高效、可擴(kuò)展語(yǔ)言模型應(yīng)用的關(guān)鍵。

1、基礎(chǔ)模型：

基礎(chǔ)模型是生成式人工智能應(yīng)用的基石，大型語(yǔ)言模型（Large Language Model，LLM）是其中的一個(gè)子集。LLM 通過(guò)大量的文本訓(xùn)練，使其能夠?yàn)楦鞣N任務(wù)生成具有上下文相關(guān)性的類(lèi)似人類(lèi)表達(dá)風(fēng)格的文本。改進(jìn)這些模型，使其更加復(fù)雜，從而使應(yīng)用可以更精煉、更有效地響應(yīng)用戶(hù)輸入。所選擇的語(yǔ)言模型會(huì)顯著影響應(yīng)用的性能、成本和服務(wù)質(zhì)量。

然而，PaLM 2 等模型雖然功能強(qiáng)大，但也有其局限性，例如當(dāng)缺乏特定領(lǐng)域的數(shù)據(jù)時(shí)，模型可能不夠相關(guān)，而且可能無(wú)法及時(shí)呈現(xiàn)新信息或準(zhǔn)確信息。LLM 在提示（prompts）中可以處理的上下文長(zhǎng)度（即詞組數(shù)量）有硬性限制，此外，LLM 的訓(xùn)練或微調(diào)需要大量的計(jì)算資源，這會(huì)使成本劇增。要在這些限制和優(yōu)勢(shì)之間取得平衡，需要進(jìn)行謹(jǐn)慎的策略和強(qiáng)大基礎(chǔ)設(shè)施的支持。

2、高性能的數(shù)據(jù)層

高效的 LLM 應(yīng)用程序由可擴(kuò)展的高性能數(shù)據(jù)層支撐，該組件可確保高速交易和低延遲，這對(duì)于保持用戶(hù)流暢交互至關(guān)重要。它在以下方面發(fā)揮關(guān)鍵作用：

• 緩存預(yù)計(jì)算的請(qǐng)求響應(yīng)或嵌入
• 對(duì)過(guò)去的交互歷史進(jìn)行持久化
• 進(jìn)行語(yǔ)義搜索以檢索相關(guān)的上下文或知識(shí)

向量數(shù)據(jù)庫(kù)已成為一種流行的數(shù)據(jù)層解決方案。Redis 在向量搜索方面的投入遠(yuǎn)遠(yuǎn)早于當(dāng)下的向量數(shù)據(jù)庫(kù)熱潮，這反映了我們具有豐富的經(jīng)驗(yàn)，尤其是在性能方面。Redis對(duì)于向量搜索的經(jīng)驗(yàn)在剛剛發(fā)布的 Redis 7.2 版本中得到了體現(xiàn)，該版本包括可擴(kuò)展搜索功能預(yù)覽，與前一版本相比，每秒查詢(xún)次數(shù)提高了16倍。

基礎(chǔ)模型和向量數(shù)據(jù)庫(kù)在不同行業(yè)的 LLM 應(yīng)用中發(fā)揮著至關(guān)重要的作用，因此引發(fā)了業(yè)界的極大興趣和炒作。例如，一些較新的獨(dú)立向量數(shù)據(jù)庫(kù)解決方案（如 Pinecone）宣布獲得巨額融資，并投入大量精力以贏得開(kāi)發(fā)人員的關(guān)注。然而，由于每周都有新的工具出現(xiàn)，因此很難知道哪款工具真的能滿(mǎn)足企業(yè)需求。

GCP （Google’s Google Cloud Platform）的與眾不同之處在于其統(tǒng)一的產(chǎn)品，它將功能強(qiáng)大的基礎(chǔ)模型、可擴(kuò)展的基礎(chǔ)設(shè)施，以及一套用于調(diào)整、部署和維護(hù)這些模型的工具結(jié)合在一起，從而能夠確保最高級(jí)別的數(shù)據(jù)安全和隱私安全。

但是，要真正發(fā)揮這些進(jìn)展的潛力，一個(gè)高性能且可擴(kuò)展的數(shù)據(jù)層是不可或缺的，這就是Redis的作用所在。

3、可擴(kuò)展語(yǔ)言模型應(yīng)用的推理架構(gòu)

GCP 和 Redis Enterprise 用于語(yǔ)言模型應(yīng)用的推理架構(gòu)

這里所呈現(xiàn)的推理架構(gòu)適用于通用語(yǔ)言模型用例。它結(jié)合使用了 Vertex AI（PaLM 2 基礎(chǔ)模型）、BigQuery 和 Redis Enterprise。

小Tips：GCP 和 Redis Enterprise 用于語(yǔ)言模型應(yīng)用的推理架構(gòu)。

您可以按照開(kāi)源 GitHub 倉(cāng)庫(kù)中的 Colab 筆記本逐步設(shè)置此 LLM 架構(gòu)。(項(xiàng)目鏈接見(jiàn)文末)

1. 安裝庫(kù)和工具：安裝所需的 Python 庫(kù)，使用 Vertex AI 進(jìn)行身份驗(yàn)證，并創(chuàng)建一個(gè) Redis 數(shù)據(jù)庫(kù)。

2. 創(chuàng)建 BigQuery 表格：將數(shù)據(jù)集加載到您的 GCP 項(xiàng)目中的 BigQuery 表格中。

3. 生成文本嵌入：循環(huán)遍歷數(shù)據(jù)集中的記錄，使用 PaLM 2 嵌入 API 創(chuàng)建文本嵌入。

4. 加載嵌入：將文本嵌入和一些元數(shù)據(jù)加載到運(yùn)行中的 Redis 服務(wù)器。

5. 創(chuàng)建向量索引：運(yùn)行 Redis 命令來(lái)創(chuàng)建一個(gè)模式和一個(gè)新的索引結(jié)構(gòu)，以實(shí)現(xiàn)實(shí)時(shí)搜索。

完成必要的設(shè)置步驟后，這個(gè)架構(gòu)就可以支持多種 LLM 應(yīng)用，如聊天機(jī)器人和虛擬購(gòu)物助手。

二、在語(yǔ)言模型（LLM）應(yīng)用Redis

即使是經(jīng)驗(yàn)豐富的軟件開(kāi)發(fā)人員和應(yīng)用架構(gòu)師也可能對(duì)這個(gè)新的知識(shí)領(lǐng)域不了解，這個(gè)簡(jiǎn)短的總結(jié)應(yīng)該能幫助你迅速掌握要點(diǎn)。

1、利用Redis實(shí)現(xiàn)高效可擴(kuò)展的語(yǔ)義搜索

語(yǔ)義搜索從龐大的知識(shí)語(yǔ)料庫(kù)中提取語(yǔ)義相似的內(nèi)容。在這個(gè)過(guò)程中，知識(shí)被轉(zhuǎn)化為可以進(jìn)行比較的數(shù)值嵌入向量，以找到與用戶(hù)查詢(xún)最相關(guān)的上下文信息。

Redis 作為高性能向量數(shù)據(jù)庫(kù)，擅長(zhǎng)索引非結(jié)構(gòu)化數(shù)據(jù)，從而實(shí)現(xiàn)高效可擴(kuò)展的語(yǔ)義搜索。Redis 可以增強(qiáng)應(yīng)用程序迅速理解和響應(yīng)用戶(hù)查詢(xún)的能力，其強(qiáng)大的搜索索引能力有助于實(shí)現(xiàn)響應(yīng)迅速和準(zhǔn)確的用戶(hù)交互。

2、利用Redis實(shí)現(xiàn)檢索增強(qiáng)生成

檢索增強(qiáng)生成（Retrieval-Augmented Generation，RAG）方法利用語(yǔ)義搜索等方法，在將提示發(fā)送到 LLM 之前動(dòng)態(tài)地注入事實(shí)知識(shí)。這種技術(shù)最大程度上減少了在專(zhuān)有或頻繁變動(dòng)的數(shù)據(jù)上對(duì) LLM 進(jìn)行微調(diào)的需求。RAG 允許對(duì) LLM 進(jìn)行上下文增強(qiáng)，使其能夠更好地處理當(dāng)前的任務(wù)，例如回答具體問(wèn)題、總結(jié)檢索內(nèi)容或生成新內(nèi)容。

作為向量數(shù)據(jù)庫(kù)和全文搜索引擎，Redis 有助于 RAG 工作流的順暢運(yùn)行。由于其低延遲的數(shù)據(jù)檢索能力，Redis 常常是執(zhí)行此任務(wù)的首選工具。它確保語(yǔ)言模型迅速而準(zhǔn)確地獲得所需的上下文，促進(jìn)了人工智能應(yīng)用高效的執(zhí)行任務(wù)。

檢索增強(qiáng)生成（RAG）架構(gòu)示例

3、利用Redis實(shí)現(xiàn)LLM 的緩存機(jī)制

緩存是增強(qiáng) LLM 響應(yīng)能力和計(jì)算效率的強(qiáng)大技術(shù)手段。

標(biāo)準(zhǔn)緩存提供了一種機(jī)制，用于存儲(chǔ)并快速檢索預(yù)生成的常見(jiàn)查詢(xún)響應(yīng)，從而降低計(jì)算負(fù)載和響應(yīng)時(shí)間。然而，在動(dòng)態(tài)對(duì)話(huà)背景中使用人類(lèi)語(yǔ)言時(shí)，完全匹配的查詢(xún)很少，這就是語(yǔ)義緩存發(fā)揮作用的地方。

語(yǔ)義緩存可以理解并利用查詢(xún)的潛在語(yǔ)義。語(yǔ)義緩存識(shí)別并檢索與輸入查詢(xún)?cè)谡Z(yǔ)義上足夠相似的緩存響應(yīng)。這種能力極大地增加了緩存命中率，進(jìn)一步改善了響應(yīng)時(shí)間和資源利用率。

例如，在客戶(hù)服務(wù)場(chǎng)景中，多個(gè)用戶(hù)可能會(huì)使用不同的措辭詢(xún)問(wèn)類(lèi)似的常見(jiàn)問(wèn)題。語(yǔ)義緩存使得 LLM 能夠在不進(jìn)行冗余計(jì)算的情況下迅速而準(zhǔn)確地回應(yīng)這些問(wèn)題。

LLM 的緩存機(jī)制

Redis 非常適用于在 LLM 中實(shí)現(xiàn)緩存，其強(qiáng)大的功能集包括支持生存時(shí)間（TTL）和逐出策略，用于管理臨時(shí)數(shù)據(jù)。結(jié)合其向量數(shù)據(jù)庫(kù)的語(yǔ)義搜索能力，Redis 能夠高效快速地檢索緩存響應(yīng)，從而顯著提升 LLM 的響應(yīng)速度和系統(tǒng)整體性能，即使在負(fù)載較重的情況下也能如此。

4、利用Redis實(shí)現(xiàn)內(nèi)存和持久化

保留過(guò)去的互動(dòng)和會(huì)話(huà)元數(shù)據(jù)對(duì)于確保上下文連貫和個(gè)性化對(duì)話(huà)至關(guān)重要，然而LLM 并沒(méi)有自適應(yīng)記憶，因此依賴(lài)一個(gè)可靠的系統(tǒng)進(jìn)行快速的對(duì)話(huà)數(shù)據(jù)存儲(chǔ)變得至關(guān)重要。

Redis 提供了一個(gè)強(qiáng)大的解決方案，用于管理 LLM 的記憶。它可以在大量需求下高效地訪(fǎng)問(wèn)聊天歷史和會(huì)話(huà)元數(shù)據(jù)。Redis使用其數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)來(lái)處理傳統(tǒng)的內(nèi)存管理，同時(shí)其向量數(shù)據(jù)庫(kù)功能有助于提取語(yǔ)義相關(guān)的互動(dòng)內(nèi)容。

三、LLM 的應(yīng)用場(chǎng)景

1、文檔檢索

一些企業(yè)需要處理大量的文檔，而 LLM 應(yīng)用可以成為文檔發(fā)現(xiàn)和檢索的強(qiáng)大工具，語(yǔ)義搜索有助于從廣泛的知識(shí)語(yǔ)料庫(kù)中精確定位相關(guān)信息。

2、虛擬購(gòu)物助手

LLM 可以支持復(fù)雜的電子商務(wù)虛擬購(gòu)物助手，通過(guò)上下文理解和語(yǔ)義搜索，它可以理解客戶(hù)的問(wèn)題，提供個(gè)性化的產(chǎn)品推薦，甚至實(shí)時(shí)模擬對(duì)話(huà)互動(dòng)。

3、客戶(hù)服務(wù)助理

將 LLM 部署為客戶(hù)服務(wù)代理可以徹底改變客戶(hù)互動(dòng)方式，除了回答常見(jiàn)問(wèn)題外，系統(tǒng)還可以進(jìn)行復(fù)雜的對(duì)話(huà)，為客戶(hù)提供定制化的幫助，并從過(guò)去的客戶(hù)互動(dòng)中進(jìn)行學(xué)習(xí)。

四、 Redis 和 Google Cloud：強(qiáng)強(qiáng)聯(lián)合

1、基于知識(shí)

GCP 和 Redis 讓 LLM 應(yīng)用不僅僅是先進(jìn)的文本生成器，通過(guò)在運(yùn)行時(shí)迅速注入來(lái)自您自己領(lǐng)域的特定知識(shí)，它們確保您的應(yīng)用可以提供基于知識(shí)、準(zhǔn)確和有價(jià)值的交互，特別適應(yīng)于您的組織知識(shí)庫(kù)。

2、簡(jiǎn)化架構(gòu)

Redis 不僅僅是一個(gè)鍵值數(shù)據(jù)庫(kù)，它是實(shí)時(shí)數(shù)據(jù)的多功能工具，通過(guò)消除為不同用例管理多個(gè)服務(wù)的需求，它極大地簡(jiǎn)化了您的體系架構(gòu)。作為許多組織已經(jīng)信任的緩存和其他需求的工具，Redis 在 LLM 應(yīng)用中的集成起到了無(wú)縫擴(kuò)展的效果。

3、優(yōu)化性能

Redis 是低延遲和高吞吐量數(shù)據(jù)結(jié)構(gòu)的代名詞。當(dāng)與具有超強(qiáng)計(jì)算能力的GCP結(jié)合時(shí) ，您將擁有一個(gè)不僅智能而且響應(yīng)迅速的 LLM 應(yīng)用，即使在負(fù)載較重的情況下也能如此。

4、企業(yè)級(jí)能力

Redis是經(jīng)過(guò)時(shí)間驗(yàn)證的開(kāi)源數(shù)據(jù)庫(kù)核心，可為全球財(cái)富100強(qiáng)公司提供可靠服務(wù)。在Redis Enterprise提供的五個(gè)九（99.999％）可用性的支持下，并由 GCP 強(qiáng)大的基礎(chǔ)架構(gòu)提供支持，您可以完全信任其可以完全滿(mǎn)足企業(yè)需求。

5、加速上市進(jìn)程

利用Redis Enterprise，您可以更專(zhuān)注于創(chuàng)建 LLM 應(yīng)用，而不必費(fèi)心進(jìn)行數(shù)據(jù)庫(kù)設(shè)置。這種集成的便利性加速了上市進(jìn)程，為您的組織提供了競(jìng)爭(zhēng)優(yōu)勢(shì)。

盡管新的向量數(shù)據(jù)庫(kù)和生成式 AI 產(chǎn)品可能在市場(chǎng)上引起了很大的關(guān)注，但是 GCP 和 Redis 的可靠組合更加值得信任。這些經(jīng)過(guò)時(shí)間驗(yàn)證的解決方案不會(huì)很快消失，它們已經(jīng)準(zhǔn)備好為您的 LLM 應(yīng)用提供動(dòng)力，無(wú)論是今天還是未來(lái)的數(shù)年。

聯(lián)系虹科工程師：15528663362

聯(lián)系方式鏈接：https://t.dustess.com/Fc6fpUjg