虹科干貨丨來抄作業(yè)！用Redis VSS，讓大語言模型更懂你

引導(dǎo)語：

好沮喪，大語言模型不懂我怎么辦，怎么也搜不到想要的答案(ㄒoㄒ)當(dāng)當(dāng)當(dāng)當(dāng)，Redis VSS閃亮登場，不必微調(diào)模型，也能輕松駕馭大語言，快速解答你的疑慮，滿足你的求知欲，你的AI好伙伴！

簡介：使用大型語言模型(Large Language Model, LLM)時，經(jīng)常需要檢索與問題相關(guān)的數(shù)據(jù)作為語境，這是為了在不微調(diào)LLM的情況下，讓LLM了解您的自定義數(shù)據(jù)。向量搜索是一種很流行的數(shù)據(jù)檢索策略，因為它很擅長匹配相似的數(shù)據(jù)。Redis原生支持向量相似性搜索，專為速度而設(shè)計。

朋友圈文案：檢索不到想要的信息？怎么才能夠讓大語言模型更懂你呢？Redis VSS向量檢索來助力，更快的對話式搜索，讓大語言模型成為更懂你的朋友。
關(guān)鍵詞：Redis；向量檢索；大語言模型；

在這個簡短的教程中，我們將使用 Relevance AI、Redis VSS、OpenAI GPT 和 Cohere Wikipedia 嵌入創(chuàng)建一條LLM鏈，這使得我們能夠使用Redis向量搜索向百科提問，根據(jù)我們的問題搜索最相似的文章。對于嵌入向量，它們是表示各種類型數(shù)據(jù)的數(shù)字列表，在這里，我們使用Cohere多語言模型生成的嵌入向量。
為了按照本教程進(jìn)行操作，您需要一個支持JSON文檔數(shù)據(jù)結(jié)構(gòu)，且內(nèi)置實時搜索和查詢功能的Redis數(shù)據(jù)庫。您可以選擇在Redis Enterprise Cloud上創(chuàng)建，或者在Docker中使用Redis Stack創(chuàng)建。

一、設(shè)置Redis作為向量數(shù)據(jù)庫

運(yùn)行Redis之后，我們從HuggingFace上導(dǎo)入Cohere的多語言維基百科嵌入數(shù)據(jù)集，這只需要幾個簡單的步驟，您可以在這個jupyter筆記本中查看完整的代碼。

步驟 1. 安裝redis和datasets的Python庫。

步驟 2. 創(chuàng)建一個客戶端連接。

步驟 3. 下載樣本數(shù)據(jù)集。

步驟 4. 使用JSON將每個文檔導(dǎo)入Redis。

步驟 5. 創(chuàng)建一個向量搜索索引

此命令指定索引Wikipedia，該索引在JSON中存儲數(shù)據(jù)，其中所有鍵都使用前綴wiki:進(jìn)行索引。在模式中，我們使用$.field_name引用JSON中的每個字段，并用名稱及其數(shù)據(jù)類型為其添加一個友好的標(biāo)簽。向量字段“emb”是向量類型，并使用HNSW作為索引類型，L2作為距離度量方式。

命令運(yùn)行后，您就擁有了支持向量相似性搜索的Redis索引。

二、建立LLM鏈

接下來，就可以進(jìn)入Relevance AI筆記本開始構(gòu)建我們的LLM鏈了。

步驟 1. 如有必要，請注冊Relevance AI的免費帳戶。登錄后，選擇“構(gòu)建AI鏈”并點擊“創(chuàng)建新鏈”，您將進(jìn)入到一個筆記本界面。

Relevance AI鏈筆記本

步驟 2. 在執(zhí)行LLM鏈之前，您需要配置您的OpenAI API密鑰和Redis鏈接字符串。請從側(cè)邊欄選擇“API keys”，然后提供您的Redis鏈接字符串和OpenAI API密鑰。

步驟 3. 選擇“從Prompt開始”，為“向量搜索(Redis)”添加新的轉(zhuǎn)換。使用以下詳細(xì)信息填寫表格：

• 索引名稱：您在Redis中創(chuàng)建的索引，即wikipedia。
• 向量字段：存儲嵌入的字段，對于維基百科數(shù)據(jù)集，這里填emb。
• 模型Model: cohere-multilingual-22-12，生成搜索查詢的向量嵌入。
• 搜索查詢: 我們快速為LLM鏈定義一個輸入。按{}并輸入{{params.question}}將其更改為變量模式。

Redis 向量搜索步驟及其輸入的示例。

步驟4. 配置LLM Prompt以使用向量搜索向Prompt中注入上下文并提問。您可以根據(jù)自己的需要自定義Prompt。

LLM 步驟的示例，該步驟從 Redis 搜索和查詢中獲取上下文并提出問題。

這是為了幫助人們查詢大量的信息。比如，你最喜歡周杰倫的《夜曲》，你想知道：“這首歌的吉他前奏是誰彈奏的？”有了LLM鏈，你就可以把這個問題扔給結(jié)合了AI的維基百科進(jìn)行搜索，它會迅速給出答案。

這不僅僅是實踐新技術(shù)，更是快速地加深你的理解并滿足你的好奇心。我們的LLM鏈就像位知識淵博的朋友，熱情地與你清茶淡話，它隨時準(zhǔn)備同你對話，這為知識搜索增添了一絲人情味。

三、部署鏈

Relevance AI提供了兩種部署鏈的方法：作為可嵌入的應(yīng)用程序或作為API端點。應(yīng)用程序也可以通過鏈接直接與用戶共享，用戶可以看到表格，填寫并運(yùn)行LLM鏈，這些現(xiàn)在已經(jīng)可以用于生產(chǎn)中了。

帶有可用于生產(chǎn)的 API 端點或可共享 URL 表單的LLM鏈的部署頁面

虹科是Redis原廠的中國區(qū)戰(zhàn)略合作伙伴。我們持續(xù)關(guān)注各行業(yè)當(dāng)下急切需求，專注于為企業(yè)解答疑問，制定專屬服務(wù)，提供一站式數(shù)據(jù)庫和商業(yè)智能解決方案。了解更多【企業(yè)級數(shù)據(jù)庫解決方案】及【企業(yè)緩存指南】，歡迎前往虹科云科技官網(wǎng)！

聯(lián)系虹科工程師：15528663362

聯(lián)系方式鏈接：https://t.dustess.com/Fc6fpUjg

官網(wǎng)鏈接：https://hongcloudtech.com/