PerfXCloud快速上手

printf("hello world!");printf("今天給大家?guī)鞵erfXCloud快速上手操作");

什么是PerfXCloud？

PerfXCloud是澎峰科技為開發(fā)者和企業(yè)量身打造的AI開發(fā)和部署平臺。它專注于滿足大型模型的微調(diào)和推理需求，為用戶提供極致便捷的一鍵部署體驗(yàn)。

PerfXCloud為算力中心提供大模型AI、科學(xué)與工程計(jì)算的整體運(yùn)營解決方案，助力算力中心升級成為“AI超級工廠”。

1、登錄

訪問PerfXCloud并點(diǎn)擊控制臺進(jìn)行登錄、注冊
https://cloud.perfxlab.cn/

現(xiàn)在我們支持郵箱注冊，后續(xù)將會(huì)支持手機(jī)號注冊。

2、體驗(yàn)中心

在登錄后，在導(dǎo)航欄中點(diǎn)擊體驗(yàn)中心，在“選擇模型”可以選擇你想要體驗(yàn)的模型。然后可以根據(jù)自己需求設(shè)置以下參數(shù)

“stream”設(shè)置選項(xiàng)可以設(shè)置聊天對話是否使用流式輸出。

“max tokens”選項(xiàng)可設(shè)置體驗(yàn)?zāi)Ｐ屯瓿蓵r(shí)要生成的最大token數(shù)量。

“temperature”選項(xiàng)可設(shè)置使用什么樣的采樣溫度，介于0.0和2.0之間。

“history number”選項(xiàng)可設(shè)置可攜帶的聊天歷史記錄條數(shù)，最大設(shè)置為2條。攜帶歷史記錄可能會(huì)超出模型的max tokens,當(dāng)超出時(shí)請減少歷史記錄的條數(shù)。

完成設(shè)置后，即可在輸入框輸入消息，點(diǎn)擊右側(cè)綠色按鈕發(fā)送消息進(jìn)行模型的體驗(yàn)。輸入框左側(cè)的“垃圾桶”圖標(biāo)，點(diǎn)擊可以清空歷史記錄。

3、API調(diào)用

通過python等代碼來調(diào)用PerfXCloud大模型服務(wù)，我們先要在“令牌”中獲取我們的“api_key”，最后通過OpenAI進(jìn)行調(diào)用PerfXCloud。

獲取“api_key”

通過OpenAI接口調(diào)用

安裝 Python 3.7.1 或更高版本并設(shè)置虛擬環(huán)境后，即可安裝 OpenAI Python 庫。從終端/命令行運(yùn)行：

pip install --upgrade openai

通過 openai 的相關(guān)接口進(jìn)行調(diào)用，目前平臺兼容OpenAI大多數(shù)參數(shù)。

import osfrom openai import OpenAI ? ? ? ? ? ?client = OpenAI( ? ?base_url='https://cloud.perfxlab.cn/v1', ? api_key="YOUR_API_KEY" ? ?) ? ? ? ? ? ?stream = client.chat.completions.create( ? ?model="Qwen-14B-Chat-Int4", ? ?messages=[{"role": "user", ? ? ? ? ? ? ? ? ? ? ? ?"content": "hello "}], ? ?temperature=1, ? ?max_tokens=16, ? ? ? ? ? ?n=1, ? ? ? ? ? ?presence_penalty=0, ? ? ? ? ? ?frequency_penalty=0, ? ? ? ? ? ?stream=True, ? ? ? ?) ? ? ? ? ? ?for chunk in stream: ? ?if chunk.choices[0].delta.content is not None: ? ? ? ?print(chunk.choices[0].delta.content, end="")

??api_key為上一步創(chuàng)建的需要修改