加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

rLLM:使用大型語(yǔ)言模型進(jìn)行關(guān)系表學(xué)習(xí)

08/08 15:26
822
閱讀需 6 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

本文 rLLM: Relational Table Learning with LLMs 介紹了rLLM(relationLLM)項(xiàng)目,該項(xiàng)目旨在提供一個(gè)平臺(tái),用于快速開(kāi)發(fā)基于大型語(yǔ)言模型(LLMs)的關(guān)系表學(xué)習(xí)(RTL)方法。

按數(shù)據(jù)類型劃分的全球數(shù)據(jù)量趨勢(shì)和LLM令牌成本趨勢(shì)

引言

背景:大型語(yǔ)言模型(LLMs)如ChatGPT在理解和生成文本方面表現(xiàn)出色,利用了大規(guī)模無(wú)監(jiān)督預(yù)訓(xùn)練、指令微調(diào)和價(jià)值對(duì)齊等技術(shù)。

挑戰(zhàn):將LLMs應(yīng)用于實(shí)際大數(shù)據(jù)時(shí)成本極高。預(yù)計(jì)到2025年,LLMs的總成本將達(dá)到近5000萬(wàn)億美元,這遠(yuǎn)超美國(guó)2023年的GDP。

數(shù)據(jù)類型:盡管文本和結(jié)構(gòu)化數(shù)據(jù)的體量較小,但處理這些數(shù)據(jù)的成本最高。

關(guān)系數(shù)據(jù)庫(kù):關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)了全球約73%的數(shù)據(jù),近年來(lái)關(guān)系表學(xué)習(xí)(RTL)成為一個(gè)重要研究方向。

系統(tǒng)概述

rLLM的架構(gòu)

rLLM系統(tǒng)由三個(gè)主要層次組成:數(shù)據(jù)引擎層、模塊層和模型層。

數(shù)據(jù)引擎層
    提供數(shù)據(jù)處理和存儲(chǔ)功能。
模塊層

包括圖神經(jīng)網(wǎng)絡(luò)(GNN)模塊、表神經(jīng)網(wǎng)絡(luò)(TNN)模塊和LLM模塊。

GNN模塊

GraphTransform模塊:提供圖數(shù)據(jù)的預(yù)處理方法,如歸一化和自環(huán)操作,支持組合多種圖預(yù)處理方法。

GraphConv模塊:實(shí)現(xiàn)流行的圖卷積層,包括同質(zhì)和異質(zhì)圖卷積,核心功能是不同節(jié)點(diǎn)間的消息傳遞。

LLM模塊

Predictor模塊:利用LLMs進(jìn)行數(shù)據(jù)注釋,適用于缺乏標(biāo)簽的數(shù)據(jù)場(chǎng)景。

Enhancer模塊:利用LLMs進(jìn)行數(shù)據(jù)增強(qiáng),生成詳細(xì)的文本解釋以提高數(shù)據(jù)質(zhì)量。

TNN模塊

TableTransform模塊:將樣本特征映射到高維向量空間,增強(qiáng)樣本信息。

TableConv模塊:實(shí)現(xiàn)特征列間的多層交互學(xué)習(xí),提取潛在信息,通常使用注意力機(jī)制。

模型層

通過(guò)組合模塊層的組件,提供三種主要策略來(lái)快速開(kāi)發(fā)RTL類型的模型:組合、對(duì)齊和協(xié)同訓(xùn)練。

組合:聯(lián)合使用不同部分的模塊,例如使用LLM模塊的Predictor進(jìn)行初步標(biāo)簽注釋,然后使用GNN模塊的GCN進(jìn)行分類。

對(duì)齊:對(duì)齊不同模塊的輸入和輸出特征空間,例如使用LLM模塊的Enhancer生成嵌入,然后與GNN模塊生成的嵌入對(duì)齊。

協(xié)同訓(xùn)練:協(xié)同訓(xùn)練不同模塊,例如BRIDGE算法結(jié)合TNN和GNN進(jìn)行多表聯(lián)合學(xué)習(xí)。

示例方法 - BRIDGE

BRIDGE的架構(gòu)

BRIDGE(Basic Relational table-Data Learning Framework)方法用于快速構(gòu)建RTL類型的方法。

表數(shù)據(jù)處理:使用表神經(jīng)網(wǎng)絡(luò)(TNN)對(duì)表數(shù)據(jù)進(jìn)行建模和學(xué)習(xí)。

非表數(shù)據(jù)處理:利用表之間的“外鍵”關(guān)系構(gòu)建樣本之間的關(guān)聯(lián),并使用圖神經(jīng)網(wǎng)絡(luò)(GNN)進(jìn)行建模。

集成:將表編碼器和圖編碼器的結(jié)果整合,進(jìn)行多表數(shù)據(jù)及其相互關(guān)系的聯(lián)合建模。

方法和數(shù)據(jù)集

rLLM系統(tǒng)支持多種常見(jiàn)方法,包括同質(zhì)和異質(zhì)的GNN方法以及單表學(xué)習(xí)的TNN方法。

包含的方法
    提供了多種現(xiàn)有方法的實(shí)現(xiàn),包括TabTransformer、TabNet和FT-Transformer。
數(shù)據(jù)集

提供了三個(gè)新的關(guān)系表數(shù)據(jù)集:TML1M、TLF2K和TACM12K,這些數(shù)據(jù)集經(jīng)過(guò)增強(qiáng)并附帶標(biāo)準(zhǔn)分類任務(wù),適合設(shè)計(jì)新的RTL方法。

TML1M:基于經(jīng)典的MovieLens 1M數(shù)據(jù)集。

TLF2K:基于HetRec 2011數(shù)據(jù)集。

TACM12K:基于ACM數(shù)據(jù)集。

評(píng)估

通過(guò)在TML1M數(shù)據(jù)集上的實(shí)驗(yàn),驗(yàn)證了BRIDGE算法的有效性。實(shí)驗(yàn)結(jié)果表明,BRIDGE算法能夠從多個(gè)表及其關(guān)系中提取有價(jià)值的信息,顯著提高了性能。

實(shí)驗(yàn)設(shè)置
    使用TabTransformer作為表編碼器,GCN作為圖編碼器。標(biāo)準(zhǔn)化訓(xùn)練批次、dropout率等參數(shù),進(jìn)行多次實(shí)驗(yàn)以獲取平均結(jié)果。
結(jié)果與分析
    傳統(tǒng)的單表TNN方法只能從單個(gè)目標(biāo)表中學(xué)習(xí),無(wú)法有效利用多個(gè)表及其關(guān)系的信息,性能較差。BRIDGE算法通過(guò)結(jié)合表編碼器和圖編碼器,有效提取多個(gè)表及其關(guān)系中的有價(jià)值信息,顯著提高了性能。

相關(guān)信息

代碼:https://github.com/rllm-project/rllm

論文:https://arxiv.org/abs/2407.20157v1

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
MCF52258CAG66 1 Freescale Semiconductor MCF522XX 32-bit MCU, ColdFire V2 core, 512KB Flash, 66MHz, QFP 144
$12.68 查看
ATMEGA328P-AU 1 Atmel Corporation RISC Microcontroller, 8-Bit, FLASH, AVR RISC CPU, 20MHz, CMOS, PQFP32, 7 X 7 MM, 1 MM HEIGHT, 0.80 MM PITCH, GREEN, PLASTIC, MS-026ABA, TQFP-32

ECAD模型

下載ECAD模型
$2.05 查看
AT91SAM7X512B-AUR 1 Microchip Technology Inc IC MCU 32BIT 512KB FLASH 100LQFP

ECAD模型

下載ECAD模型
$15.51 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜