為數據、分析和AI提供統(tǒng)一平臺
北京2024年12月10日?/美通社/ -- 亞馬遜云科技在2024 re:Invent全球大會上,宣布推出新一代Amazon SageMaker,將客戶所需的快速SQL分析、PB級大數據處理、數據探索和集成、模型開發(fā)和訓練以及生成式人工智能(AI)等功能統(tǒng)一到一個集成平臺上。
- 全新的Amazon SageMaker Unified Studio使客戶能夠輕松查找和訪問整個組織的數據,并匯集了亞馬遜云科技專門構建的分析、機器學習(ML)和AI功能,客戶可以在Amazon Q Developer的協助下,為各種類型的常見數據用例選擇最合適的工具處理數據。
- Amazon SageMaker Catalog和內置的治理功能確保合適的用戶以正確目的訪問合適的數據、模型和開發(fā)組件。
- 全新的Amazon SageMaker Lakehouse統(tǒng)一了數據湖、數據倉庫、運營數據庫和企業(yè)應用程序中的數據,使客戶可以輕松訪問和處理Amazon SageMaker Unified Studio中的數據,并使用其熟悉的AI和ML工具或與Apache Iceberg兼容的查詢引擎。
- 全新zero-ETL與領先的軟件即服務(SaaS)應用程序的集成,讓客戶無需復雜的數據管道,即可在Amazon SageMaker Lakehouse和Amazon Redshift中訪問第三方SaaS應用程序的數據,并進行分析或機器學習。
- 眾多客戶和合作伙伴包括Adastra、Confluence、Etleap、idealista、Informatica、Lennar、Natera、NatWest Group、NTT Data、羅氏、Tableau、豐田北美公司等已經在使用新一代Amazon SageMaker,整合他們的數據、分析和AI項目。
亞馬遜云科技人工智能和數據副總裁Swami Sivasubramanian博士表示:"分析和AI正在融合,從歷史分析到ML模型訓練和生成式AI應用程序,客戶以越來越互聯的方式使用數據。為了支持這些工作負載,許多客戶已經在使用我們專門構建的分析和ML工具組合,例如,已成為處理數據和構建ML模型事實標準的Amazon SageMaker、Amazon EMR、Amazon Redshift、Amazon S3數據湖和Amazon Glue的組合。新一代Amazon SageMaker將這些功能匯集到一起,同時還加入了一些令人興奮的新特性,為客戶提供數據處理、SQL分析、ML模型開發(fā)和訓練以及構建生成式AI所需的所有工具。"
使用Amazon SageMaker Unified Studio更快地協作和構建
如今,數十萬客戶使用Amazon SageMaker來構建、訓練和部署ML模型。許多客戶還依賴亞馬遜云科技提供的一整套專門構建的分析服務來支持各種工作負載,包括SQL分析、搜索分析、大數據處理和流式分析。越來越多的客戶不再孤立地使用這些工具,相反,他們正在將分析、ML和生成式AI相結合來獲取洞察并為用戶提供新體驗。這些客戶將受益于一個統(tǒng)一的環(huán)境——匯集了客戶熟悉的亞馬遜云科技分析、ML和生成式AI工具,不但可以輕松訪問他們的所有數據,還能夠與團隊或組織的其他成員輕松協作處理數據項目。
新一代Amazon SageMaker包括一個新的、統(tǒng)一的工作室,為客戶提供一個單一的數據和AI開發(fā)環(huán)境,用戶可以在其中查找和訪問其組織中的所有數據,為各種常見的數據用例選擇最佳的工具,并將數據和AI項目擴展至團隊內及不同分工角色以實現協作。Amazon SageMaker Unified Studio整合了在Amazon Bedrock、Amazon EMR、Amazon Redshift、Amazon Glue和現有Amazon SageMaker Studio中客戶喜歡使用的一系列獨立"工作室"、查詢編輯器和可視化工具的功能和工具。這使客戶可以輕松訪問和使用這些功能來發(fā)現和準備數據、編寫查詢或代碼、處理數據以及構建ML模型。Amazon Q Developer全程協助支持開發(fā)任務,包括數據發(fā)現、編碼、SQL生成和數據集成等。例如,用戶可以詢問Amazon Q:"我應該使用哪些數據來更好地了解產品銷售情況?"或"生成SQL來計算按照產品類別分類的總收入。"用戶可以安全地發(fā)布數據、模型、應用程序和其他構件并與其團隊或組織成員共享,從而加快對數據資產的可發(fā)現性和使用率。借助Amazon SageMaker Unified Studio中與Amazon Bedrock集成的開發(fā)環(huán)境(IDE),用戶可以使用Amazon Bedrock精選的高性能基礎模型和工具(例如Agents、Guardrails、Knowledge Bases和Flows),快速、輕松地構建和部署生成式AI應用程序。Amazon SageMaker Unified Studio內置數據發(fā)現、共享和治理功能,因此分析師、數據科學家和工程師可以輕松搜索和找到其用例所需的正確數據,同時應用所需的安全控制和權限,維護訪問控制,并保護他們的數據安全。
NatWest Group是英國一家領先的銀行,為超過1900萬客戶提供服務,使用多種工具進行數據工程、SQL分析、ML和生成式AI工作負載。借助Amazon SageMaker Unified Studio,NatWest Group將在整個組織內擁有一個統(tǒng)一的環(huán)境來支持這些工作負載,并預計其數據用戶訪問分析和AI功能所需的時間將減少50%,從而使他們花更少的時間管理多個服務,將更多的時間用于客戶創(chuàng)新。
通過Amazon SageMaker數據和AI治理滿足企業(yè)安全需求
新一代Amazon SageMaker簡化了整個組織內數據和AI的發(fā)現、治理和協作。借助基于Amazon DataZone構建的Amazon SageMaker Catalog,管理員可以使用具有精細控制的單一權限模型,定義和實施一致的訪問策略,這樣跨團隊的數據工作人員可以安全地發(fā)現和訪問經過批準的數據和模型,這些數據和模型包含由生成式AI創(chuàng)建的業(yè)務上下文元數據。管理員可以輕松地定義和實施跨模型、工具和數據源的權限,而定制的安全措施有助于確保AI應用程序的安全性和合規(guī)性。客戶還可以通過Amazon SageMaker中的數據分類、毒舌檢測(toxicity detection)、防護欄(guardrails)和負責任的AI策略來保護其AI模型。
Amazon SageMaker Lakehouse減少數據孤島并統(tǒng)一數據
如今,超過一百萬個數據湖構建在Amazon Simple Storage Service(Amazon S3)上,使客戶能夠集中其數據資產,并通過亞馬遜云科技分析、AI和ML工具獲取價值。數據湖使客戶能夠按原樣存儲數據,從而輕松組合來自多個來源的數據??蛻舻臄祿赡芊植荚诙鄠€數據湖以及數據倉庫中,用一種簡單的方法統(tǒng)一所有這些數據將讓客戶受益。
Amazon SageMaker Lakehouse可統(tǒng)一訪問存儲在Amazon S3數據湖、Redshift數據倉庫和聯合數據源中的數據,無論數據的存儲方式和物理位置在哪,都可以減少數據孤島并讓查詢更容易。借助Amazon SageMaker中與Apache Iceberg兼容的全新數據湖倉功能,客戶可以從Amazon SageMaker Unified Studio中,使用他們熟悉的與Apache Iceberg開放標準兼容的AI和ML工具以及查詢引擎,訪問和處理他們的所有數據。現在,無論數據以何種方式存儲以及存儲位置,客戶可以使用他們喜歡的分析和ML工具對數據進行處理,以支持包括SQL分析、即席查詢、數據科學、ML和生成式AI在內的用例。Amazon SageMaker Lakehouse提供集成的精細訪問控制,這些訪問控制一致地應用于Lakehouse中所有分析和AI工具中的數據,客戶只需定義一次權限即可在整個組織中安全地共享數據。
羅氏(Roche)是一家制藥和診斷領域的先鋒企業(yè),致力于推進科學進步以改善人們的生活。該公司將使用Amazon SageMaker Lakehouse統(tǒng)一來自Amazon Redshift和Amazon S3數據湖的數據,以消除數據孤島,增強團隊之間的協作,并允許用戶無縫利用數據,無需昂貴的數據移動或重復的安全訪問控制。借助Amazon SageMaker Lakehouse,Roche預計數據處理時間將減少40%,這讓他們減少數據管理工作,而將精力更多用于推動業(yè)務發(fā)展。
全新zero-ETL集成SaaS應用程序,可快速、輕松地訪問SaaS數據
為了在運營中真正利用數據,企業(yè)需要無縫訪問所有數據,無論這些數據位于何處。這就是亞馬遜云科技不斷發(fā)展zero-ETL的原因。zero-ETL使數據集成不再是繁瑣的手動工作,客戶可以輕松地在需要的地方獲取數據。這包括Amazon Aurora MySQL和PostgreSQL、Amazon RDS for MySQL以及Amazon DynamoDB與 Amazon Redshift的zero-ETL集成,幫助客戶快速輕松地訪問在Amazon Redshift和Amazon SageMaker Lakehouse中的常用的關系和非關系數據庫中的數據,并用于分析和ML。除了運營數據庫和數據湖,許多客戶還將關鍵企業(yè)數據存儲在SaaS應用程序中,客戶將從輕松訪問所有這些數據進行分析和ML中受益。
客戶使用與SaaS應用程序集成的全新zero-ETL,可以輕松地訪問Amazon SageMaker Lakehouse中的Zendesk和SAP等應用程序以及Amazon Redshift中的數據,并用于分析和AI。這消除了對數據管道的需求,數據管道的構建本身就具有挑戰(zhàn)性且成本高昂,而且數據管道管理復雜,容易出錯而讓客戶無法及時獲得想要的見解。集成SaaS應用程序的zero-ETL包含數據同步、增量更新和刪除檢測以及目標merge的最佳實踐。
來自不同行業(yè)、各種規(guī)模的組織機構,包括Infosys、Intuit和 Woolworths,已經受益于亞馬遜云科技zero-ETL集成,無需構建和管理數據管道,即可快速輕松地連接和分析數據。例如,通過集成SaaS應用程序的zero-ETL,在線房地產平臺idealista將能夠簡化其數據提取和攝取流程,無需多個管道來訪問存儲在第三方SaaS應用程序中的數據,并使他們的數據工程團隊能夠專注于從數據中獲得可操作的見解,而不是構建和管理基礎設施。
新一代Amazon SageMaker現已可用,Amazon SageMaker Unified Studio目前推出預覽并很快可用。