對(duì)于生成式AI的所有閃光點(diǎn)，這個(gè)新時(shí)代最大的轉(zhuǎn)變可能深埋在軟件堆棧中。AI算法正在不易覺察地改變一個(gè)又一個(gè)數(shù)據(jù)庫。他們正在用復(fù)雜、自適應(yīng)且看似更直觀的AI新功能顛覆傳統(tǒng)數(shù)據(jù)庫。

與此同時(shí)，數(shù)據(jù)庫制造商正在改變我們存儲(chǔ)信息的方式，以便更好地與人工智能模型配合使用。以下是隨著人工智能的普及，數(shù)據(jù)庫正在適應(yīng)和改進(jìn)的10種方式。

1、向量和嵌入

人工智能開發(fā)人員喜歡將信息存儲(chǔ)為長數(shù)字向量。過去，數(shù)據(jù)庫將這些值存儲(chǔ)為行，每個(gè)數(shù)字位于單獨(dú)的列中。現(xiàn)在，一些數(shù)據(jù)庫支持純向量，因此無需將信息分解為行和列。相反，數(shù)據(jù)庫將它們存儲(chǔ)在一起。一些用于存儲(chǔ)的向量有數(shù)百甚至數(shù)千個(gè)數(shù)字長。

此類向量通常與嵌入配對(duì)，嵌入是一種將復(fù)雜數(shù)據(jù)轉(zhuǎn)換為單個(gè)數(shù)字列表的模式。設(shè)計(jì)嵌入仍然是一門藝術(shù)，并且通常依賴于對(duì)基礎(chǔ)領(lǐng)域的了解。當(dāng)嵌入設(shè)計(jì)良好時(shí)，數(shù)據(jù)庫可以提供快速訪問和復(fù)雜查詢。

Pinecone，Vespa，Milvus，Margo和Weaviate等一些公司正在建立專門存儲(chǔ)載體的新數(shù)據(jù)庫。像PostgreSQL這樣的數(shù)據(jù)庫正在將向量添加到他們當(dāng)前的工具中。

2、查詢模型

向數(shù)據(jù)庫添加向量帶來的不僅僅是便利。新的查詢函數(shù)不僅可以搜索完全匹配項(xiàng)。它們可以定位“最接近”的值，這有助于實(shí)現(xiàn)推薦引擎或異常檢測等系統(tǒng)。將數(shù)據(jù)嵌入向量空間簡化了涉及與僅幾何距離的匹配和關(guān)聯(lián)的棘手問題。

Pinecone，Vespa，Milvus，Margo和Weaviate等向量數(shù)據(jù)庫提供向量查詢。一些意想不到的工具，如Lucene或Solr，也提供了相似性匹配，可以用大塊的非結(jié)構(gòu)化文本提供類似的結(jié)果。

3、建議

新的基于向量的查詢系統(tǒng)感覺比我們過去的日子更加神奇。舊查詢將查找匹配項(xiàng)；這些新的人工智能數(shù)據(jù)庫有時(shí)感覺更像是在閱讀用戶的思想。他們使用相似性搜索來查找“接近”的數(shù)據(jù)項(xiàng)，并且這些數(shù)據(jù)項(xiàng)通常與用戶想要的內(nèi)容非常匹配。這一切背后的數(shù)學(xué)可能就像在n維空間中找到距離一樣簡單，但不知何故，這足以提供意想不到的結(jié)果。這些算法長期以來一直作為完整的應(yīng)用程序單獨(dú)運(yùn)行，但它們正在慢慢地被折疊到數(shù)據(jù)庫中，在那里它們可以支持更好、更復(fù)雜的查詢。

甲骨文只是針對(duì)這個(gè)市場的數(shù)據(jù)庫的一個(gè)例子。Oracle長期以來一直提供各種模糊匹配和相似性搜索功能。現(xiàn)在，它直接提供為在線零售等行業(yè)定制的工具。

4、索引范例

過去，數(shù)據(jù)庫構(gòu)建簡單的索引，支持按特定列進(jìn)行更快的搜索。數(shù)據(jù)庫管理員擅長使用聯(lián)接和過濾子句精心設(shè)計(jì)查詢，這些子句使用正確的索引運(yùn)行得更快?，F(xiàn)在，向量數(shù)據(jù)庫旨在創(chuàng)建有效地跨越向量中所有值的索引。我們剛剛開始弄清楚尋找彼此“鄰近”的向量的所有應(yīng)用。

但這僅僅是個(gè)開始。當(dāng)人工智能在數(shù)據(jù)庫上訓(xùn)練時(shí)，它會(huì)有效地吸收其中的所有信息?，F(xiàn)在，我們可以用簡單的語言向AI發(fā)送查詢，AI將以復(fù)雜和自適應(yīng)的方式進(jìn)行搜索。

5、數(shù)據(jù)分類

人工智能不僅僅是向數(shù)據(jù)庫添加一些新結(jié)構(gòu)。有時(shí)它會(huì)在數(shù)據(jù)本身內(nèi)部添加新結(jié)構(gòu)。一些數(shù)據(jù)可能會(huì)以一團(tuán)糟的形式抵達(dá)，比如可能沒有注釋的圖像或很久以前某人寫的大塊文本。人工智能算法開始清理混亂，過濾掉噪音，并對(duì)混亂的數(shù)據(jù)集施加秩序。他們會(huì)自動(dòng)填寫表格。他們可以對(duì)文本塊的情感基調(diào)進(jìn)行分類，或者猜測照片中人臉的態(tài)度。可以從圖像中提取小細(xì)節(jié)，算法也可以學(xué)習(xí)檢測模式。他們正在對(duì)數(shù)據(jù)進(jìn)行分類，提取重要的詳細(xì)信息，并創(chuàng)建定期、清晰描述的信息表格視圖。

亞馬遜網(wǎng)絡(luò)服務(wù)提供各種數(shù)據(jù)分類服務(wù)，將SageMaker等人工智能工具與Aurora等數(shù)據(jù)庫連接起來。

6、更好的性能

好的數(shù)據(jù)庫處理數(shù)據(jù)存儲(chǔ)的許多細(xì)節(jié)。過去，程序員需要花時(shí)間操心數(shù)據(jù)庫使用的各種參數(shù)和模式，以使它們高效運(yùn)行。建立數(shù)據(jù)庫管理員的角色是為了處理這些任務(wù)。

這些更高級(jí)別的元任務(wù)現(xiàn)在正在自動(dòng)化，通常是通過使用機(jī)器學(xué)習(xí)算法來理解查詢模式和數(shù)據(jù)結(jié)構(gòu)。他們能夠監(jiān)視服務(wù)器上的流量并制定計(jì)劃以適應(yīng)需求。他們可以實(shí)時(shí)適應(yīng)并學(xué)會(huì)預(yù)測用戶的需求。

甲骨文提供了最好的例子之一。過去，公司向管理數(shù)據(jù)庫的數(shù)據(jù)庫管理員支付高薪?，F(xiàn)在，甲骨文稱其數(shù)據(jù)庫為自治數(shù)據(jù)庫，因?yàn)樗鼈兣鋫淞藦?fù)雜的人工智能算法，可以即時(shí)調(diào)整性能。

7、更清晰的數(shù)據(jù)

運(yùn)行一個(gè)好的數(shù)據(jù)庫不僅需要保持軟件運(yùn)行，還需要確保數(shù)據(jù)盡可能干凈且沒有故障。AI通過搜索異常、標(biāo)記它們，甚至可能建議更正來簡化此工作負(fù)載。他們可能會(huì)找到客戶姓名拼寫錯(cuò)誤的位置，然后通過搜索其余數(shù)據(jù)找到正確的拼寫。他們還可以學(xué)習(xí)傳入的數(shù)據(jù)格式并攝取數(shù)據(jù)以生成單個(gè)統(tǒng)一的語料庫，其中所有名稱、日期和其他詳細(xì)信息都盡可能一致地呈現(xiàn)。

Microsoft的SQL Server是與數(shù)據(jù)質(zhì)量服務(wù)緊密集成的數(shù)據(jù)庫的一個(gè)示例，用于清理存在缺少字段或重復(fù)日期等問題的任何數(shù)據(jù)。

8、欺詐檢測

創(chuàng)建更安全的數(shù)據(jù)存儲(chǔ)是機(jī)器學(xué)習(xí)的特殊應(yīng)用程序。有些人正在使用機(jī)器學(xué)習(xí)算法來尋找數(shù)據(jù)饋送中的異常情況，因?yàn)檫@些算法可以很好地表明欺詐。有人第一次深夜去自動(dòng)取款機(jī)嗎？這個(gè)人曾經(jīng)在這個(gè)大陸上使用過信用卡嗎？人工智能算法可以嗅出危險(xiǎn)的行跡，并將數(shù)據(jù)庫變成欺詐檢測系統(tǒng)。

例如，Google的網(wǎng)絡(luò)服務(wù)提供了多種選項(xiàng)，用于將欺詐檢測集成到數(shù)據(jù)存儲(chǔ)堆棧中。

9、更嚴(yán)格的安全性

一些組織正在內(nèi)部應(yīng)用這些算法。AI不只是試圖針對(duì)使用模式優(yōu)化數(shù)據(jù)庫；他們還在尋找可能表明有人闖入的不尋常案例。遠(yuǎn)程用戶并非每天都會(huì)請(qǐng)求整個(gè)表的完整副本。一個(gè)好的人工智能可以聞到一些腥味。

IBM的Guardium Security 是與數(shù)據(jù)存儲(chǔ)層集成以控制訪問和監(jiān)視異常的工具的一個(gè)例子。

10、合并數(shù)據(jù)庫和生成式AI

過去，人工智能與數(shù)據(jù)庫是分開的。當(dāng)需要訓(xùn)練模型時(shí)，數(shù)據(jù)將從數(shù)據(jù)庫中提取，重新格式化，然后輸入AI。新系統(tǒng)直接從現(xiàn)有數(shù)據(jù)訓(xùn)練模型。這可以為大型作業(yè)節(jié)省時(shí)間和精力，在這些工作中，僅移動(dòng)數(shù)據(jù)可能需要數(shù)天或數(shù)周的時(shí)間。它還簡化了DevOps團(tuán)隊(duì)的生活，使訓(xùn)練AI模型像發(fā)出一個(gè)命令一樣簡單。

甚至有人談?wù)撏耆鎿Q數(shù)據(jù)庫。他們不會(huì)將查詢發(fā)送到關(guān)系數(shù)據(jù)庫，而是直接將其發(fā)送到AI中，AI將神奇地回答任何格式的查詢。谷歌提供Bard，微軟正在推動(dòng)ChatGPT。兩者都是取代搜索引擎的有力競爭者。他們沒有理由不能取代傳統(tǒng)的數(shù)據(jù)庫。

這種方法有其缺點(diǎn)。在某些情況下，人工智能會(huì)產(chǎn)生幻覺，并想出完全錯(cuò)誤的答案。在其他情況下，他們可能會(huì)隨心所欲地更改其輸出的格式。

但是，當(dāng)領(lǐng)域足夠有限并且訓(xùn)練集深入完整時(shí)，人工智能可以提供令人滿意的結(jié)果。而且它不需要定義表格結(jié)構(gòu)并強(qiáng)迫用戶編寫在其中查找數(shù)據(jù)的查詢。對(duì)于用戶和創(chuàng)建者來說，使用生成式AI存儲(chǔ)和搜索數(shù)據(jù)可以更加靈活。