少樣本學(xué)習(xí)是指使用非常少量的訓(xùn)練數(shù)據(jù)來開發(fā)人工智能模型的各種算法和技術(shù)。少樣本學(xué)習(xí)努力讓 AI 模型在接觸相對較少的訓(xùn)練實(shí)例后識(shí)別和分類新數(shù)據(jù)。Few-shot訓(xùn)練與訓(xùn)練機(jī)器學(xué)習(xí)模型的傳統(tǒng)方法形成對比，傳統(tǒng)方法通常使用大量訓(xùn)練數(shù)據(jù)。少鏡頭學(xué)習(xí)主要用于計(jì)算機(jī)視覺。

為了對小樣本學(xué)習(xí)有更好的直覺，讓我們更詳細(xì)地研究一下這個(gè)概念。我們將研究小樣本學(xué)習(xí)背后的動(dòng)機(jī)和概念，探索一些不同類型的小樣本學(xué)習(xí)，并在高層次上介紹小樣本學(xué)習(xí)中使用的一些模型。最后，我們將研究一些小樣本學(xué)習(xí)的應(yīng)用。

什么是少量學(xué)習(xí)？

“Few-shot learning”描述了用最少的數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型的實(shí)踐。通常，機(jī)器學(xué)習(xí)模型是在大量數(shù)據(jù)上訓(xùn)練的，越大越好。然而，由于幾個(gè)不同的原因，few-shot learning是一個(gè)重要的機(jī)器學(xué)習(xí)概念。

使用少樣本學(xué)習(xí)的一個(gè)原因是它可以顯著減少訓(xùn)練機(jī)器學(xué)習(xí)模型所需的數(shù)據(jù)量，從而減少標(biāo)記大型數(shù)據(jù)集所需的時(shí)間。同樣，在使用通用數(shù)據(jù)集創(chuàng)建不同樣本時(shí)，少樣本學(xué)習(xí)減少了為各種任務(wù)添加特定特征的需要。少樣本學(xué)習(xí)可以理想地使模型更健壯，并且能夠基于更少的數(shù)據(jù)識(shí)別對象，從而創(chuàng)建更通用的模型，而不是標(biāo)準(zhǔn)的高度專業(yè)化模型。

少樣本學(xué)習(xí)最常用于計(jì)算機(jī)視覺領(lǐng)域，因?yàn)橛?jì)算機(jī)視覺問題的性質(zhì)需要大量數(shù)據(jù)或靈活的模型。

子類別

短語“few-shot”學(xué)習(xí)實(shí)際上只是一種使用很少訓(xùn)練示例的學(xué)習(xí)。由于您只使用“少數(shù)”訓(xùn)練示例，因此有一些小樣本學(xué)習(xí)的子類別也涉及使用最少數(shù)據(jù)量的訓(xùn)練。“一次性”學(xué)習(xí)是另一種類型的模型訓(xùn)練，包括教模型在看到該對象的一張圖像后識(shí)別該對象。one-shot 學(xué)習(xí)和few-shot 學(xué)習(xí)中使用的一般策略是相同的。請注意，術(shù)語“few-shot”學(xué)習(xí)可能被用作一個(gè)總稱，用于描述使用非常少的數(shù)據(jù)訓(xùn)練模型的任何情況。

少樣本學(xué)習(xí)的方法

大多數(shù)小樣本學(xué)習(xí)方法可以歸為以下三類之一：數(shù)據(jù)級方法、參數(shù)級方法和基于度量的方法。

數(shù)據(jù)級方法

小樣本學(xué)習(xí)的數(shù)據(jù)級方法在概念上非常簡單。當(dāng)你沒有足夠的訓(xùn)練數(shù)據(jù)時(shí)，為了訓(xùn)練一個(gè)模型，你可以得到更多的訓(xùn)練數(shù)據(jù)。數(shù)據(jù)科學(xué)家可以使用多種技術(shù)來增加他們擁有的訓(xùn)練數(shù)據(jù)量。

類似的訓(xùn)練數(shù)據(jù)可以備份您正在訓(xùn)練分類器的確切目標(biāo)數(shù)據(jù)。例如，如果您正在訓(xùn)練分類器以識(shí)別特定種類的狗，但缺少許多您嘗試分類的特定物種的圖像，您可以包含許多狗的圖像，這將有助于分類器確定構(gòu)成狗的一般特征.

數(shù)據(jù)增強(qiáng)可以為分類器創(chuàng)建更多的訓(xùn)練數(shù)據(jù)。這通常涉及對現(xiàn)有訓(xùn)練數(shù)據(jù)應(yīng)用轉(zhuǎn)換，例如旋轉(zhuǎn)現(xiàn)有圖像，以便分類器從不同角度檢查圖像。GAN 還可用于根據(jù)他們從您擁有的少數(shù)真實(shí)訓(xùn)練數(shù)據(jù)示例中學(xué)到的知識(shí)生成新的訓(xùn)練示例。

參數(shù)級方法

元學(xué)習(xí)

少樣本學(xué)習(xí)的一種參數(shù)級方法涉及使用一種稱為“元學(xué)習(xí)”的技術(shù)。元學(xué)習(xí)涉及教模型如何學(xué)習(xí)哪些特征在機(jī)器學(xué)習(xí)任務(wù)中很重要。這可以通過創(chuàng)建一種方法來規(guī)范如何探索模型的參數(shù)空間來實(shí)現(xiàn)。

元學(xué)習(xí)使用兩種不同的模型：教師模型和學(xué)生模型。“教師”模式和“學(xué)生”模式。教師模型學(xué)習(xí)如何封裝參數(shù)空間，而學(xué)生算法學(xué)習(xí)如何識(shí)別和分類數(shù)據(jù)集中的實(shí)際項(xiàng)目。換句話說，教師模型學(xué)習(xí)如何優(yōu)化模型，而學(xué)生模型學(xué)習(xí)如何分類。教師模型的輸出用于訓(xùn)練學(xué)生模型，向?qū)W生模型展示如何協(xié)商因訓(xùn)練數(shù)據(jù)太少而導(dǎo)致的大參數(shù)空間。因此，元學(xué)習(xí)中的“元”。

少樣本學(xué)習(xí)模型的主要問題之一是它們很容易過度擬合訓(xùn)練數(shù)據(jù)，因?yàn)樗鼈兘?jīng)常具有高維空間。限制模型的參數(shù)空間解決了這個(gè)問題，雖然它可以通過應(yīng)用正則化技術(shù)和選擇適當(dāng)?shù)膿p失函數(shù)來完成，但使用教師算法可以顯著提高少數(shù)模型的性能。

小樣本學(xué)習(xí)分類器模型（學(xué)生模型）將努力基于其提供的少量訓(xùn)練數(shù)據(jù)進(jìn)行泛化，并且通過教師模型引導(dǎo)其通過高維參數(shù)空間，其準(zhǔn)確性可以提高。這種通用架構(gòu)被稱為“基于梯度的”元學(xué)習(xí)器。

訓(xùn)練基于梯度的元學(xué)習(xí)器的全過程如下：

創(chuàng)建基礎(chǔ)學(xué)習(xí)者（教師）模型

在支持集上訓(xùn)練基礎(chǔ)學(xué)習(xí)器模型

讓基礎(chǔ)學(xué)習(xí)器返回查詢集的預(yù)測

訓(xùn)練元學(xué)習(xí)者（學(xué)生）因分類錯(cuò)誤而產(chǎn)生的損失

元學(xué)習(xí)的變化

模型無關(guān)元學(xué)習(xí)是一種用于增強(qiáng)我們上面介紹的基本基于梯度的元學(xué)習(xí)技術(shù)的方法。

正如我們在上面提到的，基于梯度的元學(xué)習(xí)器使用教師模型獲得的先前經(jīng)驗(yàn)來微調(diào)自身并為少量訓(xùn)練數(shù)據(jù)提供更準(zhǔn)確的預(yù)測。然而，從隨機(jī)初始化的參數(shù)開始意味著模型仍然可能過度擬合數(shù)據(jù)。為了避免這種情況，通過限制教師模型/基礎(chǔ)模型的影響來創(chuàng)建“模型無關(guān)”元學(xué)習(xí)器。不是直接針對教師模型做出的預(yù)測的損失來訓(xùn)練學(xué)生模型，而是針對其自身預(yù)測的損失對學(xué)生模型進(jìn)行訓(xùn)練。

對于訓(xùn)練與模型無關(guān)的元學(xué)習(xí)器的每一集：

創(chuàng)建當(dāng)前元學(xué)習(xí)器模型的副本。

副本在基礎(chǔ)模型/教師模型的幫助下進(jìn)行訓(xùn)練。

副本返回訓(xùn)練數(shù)據(jù)的預(yù)測。

計(jì)算損失用于更新元學(xué)習(xí)器。

度量學(xué)習(xí)

設(shè)計(jì)少量學(xué)習(xí)模型的度量學(xué)習(xí)方法通??常涉及使用基本距離度量來比較數(shù)據(jù)集中的樣本。余弦距離等度量學(xué)習(xí)算法用于根據(jù)查詢樣本與支持樣本的相似性對它們進(jìn)行分類。對于圖像分類器，這意味著僅根據(jù)表面特征的相似性對圖像進(jìn)行分類。在選擇支持圖像集并將其轉(zhuǎn)換為嵌入向量后，對查詢集進(jìn)行相同操作，然后比較兩個(gè)向量的值，分類器選擇與向量化查詢集具有最接近值的類.

更先進(jìn)的基于度量的解決方案是“原型網(wǎng)絡(luò)”。原型網(wǎng)絡(luò)將數(shù)據(jù)點(diǎn)聚類在一起，將聚類模型與上述基于度量的分類相結(jié)合。與 K-means 聚類一樣，為支持和查詢集中的類計(jì)算聚類的質(zhì)心。然后應(yīng)用歐幾里德距離度量來確定查詢集和支持集的質(zhì)心之間的差異，將查詢集分配給更接近的支持集類。

大多數(shù)其他小樣本學(xué)習(xí)方法只是上述核心技術(shù)的變體。

小樣本學(xué)習(xí)的應(yīng)用

小樣本學(xué)習(xí)在數(shù)據(jù)科學(xué)的許多不同子領(lǐng)域都有應(yīng)用，例如計(jì)算機(jī)視覺、自然語言處理、機(jī)器人技術(shù)、醫(yī)療保健和信號處理。

計(jì)算機(jī)視覺空間中的小樣本學(xué)習(xí)應(yīng)用包括高效的字符識(shí)別、圖像分類、對象識(shí)別、對象跟蹤、運(yùn)動(dòng)預(yù)測和動(dòng)作定位。用于小樣本學(xué)習(xí)的自然語言處理應(yīng)用包括翻譯、句子完成、用戶意圖分類、情感分析和多標(biāo)簽文本分類。小樣本學(xué)習(xí)可用于機(jī)器人領(lǐng)域，幫助機(jī)器人通過幾次演示了解任務(wù)，讓機(jī)器人學(xué)習(xí)如何執(zhí)行動(dòng)作、移動(dòng)和導(dǎo)航周圍的世界。少數(shù)藥物發(fā)現(xiàn)是人工智能醫(yī)療保健的新興領(lǐng)域。最后，few-shot learning可應(yīng)用于聲學(xué)信號處理，即分析聲音數(shù)據(jù)的過程。