本公開的各方面整體涉及經(jīng)由純化對比學習來訓練人工神經(jīng)網(wǎng)絡。
背景技術：
1、人工神經(jīng)網(wǎng)絡可包括互連的人工神經(jīng)元組(例如，神經(jīng)元模型)。人工神經(jīng)網(wǎng)絡可以是計算設備或表示為要由計算設備執(zhí)行的方法?？梢愿鶕?jù)已標注數(shù)據(jù)以監(jiān)督方式訓練一些人工神經(jīng)網(wǎng)絡，從而允許開發(fā)在其指定任務中出色的專用模型。但實際上，標注世界上的每個可能的元素是不切實際的。另外，某些任務(諸如以古方言訓練語音識別系統(tǒng))面臨標注數(shù)據(jù)稀缺性的問題。因此，對監(jiān)督學習的依賴可能妨礙可執(zhí)行多個任務并且/或者獲得新技能的更智能的全能模型的開發(fā)。因此，一些人工神經(jīng)網(wǎng)絡以自監(jiān)督方式對未標注數(shù)據(jù)進行訓練。
2、對比學習是用于各種任務中的自監(jiān)督學習的框架的示例。對比學習的目標是訓練人工神經(jīng)網(wǎng)絡以學習數(shù)據(jù)的表示而不依賴于顯式標簽?？梢酝ㄟ^對比示例的正對和負對來學習表示。在訓練期間，人工神經(jīng)網(wǎng)絡學習在特征空間中將相似的增強樣本較靠近地映射在一起，同時將不相似的樣本較遠地隔開。此過程促使人工神經(jīng)網(wǎng)絡捕獲數(shù)據(jù)的有意義且有區(qū)別的表示。
技術實現(xiàn)思路
1、在本公開的一些方面，一種方法包括：針對一組輸入中的每個輸入生成干凈樣本和增強樣本。該方法還包括：針對該一組輸入中的每個輸入將干凈樣本與增強樣本相關聯(lián)以形成正對。該方法還包括：針對該一組輸入中的每個輸入將干凈樣本與和多個輸入中的另一輸入相關聯(lián)的另一干凈樣本相關聯(lián)以形成負對。該方法還包括：基于該一組輸入中的每個輸入的正對和負對來學習該一組輸入的一個或多個表示。
2、本公開的一些方面涉及一種裝置，該裝置包括用于針對一組輸入中的每個輸入生成干凈樣本和增強樣本的部件。該裝置還包括用于針對該一組輸入中的每個輸入將干凈樣本與增強樣本相關聯(lián)以形成正對的部件。該裝置還包括用于針對該一組輸入中的每個輸入將干凈樣本與和多個輸入中的另一輸入相關聯(lián)的另一干凈樣本相關聯(lián)以形成負對的部件。該裝置還包括用于基于該一組輸入中的每個輸入的正對和負對來學習該一組輸入的一個或多個表示的部件。
3、在本公開的一些方面，公開了一種其上記錄有程序代碼的非暫態(tài)計算機可讀介質(zhì)。該程序代碼由處理器執(zhí)行并且包括用于針對一組輸入中的每個輸入生成干凈樣本和增強樣本的程序代碼。該程序代碼還包括用于針對該一組輸入中的每個輸入將干凈樣本與增強樣本相關聯(lián)以形成正對的程序代碼。該程序代碼還包括用于針對該一組輸入中的每個輸入將干凈樣本與和多個輸入中的另一輸入相關聯(lián)的另一干凈樣本相關聯(lián)以形成負對的程序代碼。該程序代碼還包括用于基于該一組輸入中的每個輸入的正對和負對來學習該一組輸入的一個或多個表示的程序代碼。
4、本公開的一些方面涉及一種裝置，該裝置具有一個或多個處理器以及與該一個或多個處理器耦合并且存儲指令的一個或多個存儲器，這些指令可操作以在由該一個或多個處理器執(zhí)行時使裝置針對一組輸入中的每個輸入生成干凈樣本和增強樣本。指令的執(zhí)行還使裝置針對該一組輸入中的每個輸入將干凈樣本與增強樣本相關聯(lián)以形成正對。指令的執(zhí)行還使裝置針對該一組輸入中的每個輸入將干凈樣本與和多個輸入中的另一輸入相關聯(lián)的另一干凈樣本相關聯(lián)以形成負對。指令的執(zhí)行進一步使裝置基于該一組輸入中的每個輸入的正對和負對來學習該一組輸入的一個或多個表示。
5、各方面整體上包括如基本上參照附圖和說明書描述的和如附圖和說明書所例示的方法、裝置、系統(tǒng)、計算機程序產(chǎn)品、非暫態(tài)計算機可讀介質(zhì)、用戶裝備、基站、無線通信設備和處理系統(tǒng)。
6、上文已經(jīng)相當廣泛地概述了根據(jù)本公開的示例的特征和技術優(yōu)點，以便可以更好地理解下面的具體實施方式。將描述附加特征和優(yōu)點。所公開的概念和特定示例可容易地被用作用于修改或設計用于實現(xiàn)本公開的相同目的的其他結(jié)構(gòu)的基礎。此類等效構(gòu)造不脫離所附權利要求書的范圍。所公開的概念的特性在其組織和操作方法兩方面以及相關聯(lián)的優(yōu)勢將通過結(jié)合附圖來考慮以下描述而被更好地理解。提供附圖中的每個附圖是出于例示和描述的目的，而不是作為權利要求的限制的定義。
1.一種處理器實現(xiàn)的方法，包括：
2.根據(jù)權利要求1所述的處理器實現(xiàn)的方法，其中：
3.根據(jù)權利要求1所述的處理器實現(xiàn)的方法，還包括經(jīng)由對比學習以自監(jiān)督方式來學習所述一個或多個表示。
4.根據(jù)權利要求1所述的處理器實現(xiàn)的方法，其中所述多個輸入中的每個輸入是音頻輸入。
5.根據(jù)權利要求1所述的處理器實現(xiàn)的方法，還包括在對比學習模型處接收每個輸入。
6.根據(jù)權利要求5所述的處理器實現(xiàn)的方法，其中所述對比學習模型包括增強模塊、編碼器和投影頭。
7.根據(jù)權利要求6所述的處理器實現(xiàn)的方法，其中經(jīng)由所述增強模塊根據(jù)利用噪聲增強所述干凈樣本來生成所述增強樣本。
8.一種裝置，包括：
9.根據(jù)權利要求8所述的裝置，其中：
10.根據(jù)權利要求8所述的裝置，其中所述指令的執(zhí)行進一步使所述裝置經(jīng)由對比學習以自監(jiān)督方式來學習所述一個或多個表示。
11.根據(jù)權利要求8所述的裝置，其中所述多個輸入中的每個輸入是音頻輸入。
12.根據(jù)權利要求8所述的裝置，其中所述指令的執(zhí)行進一步使所述裝置在對比學習模型處接收每個輸入。
13.根據(jù)權利要求12所述的裝置，其中所述對比學習模型包括增強模塊、編碼器和投影頭。
14.根據(jù)權利要求13所述的裝置，其中經(jīng)由所述增強模塊根據(jù)利用噪聲增強所述干凈樣本來生成所述增強樣本。
15.一種其上記錄有程序代碼的非暫態(tài)計算機可讀介質(zhì)，所述程序代碼由一個或多個處理器執(zhí)行并且包括：
16.根據(jù)權利要求15所述的非暫態(tài)計算機可讀介質(zhì)，其中：
17.根據(jù)權利要求15所述的非暫態(tài)計算機可讀介質(zhì)，其中所述程序代碼還包括用于經(jīng)由對比學習以自監(jiān)督方式來學習所述一個或多個表示的程序代碼。
18.根據(jù)權利要求15所述的非暫態(tài)計算機可讀介質(zhì)，其中所述多個輸入中的每個輸入是音頻輸入。
19.根據(jù)權利要求15所述的非暫態(tài)計算機可讀介質(zhì)，其中所述程序代碼還包括用于在對比學習模型處接收每個輸入的程序代碼。
20.根據(jù)權利要求19所述的非暫態(tài)計算機可讀介質(zhì)，其中所述對比學習模型包括增強模塊、編碼器和投影頭。
21.根據(jù)權利要求20所述的非暫態(tài)計算機可讀介質(zhì)，其中經(jīng)由所述增強模塊根據(jù)利用噪聲增強所述干凈樣本來生成所述增強樣本。
22.一種裝置，包括：
23.根據(jù)權利要求22所述的裝置，其中：
24.根據(jù)權利要求22所述的裝置，其中指令的執(zhí)行進一步使所述裝置經(jīng)由對比學習以自監(jiān)督方式來學習所述一個或多個表示。
25.根據(jù)權利要求22所述的裝置，其中所述多個輸入中的每個輸入是音頻輸入。
26.根據(jù)權利要求22所述的裝置，還包括：用于在對比學習模型處接收每個輸入的部件。
27.根據(jù)權利要求26所述的裝置，其中所述對比學習模型包括增強模塊、編碼器和投影頭。
28.根據(jù)權利要求27所述的裝置，其中經(jīng)由所述增強模塊根據(jù)利用噪聲增強所述干凈樣本來生成所述增強樣本。