建站
咨詢
售后
建站咨詢
新聞中心
很多機(jī)器學(xué)習(xí)入門(mén)者對(duì)測(cè)試集和驗(yàn)證集的概念有所混淆，甚至很多機(jī)器學(xué)習(xí)開(kāi)發(fā)工程師常常都會(huì)混淆這兩個(gè)概念。因?yàn)楫?dāng)我們采用驗(yàn)證集的時(shí)候，測(cè)試集好像和驗(yàn)證集實(shí)際上并沒(méi)有多大區(qū)別，所以本文從學(xué)界定義到實(shí)踐中的具體影響探討驗(yàn)證集和測(cè)試集間的區(qū)別。
天津網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、自適應(yīng)網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作，到程序開(kāi)發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)公司2013年成立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。
驗(yàn)證數(shù)據(jù)集(validation dataset)是模型訓(xùn)練過(guò)程中留出的樣本集，它可以用于調(diào)整模型的超參數(shù)和評(píng)估模型的能力。但測(cè)試數(shù)據(jù)集(test dataset)不同，雖然同是模型訓(xùn)練過(guò)程中留出的樣本集，但它是用于評(píng)估最終模型的性能，幫助對(duì)比多個(gè)最終模型并做出選擇。在開(kāi)發(fā)機(jī)器學(xué)習(xí)系統(tǒng)時(shí)，我們對(duì)驗(yàn)證數(shù)據(jù)集及其與測(cè)試數(shù)據(jù)集的區(qū)別存在諸多混淆。本文將介紹訓(xùn)練數(shù)據(jù)集(train dataset)、測(cè)試數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集的確切定義，以及如何在機(jī)器學(xué)習(xí)項(xiàng)目中使用這三種數(shù)據(jù)集。
通過(guò)閱讀本文，我們將了解：
- 機(jī)器學(xué)習(xí)領(lǐng)域的專家對(duì)訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集的定義。
- 驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集在實(shí)踐中的區(qū)別。
- 使用哪些過(guò)程能充分利用驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集進(jìn)行模型評(píng)估。
專家對(duì)驗(yàn)證數(shù)據(jù)集的定義
本節(jié)，我們將了解部分***教科書(shū)和參考文獻(xiàn)如何定義訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集及其區(qū)別。
通常情況下，「驗(yàn)證數(shù)據(jù)集」指模型訓(xùn)練過(guò)程中留出的樣本集，可與「測(cè)試數(shù)據(jù)集」這個(gè)術(shù)語(yǔ)互換。在訓(xùn)練數(shù)據(jù)集上對(duì)模型能力進(jìn)行評(píng)估得到的結(jié)果存在偏差。因此，用留出的樣本對(duì)模型能力進(jìn)行評(píng)估得出的結(jié)果偏差更小。我們通常稱之為使用訓(xùn)練集測(cè)試集劃分方法(train-test split approach)進(jìn)行算法評(píng)估。
| 假如我們想評(píng)估在一系列觀察值上使用特定的數(shù)據(jù)學(xué)習(xí)方法后所產(chǎn)生的測(cè)試誤差，那么驗(yàn)證集方法非常適合該任務(wù)。它包括將這些觀察值任意切分成兩部分：訓(xùn)練集和驗(yàn)證集(又稱留出集，hold-out set)。模型在訓(xùn)練集上進(jìn)行擬合，然后使用擬合后的模型對(duì)驗(yàn)證集中保留的數(shù)據(jù)樣本進(jìn)行預(yù)測(cè)。并定量地計(jì)算模型驗(yàn)證誤差，通常我們使用 MSE 對(duì)錯(cuò)誤率進(jìn)行評(píng)估，評(píng)估生成的驗(yàn)證集錯(cuò)誤率即測(cè)試錯(cuò)誤率。 ——Gareth James, et al., Page 176, An Introduction to Statistical Learning: with Applications in R, 2013. |
在 Kuhn 和 Johnson 的著作《應(yīng)用預(yù)測(cè)建模》(Applied Predictive Modeling)一書(shū)中，我們可以看到作者認(rèn)為「驗(yàn)證數(shù)據(jù)集」和「測(cè)試數(shù)據(jù)集」這兩個(gè)詞語(yǔ)可以互換。他們?cè)趯?shí)例中明確指出，必須在留出的數(shù)據(jù)集上進(jìn)行最終模型評(píng)估，無(wú)論評(píng)估目的是訓(xùn)練模型還是調(diào)整模型參數(shù)。
| 理想情況下，模型評(píng)估應(yīng)該在未用于模型構(gòu)建或微調(diào)的樣本上進(jìn)行，這樣才能對(duì)模型效率進(jìn)行無(wú)偏評(píng)估。因此如果我們有大量數(shù)據(jù)可用，則可以留出一部分樣本集用于最終模型的評(píng)估。訓(xùn)練數(shù)據(jù)集指構(gòu)建模型時(shí)使用的樣本集，而測(cè)試數(shù)據(jù)集或驗(yàn)證數(shù)據(jù)集用于評(píng)估模型性能。 ——Max Kuhn and Kjell Johnson, Page 67, Applied Predictive Modeling, 2013 |
傳統(tǒng)情況下，對(duì)最終模型進(jìn)行性能評(píng)估的數(shù)據(jù)叫作「測(cè)試集」。Russell 和 Norvig 在 AI 教科書(shū)《人工智能：一種現(xiàn)代方法》中再次強(qiáng)調(diào)了保持測(cè)試集完全獨(dú)立的重要性。他們認(rèn)為，以任何形式使用測(cè)試集中的信息都是一種「窺探」(peeking)，因此他們建議封存測(cè)試集，直到模型調(diào)整全部完成再作為***的評(píng)估。
重要的是，Russel 和 Norvig 認(rèn)為用于模型擬合的訓(xùn)練數(shù)據(jù)集可以進(jìn)一步劃分成訓(xùn)練集和驗(yàn)證集。驗(yàn)證集是訓(xùn)練數(shù)據(jù)集的子集，用于對(duì)模型能力進(jìn)行初步評(píng)估。
該領(lǐng)域的其他教科書(shū)級(jí)的著作也佐證了此定義。Ripley 的著作《模式識(shí)別與神經(jīng)網(wǎng)絡(luò)》(Pattern Recognition and Neural Networks)中的術(shù)語(yǔ)表就是一個(gè)經(jīng)典實(shí)例。具體來(lái)說(shuō)，訓(xùn)練集、驗(yàn)證集和測(cè)試集的定義如下：
| 訓(xùn)練集：用來(lái)學(xué)習(xí)的樣本集，用于分類器參數(shù)的擬合。 驗(yàn)證集：用來(lái)調(diào)整分類器超參數(shù)的樣本集，如在神經(jīng)網(wǎng)絡(luò)中選擇隱藏層神經(jīng)元的數(shù)量。 測(cè)試集：僅用于對(duì)已經(jīng)訓(xùn)練好的分類器進(jìn)行性能評(píng)估的樣本集。 —Brian Ripley, page 354, Pattern Recognition and Neural Networks, 1996 |
這些是數(shù)據(jù)集推薦的定義和用法。重申 Ripley 的術(shù)語(yǔ)定義之后，讓我們來(lái)繼續(xù)討論「測(cè)試集」和「驗(yàn)證集」在機(jī)器學(xué)習(xí)建模過(guò)程中的常見(jiàn)混淆。
| 機(jī)器學(xué)習(xí)相關(guān)文獻(xiàn)通常顛倒「驗(yàn)證集」和「測(cè)試集」的意思。這是人工智能研究中最明顯的術(shù)語(yǔ)混淆。關(guān)鍵在于，神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)對(duì)測(cè)試集的標(biāo)準(zhǔn)定義認(rèn)為測(cè)試集不應(yīng)用于選擇兩個(gè)或多個(gè)網(wǎng)絡(luò)較好的那個(gè)，因此測(cè)試集上的誤差才是泛化誤差的無(wú)偏評(píng)估(假設(shè)測(cè)試集和實(shí)際總體服從同一分布)。 —Subject: What are the population, sample, training set, design set, validation set, and test set? |
訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的定義
為了強(qiáng)調(diào)上文中專家的研究結(jié)果，本節(jié)為這三個(gè)術(shù)語(yǔ)提供明確的定義。
- 訓(xùn)練數(shù)據(jù)集：用于模型擬合的數(shù)據(jù)樣本。
- 驗(yàn)證數(shù)據(jù)集：用于調(diào)整模型的超參數(shù)，為擬合后的模型提供無(wú)偏評(píng)估。如果模型配置中已包括在驗(yàn)證集上的調(diào)整，則該評(píng)估偏差會(huì)更大。
- 測(cè)試數(shù)據(jù)集：為擬合后的最終模型提供無(wú)偏評(píng)估。
我們可以通過(guò)下列偽代碼具體來(lái)看它們的定義：
- # split data
- data = ...
- train, validation, test = split(data)
- # tune model hyperparameters
- parameters = ...
- for params in parameters:
- model = fit(train)
- skill = evaluate(model, validation)
- # evaluate final model for comparison with other models
- model = fit(train)
- skill = evaluate(model, test)
以下是額外需要理解的內(nèi)容：
- 驗(yàn)證數(shù)據(jù)集可能在其他形式的模型預(yù)準(zhǔn)備中發(fā)揮作用，如特征選擇。
- 最終模型可以在訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集上進(jìn)行擬合。
只有驗(yàn)證數(shù)據(jù)集遠(yuǎn)遠(yuǎn)不夠
在未知數(shù)據(jù)上對(duì)模型性能進(jìn)行評(píng)估還有其他方式。一個(gè)常見(jiàn)的實(shí)例是使用 K-折交叉驗(yàn)證(k-fold cross-validation)來(lái)調(diào)整模型超參數(shù)，而不是使用單獨(dú)的驗(yàn)證數(shù)據(jù)集。Kuhn 和 Johnson 在「Data Splitting Recommendations」一章中指出使用單獨(dú)的「測(cè)試集」(或驗(yàn)證集)的局限性。
如前所述，k 折交叉驗(yàn)證是一種足以取代單獨(dú)、獨(dú)立測(cè)試集的技術(shù)：
- 測(cè)試集是對(duì)模型的單次評(píng)估，無(wú)法完全展現(xiàn)評(píng)估結(jié)果的不確定性。
- 將大的測(cè)試集劃分成測(cè)試集和驗(yàn)證集會(huì)增加模型性能評(píng)估的偏差。
- 分割的測(cè)試集樣本規(guī)模太小。
- 模型可能需要每一個(gè)可能存在的數(shù)據(jù)點(diǎn)來(lái)確定模型值。
- 不同測(cè)試集生成的結(jié)果不同，這造成測(cè)試集具備極大的不確定性。
- 重采樣方法可對(duì)模型在未來(lái)樣本上的性能進(jìn)行更合理的預(yù)測(cè)。
Max Kuhn 和 Kjell Johnson 等人還推薦了適用于小規(guī)模樣本的 10-折交叉驗(yàn)證，其偏差低、性能評(píng)估變化小;他們還推薦適用于模型性能比較的自助法(bootstrap method)，該方法性能評(píng)估變化小。對(duì)于規(guī)模稍大的樣本集，他們同樣推薦 10-折交叉驗(yàn)證方法。
驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集會(huì)淡化
很可能你再也不會(huì)在應(yīng)用機(jī)器學(xué)習(xí)中看到訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。
當(dāng)實(shí)踐者選擇在訓(xùn)練數(shù)據(jù)集中使用 k-折交叉驗(yàn)證方法調(diào)整模型超參數(shù)時(shí)，「驗(yàn)證集」的概念就已經(jīng)淡化了。
我們可以通過(guò)以下為代碼具體來(lái)看：
- # split data
- data = ...
- train, test = split(data)
- # tune model hyperparameters
- parameters = ...
- k = ...
- for params in parameters:
- skills = list()
- for i in k:
- fold_train, fold_val = cv_split(i, k, train)
- model = fit(fold_train, params)
- skill_estimate = evaluate(model, fold_val)
- skills.append(skill_estimate)
- skill = summarize(skills)
- # evaluate final model for comparison with other models
- model = fit(train)
- skill = evaluate(model, test)
結(jié)語(yǔ)
在本教程中，你會(huì)了解「驗(yàn)證數(shù)據(jù)集」和「測(cè)試數(shù)據(jù)集」中的很多謬誤，以及在評(píng)估機(jī)器學(xué)習(xí)模型的能力時(shí)如何正確地區(qū)分這些術(shù)語(yǔ)。
具體來(lái)說(shuō)：
- 過(guò)去的專家學(xué)者已經(jīng)對(duì)模型評(píng)估中「訓(xùn)練數(shù)據(jù)集」、「驗(yàn)證數(shù)據(jù)集」和「測(cè)試數(shù)據(jù)集」給出了明確定義。
- 「驗(yàn)證數(shù)據(jù)集」主要用于調(diào)整超參數(shù)和數(shù)據(jù)準(zhǔn)備時(shí)對(duì)模型進(jìn)行評(píng)估，而「測(cè)試數(shù)據(jù)集」主要用于對(duì)比多個(gè)最終模型時(shí)的評(píng)估。
- 如果采用 k-折交叉驗(yàn)證等重采樣方法，尤其當(dāng)重采樣方法已經(jīng)被嵌套在模型驗(yàn)證中時(shí)，「驗(yàn)證數(shù)據(jù)集」和「測(cè)試數(shù)據(jù)集」的概念可能會(huì)淡化。
原文：http://machinelearningmastery.com/difference-test-validation-datasets/
【本文是專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
戳這里，看該作者更多好文
當(dāng)前名稱：似乎沒(méi)區(qū)別，但你混淆過(guò)驗(yàn)證集和測(cè)試集嗎？
URL鏈接：http://www.5511xx.com/article/dpoegoc.html
