日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
使用Python進(jìn)行數(shù)據(jù)預(yù)處理的標(biāo)準(zhǔn)化

標(biāo)準(zhǔn)化和規(guī)范化是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)項(xiàng)目中大量使用的數(shù)據(jù)預(yù)處理技術(shù)之一。

公司主營(yíng)業(yè)務(wù)：網(wǎng)站建設(shè)、成都做網(wǎng)站、移動(dòng)網(wǎng)站開(kāi)發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開(kāi)放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來(lái)的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來(lái)驚喜。創(chuàng)新互聯(lián)推出丹寨免費(fèi)做網(wǎng)站回饋大家。

這些技術(shù)的主要作用

  • 以類似的格式縮放所有數(shù)據(jù)，使模型的學(xué)習(xí)過(guò)程變得容易。
  • 數(shù)據(jù)中的奇數(shù)值被縮放或歸一化并且表現(xiàn)得像數(shù)據(jù)的一部分。

我們將通過(guò) Python 示例深入討論這兩個(gè)概念。

標(biāo)準(zhǔn)化

數(shù)據(jù)的基本縮放是使其成為標(biāo)準(zhǔn)，以便所有值都在共同范圍內(nèi)。 在標(biāo)準(zhǔn)化中，數(shù)據(jù)的均值和方差分別為零和一。 它總是試圖使數(shù)據(jù)呈正態(tài)分布。

標(biāo)準(zhǔn)化公式如下所示：

z =(列的值 - 平均值)/標(biāo)準(zhǔn)偏差

 

機(jī)器學(xué)習(xí)中的一些算法試圖讓數(shù)據(jù)具有正態(tài)分布。但是，如果一個(gè)特征有更多的方差，而其他特征有低或單位方差，那么模型的學(xué)習(xí)將是不正確的，因?yàn)閺囊粋€(gè)特征到另一個(gè)特征的方差是有差異的。

正如我們上面討論的，標(biāo)準(zhǔn)縮放的范圍是“0”均值和“1”單位方差。

我們?nèi)绾问褂脴?biāo)準(zhǔn)縮放?

要使用標(biāo)準(zhǔn)伸縮，我們需要從預(yù)處理類中導(dǎo)入它，如下所示:

 
 
 
 
    
  
  
  
  
  1. from sklearn import preprocessing 
    2. 
  
  
  
  
  2. scaler = preprocessing.StandardScaler() 
    3.

 

使用標(biāo)準(zhǔn)縮放的正確步驟是什么?

我們可以在 train-test split 之后使用標(biāo)準(zhǔn)縮放，因?yàn)槿绻覀冊(cè)诎l(fā)生數(shù)據(jù)泄漏問(wèn)題之前這樣做，可能會(huì)導(dǎo)致模型不太可靠。 如果我們?cè)诓鸱种斑M(jìn)行縮放，那么從訓(xùn)練中學(xué)習(xí)的過(guò)程也可以在測(cè)試集上完成，這是我們不想要的。

讓我們?cè)趕klearn庫(kù)的幫助下看看拆分過(guò)程

 
 
 
 
    
  
  
  
  
  1. from sklearn.model_selection import train_test_split 
    2. 
  
  
  
  
  2. X_train, X_test, y_train, y_test = train_test_split(x, 
    3. 
  
  
  
  
  3. y, train_size = 0.20, random_state = 42) 
    4.

 

在此之后，我們可以使用標(biāo)準(zhǔn)縮放

 
 
 
 
    
  
  
  
  
  1. from sklearn.preprocessing import StandardScaler 
    2. 
  
  
  
  
  2. sc = StandardScaler()  
    3. 
  
  
  
  
  3. X_train = sc.fit_transform(X_train)  
    4. 
  
  
  
  
  4. X_test = sc.transform(X_test) 
    5.

 

讓我們舉一個(gè) python 例子。

 
 
 
 
    
  
  
  
  
  1. from sklearn import preprocessing 
    2. 
  
  
  
  
  2. import numpy as np 
    3. 
  
  
  
  
  3. #creating a training data 
    4. 
  
  
  
  
  4. X_train = np.array([[ 4., -3., 2.],  
    5. 
  
  
  
  
  5. [ 2., 2., 0.],  
    6. 
  
  
  
  
  6. [ 0., -6., 7.]]) 
    7. 
  
  
  
  
  7.  
    8. 
  
  
  
  
  8. #fit the training data 
    9. 
  
  
  
  
  9. scaler = preprocessing.StandardScaler().fit(X_train) 
    10. 
  
  
  
  
  10. scaler 
    11. 
  
  
  
  
  11. #output: 
    12. 
  
  
  
  
  12. StandardScaler() 
    13.

現(xiàn)在，我們將檢查訓(xùn)練數(shù)據(jù)中每個(gè)特征的均值和縮放比例。

 
 
 
 
    
  
  
  
  
  1. scaler.mean_ 
    2. 
  
  
  
  
  2. #output: 
    3. 
  
  
  
  
  3. array([ 2., -2.33333333, 3.]) 
    4. 
  
  
  
  
  4. scaler.scale_ 
    5. 
  
  
  
  
  5. #output: 
    6. 
  
  
  
  
  6. array([1.63299316, 3.29983165, 2.94392029]) 
    7.

 

scale_屬性找出特征之間的相對(duì)尺度，得到一個(gè)標(biāo)準(zhǔn)尺度，即零均值和單位方差。均值屬性用來(lái)找出每個(gè)特征的均值。

現(xiàn)在，我們將轉(zhuǎn)換縮放后的數(shù)據(jù)

 
 
 
 
    
  
  
  
  
  1. X_scaled = scaler.transform(X_train) 
    2. 
  
  
  
  
  2. X_scaled 
    3. 
  
  
  
  
  3. #output: 
    4. 
  
  
  
  
  4. array([[ 1.22474487, -0.20203051, -0.33968311], 
    5. 
  
  
  
  
  5. [ 0. , 1.31319831, -1.01904933], 
    6. 
  
  
  
  
  6. [-1.22474487, -1.1111678 , 1.35873244]]) 
    7.

 

為了檢查特征的零均值和單位方差，我們將找到均值和標(biāo)準(zhǔn)差。

 
 
 
 
    
  
  
  
  
  1. X_scaled.mean(axis=0) 
    2. 
  
  
  
  
  2. #output: 
    3. 
  
  
  
  
  3. array([0., 0., 0.]) 
    4. 
  
  
  
  
  4. X_scaled.std(axis=0) 
    5. 
  
  
  
  
  5. #output: 
    6. 
  
  
  
  
  6. array([1., 1., 1.]) 
    7.

 

我們還可以在 MinMaxScaler 和 MaxAbsScaler 的幫助下進(jìn)行范圍縮放。

有時(shí)，我們?cè)跀?shù)據(jù)中存在影響算法建模的異常值，并且標(biāo)準(zhǔn)縮放器受到異常值的影響，其他方法如 min-max 和 max-abs 縮放器使數(shù)據(jù)在一定范圍內(nèi)。

MinMaxScaler

MinMaxScaler 是另一種在 [0,1] 范圍內(nèi)縮放數(shù)據(jù)的方法。 它使數(shù)據(jù)保持原始形狀并保留有價(jià)值的信息，而受異常值的影響較小。

python示例如下所示：

 
 
 
 
    
  
  
  
  
  1. from sklearn import preprocessing 
    2. 
  
  
  
  
  2. import numpy as np 
    3. 
  
  
  
  
  3. #creating a training data 
    4. 
  
  
  
  
  4. X_train = np.array([[ 4., -3., 2.],  
    5. 
  
  
  
  
  5. [ 2., 2., 0.],  
    6. 
  
  
  
  
  6. [ 0., -6., 7.]]) 
    7. 
  
  
  
  
  7. min_max_scaler = preprocessing.MinMaxScaler() 
    8. 
  
  
  
  
  8. X_train_minmax = min_max_scaler.fit_transform(X_train) 
    9. 
  
  
  
  
  9. X_train_minmax 
    10. 
  
  
  
  
  10. #output: 
    11. 
  
  
  
  
  11. array([[1. , 0.375 , 0.28571429], 
    12. 
  
  
  
  
  12. [0.5 , 1. , 0. ], 
    13. 
  
  
  
  
  13. [0. , 0. , 1. ]]) 
    14.

 

我們可以在使用 MinMaxScaler 縮放后看到“0”到“1”范圍內(nèi)的數(shù)據(jù)。

MaxAbsScaler

這是另一種縮放方法，其中數(shù)據(jù)在 [-1,1] 的范圍內(nèi)。 這種縮放的好處是它不會(huì)移動(dòng)或居中數(shù)據(jù)并保持?jǐn)?shù)據(jù)的稀疏性。

python示例如下所示：

 
 
 
 
    
  
  
  
  
  1. from sklearn import preprocessing 
    2. 
  
  
  
  
  2. import numpy as np 
    3. 
  
  
  
  
  3. #creating a training data 
    4. 
  
  
  
  
  4. X_train = np.array([[ 4., -3., 2.],  
    5. 
  
  
  
  
  5. [ 2., 2., 0.],  
    6. 
  
  
  
  
  6. [ 0., -6., 7.]]) 
    7. 
  
  
  
  
  7. max_abs_scaler = preprocessing.MaxAbsScaler() 
    8. 
  
  
  
  
  8. X_train_maxabs = max_abs_scaler.fit_transform(X_train) 
    9. 
  
  
  
  
  9. X_train_maxabs 
    10. 
  
  
  
  
  10. #output: 
    11. 
  
  
  
  
  11. array([[ 1. , -0.5 , 0.28571429], 
    12. 
  
  
  
  
  12. [ 0.5 , 0.33333333, 0. ], 
    13. 
  
  
  
  
  13. [ 0. , -1. , 1. ]]) 
    14.

 

我們可以在使用 MaxAbsScaler 縮放后看到“-1”到“1”范圍內(nèi)的數(shù)據(jù)。

總結(jié)

數(shù)據(jù)的縮放是機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的一個(gè)非常重要的部分。 在本文中，MaxAbsScaler 在稀疏數(shù)據(jù)中很有用，而另一方面，標(biāo)準(zhǔn)縮放也可以用于稀疏數(shù)據(jù)，但也會(huì)由于過(guò)多的內(nèi)存分配而給出值錯(cuò)誤。


本文題目：使用Python進(jìn)行數(shù)據(jù)預(yù)處理的標(biāo)準(zhǔn)化
文章轉(zhuǎn)載：http://www.5511xx.com/article/cceodsc.html