日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
代碼詳解：使用Python從不同表格中提取數(shù)據(jù)

常用的表格數(shù)據(jù)存儲(chǔ)文件格式——CSV，Microsoft Excel，Google Excel 。

成都創(chuàng)新互聯(lián)公司2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站制作、成都做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元淶水做網(wǎng)站,已為上家服務(wù),為淶水各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108

Python通常稱為粘合語言。這個(gè)名稱歸因于人們逐漸開發(fā)出的大量接口庫和特征，也得益于廣泛的使用和良好的開源社區(qū)。這些接口庫和特征能直接訪問不同的文件格式，還可以訪問數(shù)據(jù)源如數(shù)據(jù)庫、網(wǎng)頁和各種API。

本文的學(xué)習(xí)內(nèi)容：

從谷歌表格中提取數(shù)據(jù)

  • 從CSV文件中提取數(shù)據(jù)
  • 從Excel文件中提取數(shù)據(jù)

本文適用于以下讀者：

  • Python初學(xué)者
  • 必須定期處理數(shù)據(jù)的人員

由于本文附有代碼，建議處在開發(fā)環(huán)境之下(建議使用JupyterNotebook / Lab)，并建立一個(gè)新的筆記本。

源代碼和文件：https://github.com/FBosler/Medium-Data-Extraction

解決方法

本文將帶你進(jìn)入一個(gè)虛構(gòu)但卻可能異常熟悉的場景。你可以結(jié)合不同的數(shù)據(jù)來源去創(chuàng)建報(bào)告或進(jìn)行分析。

注意!!!下面的示例和數(shù)據(jù)純屬虛構(gòu)。

假設(shè)，你的任務(wù)是搞清楚如何提高銷售團(tuán)隊(duì)的業(yè)績。假設(shè)潛在的客戶有相當(dāng)自發(fā)的需求。這種情況發(fā)生時(shí)，銷售團(tuán)隊(duì)將訂單導(dǎo)入系統(tǒng)。然后，銷售代表們會(huì)在訂單交付時(shí)安排一個(gè)會(huì)議。具體日期有時(shí)在交付期之前，有時(shí)在交付期之后。你的銷售代表有一筆費(fèi)用預(yù)算，會(huì)在開會(huì)期間支付餐費(fèi)。他們負(fù)責(zé)報(bào)銷這筆費(fèi)用，并將發(fā)票交給會(huì)計(jì)團(tuán)隊(duì)處理。在潛在客戶決定是否要接受報(bào)價(jià)后，銷售代表會(huì)跟蹤訂單是否達(dá)成。

可使用以下三個(gè)資料來源進(jìn)行分析:

  • 100,000 份訂單 (Google表格)
  • 約50,000張餐費(fèi)發(fā)票(Excel文件)
  • 負(fù)責(zé)公司及銷售代表名單(CVS文件)

獲取谷歌表格數(shù)據(jù)

訪問谷歌表格是這三種方法中最復(fù)雜的，因?yàn)槟阈枰谑褂霉雀璞砀馎PI前設(shè)置一些證書。理論上，你可以獲取一個(gè)公開可用的谷歌表(即提取源HTML代碼)但必須使用Beautiful Soup之類的工具進(jìn)行大量數(shù)據(jù)操作，才能將HTML轉(zhuǎn)儲(chǔ)轉(zhuǎn)換為有用的內(nèi)容。我確實(shí)嘗試過，但是結(jié)果很糟糕，不值得一試。所以，API就是如此。此外，還將使用gspread無縫轉(zhuǎn)換數(shù)據(jù)分析DataFrame。

獲取OAuth2證書

前往谷歌開發(fā)人員控制臺(tái)，創(chuàng)建一個(gè)新項(xiàng)目(或選擇現(xiàn)有的項(xiàng)目)。點(diǎn)擊“創(chuàng)建項(xiàng)目”。如果公司使用谷歌郵件，可將其更改為私人帳戶，以避免潛在的權(quán)限沖突。

為項(xiàng)目命名(名稱無關(guān)緊要，此處將其命名為媒體數(shù)據(jù)提取)。

點(diǎn)擊APIs & Services ，前往library。

啟用谷歌Sheets API。單擊結(jié)果，并在如下頁面上單擊啟用 API。

創(chuàng)建一個(gè)服務(wù)帳戶和密鑰文件。服務(wù)帳戶是用于程序訪問的專用帳戶，訪問權(quán)限有限。服務(wù)帳戶可以而且應(yīng)該通過有盡可能多的特定權(quán)限項(xiàng)目進(jìn)行設(shè)置，當(dāng)前的任務(wù)也需要如此。

創(chuàng)建JSON(另一種文件格式)密鑰文件。在角色上，選擇“Project -> Viewer”。

如果還沒有在前面的步驟中設(shè)置角色請(qǐng)立即設(shè)置。

注意：設(shè)置為“Viewer”會(huì)存在一些限制。如果希望以編程方式創(chuàng)建谷歌表格，則必須選擇不同的設(shè)置。

然后，私有JSON密鑰文件就可以下載或自動(dòng)下載了。建議將該文件重命名為'Medium_Data_Extraction_Key，并將文件移動(dòng)到JupyterNotebook文件夾中，以便與下面的示例無縫銜接。JSON文件包含最近創(chuàng)建的服務(wù)帳戶證書。

非常好，就要成功了。

下載數(shù)據(jù)

首先，必須下載并安裝其他軟件包，在筆記本中運(yùn)行以下命令。

!pip install gspread

!pip install oauth2client

其次，如果還沒有移動(dòng)密鑰文件的話，必須確保將之前創(chuàng)建的JSON密鑰文件移動(dòng)到目前運(yùn)行的木星筆記本(Jupyternotebook)文件夾中?；蛘?，可以指定一個(gè)不同的GOOGLE_KEY_FILE路徑。

 
 
 
 
    
  
  
  
  
  1. from oauth2client.service_account import ServiceAccountCredentials 
    2. 
  
  
  
  
  2. import gspread 
    3. 
  
  
  
  
  3. import pandas as pd 
    4. 
  
  
  
  
  4. scope = [ 
    5. 
  
  
  
  
  5.  'https://www.googleapis.com/auth/spreadsheets', 
    6. 
  
  
  
  
  6. ] 
    7. 
  
  
  
  
  7. GOOGLE_KEY_FILE='Medium_Data_Extraction_Key.json' 
    8. 
  
  
  
  
  8. credentials = ServiceAccountCredentials.from_json_keyfile_name(GOOGLE_KEY_FILE, scope) 
    9. 
  
  
  
  
  9. gc = gspread.authorize(credentials) 
    10. 
  
  
  
  
  10. wokbook_key ='10HX66PbcGDvx6QKM8DC9_zCGp1TD_CZhovGUbtu_M6Y' 
    11. 
  
  
  
  
  11. workbook = gc.open_by_key(wokbook_key) 
    12. 
  
  
  
  
  12. sheet = workbook.get_worksheet(0) 
    13. 
  
  
  
  
  13. values = sheet.get_all_values() 
    14. 
  
  
  
  
  14. sales_data = pd.DataFrame(values[1:],columns=values[0]) 
    15. 
  
  
  
  
  15. WORKBOOK_KEY是為本章內(nèi)容準(zhǔn)備的谷歌表格的工作簿id。 
    16. 
  
  
  
  
  16. WORKBOOK_KEY = '10HX66PbcGDvx6QKM8DC9_zCGp1TD_CZhovGUbtu_M6Y' 
    17.

這份工作簿是公開的，如果想下載不同的數(shù)據(jù)，需要更改WORKBOOK_KEY。URL有問題的話，id通?？梢栽诠雀璞砀竦淖詈髢蓚€(gè)反斜杠之間找到。

獲取CSV數(shù)據(jù)

可以從repo以傳統(tǒng)方式下載CSV數(shù)據(jù)，也可以使用以下代碼片段進(jìn)行下載。同樣地，可能需要在筆記本上安裝并運(yùn)行缺失的請(qǐng)求包：

 
 
 
 
    
  
  
  
  
  1. !pip install requests 
    2. 
  
  
  
  
  2. import requests 
    3. 
  
  
  
  
  3. url ='https://raw.githubusercontent.com/FBosler/Medium-Data-Extraction/master/sales_team.csv' 
    4. 
  
  
  
  
  4. res = requests.get(url, allow_redirects=True) 
    5. 
  
  
  
  
  5. withopen('sales_team.csv','wb') asfile: 
    6. 
  
  
  
  
  6.  file.write(res.content) 
    7. 
  
  
  
  
  7. sales_team = pd.read_csv('sales_team.csv') 
    8.

CSV數(shù)據(jù)的美妙之處在于Python /panda可以立即進(jìn)行處理。Excel則需要額外的庫。 

獲取Excel數(shù)據(jù)

在開始之前，很可能還要安裝openpyxl和xlrd，這能讓Pandas也可以打開Excel表。

!pip install openpyxl

!pip install xlrd

完成這些步驟之后，可以相同的方式獲得Excel數(shù)據(jù)，并將其加載到另一個(gè)DataFrame中。

 
 
 
 
    
  
  
  
  
  1. url ='https://github.com/FBosler/Medium-Data-Extraction/blob/master/invoices.xlsx?raw=true' 
    2. 
  
  
  
  
  2. res = requests.get(url, allow_redirects=True) 
    3. 
  
  
  
  
  3. withopen('invoices.xlsx','wb') asfile: 
    4. 
  
  
  
  
  4.  file.write(res.content) 
    5. 
  
  
  
  
  5. invoices = pd.read_excel('invoices.xlsx') 
    6.

大功告成!已經(jīng)創(chuàng)建了三個(gè)不同的Pandas數(shù)據(jù)幀，并且可以在同一個(gè)Jupyter notebook中進(jìn)行訪問:

  • sales_data
  • sales_team
  • invoices

文章名稱：代碼詳解：使用Python從不同表格中提取數(shù)據(jù)
路徑分享：http://www.5511xx.com/article/djcddec.html