建站
咨詢
售后
建站咨詢
新聞中心
大家好！我是虎哥。
10年積累的網(wǎng)站設(shè)計制作、成都網(wǎng)站制作經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站設(shè)計后付款的網(wǎng)站建設(shè)流程，更有興海免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
項目背景
作為數(shù)據(jù)分析師，我們需要經(jīng)常制作統(tǒng)計分析圖表。但是報表太多的時候往往需要花費我們大部分時間去制作報表。這耽誤了我們利用大量的時間去進行數(shù)據(jù)分析。但是作為數(shù)據(jù)分析師我們應(yīng)該盡可能去挖掘表格圖表數(shù)據(jù)背后隱藏關(guān)聯(lián)信息，而不是簡單的統(tǒng)計表格制作圖表再發(fā)送報表。
一、報表自動化目的
1.節(jié)省時間，提高效率
自動化總是能夠很好的節(jié)省時間，提高我們的工作效率。讓我們的程序編程盡可能的降低每個功能實現(xiàn)代碼的耦合性，更好的維護代碼。這樣我們會節(jié)省很多時間讓我們有空去做更多有價值有意義的工作。
2.減少錯誤
編碼實現(xiàn)效果正確無誤的話是是可以一直沿用的，如果是人為來操作的話反而可能會犯一些錯誤。交給固定的程序來做更加讓人放心，需求變更時僅修改部分代碼即可解決問題。
二、報表自動化范圍
首先我們需要根據(jù)業(yè)務(wù)需求來制定我們所需要的報表，并不是每個報表都需要進行自動化的，一些復(fù)雜二次開發(fā)的指標(biāo)數(shù)據(jù)要實現(xiàn)自動化編程的比較復(fù)雜的，而且可能會隱藏著各種BUG。所以我們需要對我們工作所要用到的報表的特性進行歸納，以下是我們需要綜合考慮的幾個方面：
1.頻率
對于一些業(yè)務(wù)上經(jīng)常需要用到的表，這些表我們可能要納入自動化程序的范圍。例如客戶信息清單、銷售額流量報表、業(yè)務(wù)流失報表、環(huán)比同比報表等。
這些使用頻率較高的報表，都很有必要進行自動化。對于那些偶爾需要使用的報表，或者是二次開發(fā)指標(biāo)，需要復(fù)制統(tǒng)計的報表，這些報表就沒必要實現(xiàn)自動化了。
2.開發(fā)時間
這就相當(dāng)于成本和利率一樣，若是有些報表自動化實現(xiàn)困難，還超過了我們普通統(tǒng)計分析所需要的時間，就沒必要去實現(xiàn)自動化。所以開始自動化工作的時候要衡量一下開發(fā)腳本所耗費的時間和人工做表所耗費的時間哪個更短了。當(dāng)然我會提供一套實現(xiàn)方案，但是僅對一些常用簡單的報表。
3.流程
對于我們報表每個過程和步驟，每個公司都有所不同，我們需要根據(jù)業(yè)務(wù)場景去編碼實現(xiàn)各個步驟功能。所以我們制作的流程應(yīng)該是符合業(yè)務(wù)邏輯的，制作的程序也應(yīng)該是符合邏輯的。
三、實現(xiàn)步驟
首先我們需要知道我們需要什么指標(biāo)：
指標(biāo)
- 總體概覽指標(biāo)
反映某一數(shù)據(jù)指標(biāo)的整體大小
- 對比性指標(biāo)
- 環(huán)比
相鄰時間段內(nèi)的指標(biāo)直接作差
- 同比
相鄰時間段內(nèi)某一共同時間點上指標(biāo)的對比
- 集中趨勢指標(biāo)
- 中位數(shù)
- 眾數(shù)
- 平均數(shù)/加權(quán)平均數(shù)
- 離散程度指標(biāo)
- 標(biāo)準(zhǔn)差
- 方差
- 四分位數(shù)
- 全距（極差）
- 最大界減最小界
- 相關(guān)性指標(biāo)
- r
我們拿一個簡單的報表來進行模擬實現(xiàn)：
第一步：讀取數(shù)據(jù)源文件
首先我們要了解我們的數(shù)據(jù)是從哪里來的，也就是數(shù)據(jù)源。我們最終的數(shù)據(jù)處理都是轉(zhuǎn)化為DataFrame來進行分析的，所以需要對數(shù)據(jù)源進行轉(zhuǎn)化為DataFrame形式：
import pandas as pd
import json
import pymysql
from sqlalchemy import create_engine
# 打開數(shù)據(jù)庫連接
conn = pymysql.connect(host='localhost',
port=3306,
user='root',
passwd='xxxx',
charset = 'utf8'
)
engine=create_engine('mysql+pymysql://root:xxxx@localhost/mysql?charset=utf8')
def read_excel(file):
df_excel=pd.read_excel(file)
return df_excel
def read_json(file):
with open(file,'r')as json_f:
df_json=pd.read_json(json_f)
return df_json
def read_sql(table):
sql_cmd ='SELECT * FROM %s'%table
df_sql=pd.read_sql(sql_cmd,engine)
return df_sql
def read_csv(file):
df_csv=pd.read_csv(file)
return df_csv
以上代碼均通過測試可以正常使用，但是pandas的read函數(shù)針對不同的形式的文件讀取，其read函數(shù)參數(shù)也有不同的含義，需要直接根據(jù)表格的形式來調(diào)整。
其他read函數(shù)將會在文章寫完之后后續(xù)補上，除了read_sql需要連接數(shù)據(jù)庫之外，其他的都是比較簡單的。
第二步：DataFrame計算
我們以用戶信息為例：
我們需要統(tǒng)計的指標(biāo)為：
- #指標(biāo)說明
- 單表圖：
- 前十個產(chǎn)品受眾最多的地區(qū)
#將城市空值的一行刪除
df=df[df['city_num'].notna()]
#刪除error
df=df.drop(df[df['city_num']=='error'].index)
#統(tǒng)計 df = df.city_num.value_counts()
我們僅獲取前10名的城市就好了，封裝為餅圖：
def pie_chart(df):
#將城市空值的一行刪除
df=df[df['city_num'].notna()]
#刪除error
df=df.drop(df[df['city_num']=='error'].index)
#統(tǒng)計
df = df.city_num.value_counts()
df.head(10).plot.pie(subplots=True,figsize=(5, 6),autopct='%.2f%%',radius = 1.2,startangle = 250,legend=False)
pie_chart(read_csv('user_info.csv'))
將圖表保存起來：
plt.savefig('fig_cat.png')要是你覺得matplotlib的圖片不太美觀的話，你也可以換成echarts的圖片，會更加好看一些：
pie = Pie()
pie.add("",words)
pie.set_global_opts(title_opts=opts.TitleOpts(title="前十地區(qū)"))
#pie.set_series_opts(label_opts=opts.LabelOpts(user_df))
pie.render_notebook()
封裝后就可以直接使用了：
def echart_pie(user_df):
user_df=user_df[user_df['city_num'].notna()]
user_df=user_df.drop(user_df[user_df['city_num']=='error'].index)
user_df = user_df.city_num.value_counts()
name=user_df.head(10).index.tolist()
value=user_df.head(10).values.tolist()
words=list(zip(list(name),list(value)))
pie = Pie()
pie.add("",words)
pie.set_global_opts(title_opts=opts.TitleOpts(title="前十地區(qū)"))
#pie.set_series_opts(label_opts=opts.LabelOpts(user_df))
return pie.render_notebook()
user_df=read_csv('user_info.csv')
echart_pie(user_df)
可以進行保存，可惜不是動圖：
from snapshot_selenium import snapshot
make_snapshot(snapshot,echart_pie(user_df).render(),"test.png")
保存為網(wǎng)頁的形式就可以自動加載JS進行渲染了：
echart_pie(user_df).render('problem.html')
os.system('problem.html')
第三步：自動發(fā)送郵件
做出來的一系列報表一般都要發(fā)給別人看的，對于一些每天需要發(fā)送到指定郵箱或者需要發(fā)送多封報表的可以使用Python來自動發(fā)送郵箱。
在Python發(fā)送郵件主要借助到smtplib和email這個兩個模塊。
- smtplib：主要用來建立和斷開與服務(wù)器連接的工作。
- email：主要用來設(shè)置一些些與郵件本身相關(guān)的內(nèi)容。
不同種類的郵箱服務(wù)器連接地址不一樣，大家根據(jù)自己平常使用的郵箱設(shè)置相應(yīng)的服務(wù)器進行連接。這里博主用網(wǎng)易郵箱展示：
首先需要開啟POP3/SMTP/IMAP服務(wù)：
之后便可以根據(jù)授權(quán)碼使用python登入了。
import smtplib
from email import encoders
from email.header import Header
from email.utils import parseaddr,formataddr
from email.mime.application import MIMEApplication
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
#發(fā)件人郵箱
asender="fanstuck@163.com"
#收件人郵箱
areceiver="1079944650@qq.com"
#抄送人郵箱
acc="fanstuck@163.com"
#郵箱主題
asubject="謝謝關(guān)注"
#發(fā)件人地址
from_addr="fanstuck@163.com"
#郵箱授權(quán)碼
password="####"
#郵件設(shè)置
msg=MIMEMultipart()
msg['Subject']=asubject
msg['to']=areceiver
msg['Cc']=acc
msg['from']="fanstuck"
#郵件正文
body="你好，歡迎關(guān)注fanstuck，您的關(guān)注就是我繼續(xù)創(chuàng)作的動力！"
msg.attach(MIMEText(body,'plain','utf-8'))
#添加附件
htmlFile = 'C:/Users/10799/problem.html'
html = MIMEApplication(open(htmlFile , 'rb').read())
html.add_header('Content-Disposition', 'attachment', filename='html')
msg.attach(html)
#設(shè)置郵箱服務(wù)器地址和接口
smtp_server="smtp.163.com"
server = smtplib.SMTP(smtp_server,25)
server.set_debuglevel(1)
#登錄郵箱
server.login(from_addr,password)
#發(fā)生郵箱
server.sendmail(from_addr,areceiver.split(',')+acc.split(','),msg.as_string())
#斷開服務(wù)器連接
server.quit()
運行測試：
下載文件：
完全沒問題?。?！
網(wǎng)站名稱：Python自動化辦公小程序：實現(xiàn)報表自動化和自動發(fā)送到目的郵箱
標(biāo)題路徑：http://www.5511xx.com/article/ccdpjji.html
