建站
咨詢
售后
建站咨詢
新聞中心
大數(shù)據(jù)文摘出品
成都創(chuàng)新互聯(lián)公司專注于企業(yè)成都全網(wǎng)營(yíng)銷、網(wǎng)站重做改版、太和網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計(jì)、成都做商城網(wǎng)站、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為太和等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。
來(lái)源：thegradient
編譯：Fisher
隨著機(jī)器學(xué)習(xí)的日益流行，網(wǎng)上出現(xiàn)了越來(lái)越多的在線課程，個(gè)個(gè)都說(shuō)自己在教“開(kāi)創(chuàng)AI職業(yè)生涯”的必備技能。
不過(guò)，在注冊(cè)一門(mén)課之前，你應(yīng)該了解你將要get的技能究竟能否直接幫你把機(jī)器學(xué)習(xí)玩得更轉(zhuǎn)。這點(diǎn)不只限于在線課程，也針對(duì)很多大學(xué)里開(kāi)設(shè)的機(jī)器學(xué)習(xí)課程——學(xué)生們趨之若鶩的這些課程，真的能幫他們達(dá)成他們的實(shí)際目標(biāo)嗎?
機(jī)器學(xué)習(xí)教育的現(xiàn)狀
在參與過(guò)一所AI方面頂尖大學(xué)的機(jī)器學(xué)習(xí)基礎(chǔ)課程的主干之后，我發(fā)現(xiàn)了大部分此類課程所遵循的大綱：它們傾向以線性分類器開(kāi)始，在引入回歸和分類兩個(gè)概念的同時(shí)介紹損失函數(shù)和最優(yōu)化，隨后會(huì)有一兩周來(lái)細(xì)講反向傳播，然后就完全進(jìn)入到神經(jīng)網(wǎng)絡(luò)。
如果該課程主要關(guān)注深度學(xué)習(xí)，它會(huì)用剩下的大部分時(shí)間討論各種神經(jīng)網(wǎng)絡(luò)(循環(huán)神經(jīng)網(wǎng)絡(luò)RNN，長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM，卷積神經(jīng)網(wǎng)絡(luò)CNN，等等)和最近發(fā)布的重要架構(gòu)(比如ResNet，BERT)。
反之，如果該課程更關(guān)注一般性的機(jī)器學(xué)習(xí)，它會(huì)介紹其他的機(jī)器學(xué)習(xí)方法分支，比如無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。
我們可以把這些課程的關(guān)鍵論題提煉出來(lái)：先是對(duì)有監(jiān)督學(xué)習(xí)作一概覽，再對(duì)有監(jiān)督學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)做簡(jiǎn)要介紹，繼而或者介紹深度學(xué)習(xí)的各種方法，或者介紹機(jī)器學(xué)習(xí)的其他領(lǐng)域。
另外，看一看課程作業(yè)涵蓋的內(nèi)容，也有助于我們弄清楚該課程的主要目標(biāo)。
作業(yè)通常被組織成如下形式：
- 學(xué)生得到一個(gè)結(jié)構(gòu)化良好的數(shù)據(jù)集;
- 介紹一個(gè)機(jī)器學(xué)習(xí)中的模型或者核心概念，然后學(xué)生把這個(gè)模型的基礎(chǔ)推演一遍;
- 學(xué)生實(shí)現(xiàn)這個(gè)模型;
- 在給定的數(shù)據(jù)集上跑模型，做一些輕量化的超參數(shù)調(diào)試;
- 畫(huà)出結(jié)果來(lái)看模型表現(xiàn)如何。
在了解課程內(nèi)容和作業(yè)設(shè)計(jì)之后，我們基本上知道了這些課程期望學(xué)生學(xué)到什么。它們希望學(xué)生掌握相應(yīng)領(lǐng)域的關(guān)鍵模型，而它們采取的方法就是簡(jiǎn)單地涵蓋了所述模型的理論基礎(chǔ)，然后要求學(xué)生在作業(yè)里實(shí)現(xiàn)其主要的關(guān)鍵功能。
把機(jī)器學(xué)習(xí)用起來(lái)需要的技能
通過(guò)跟機(jī)器學(xué)習(xí)工業(yè)界的行內(nèi)人士聊天，我了解到有幾個(gè)關(guān)鍵技能是成功必備的。首要的技能就是學(xué)會(huì)如何妥善清洗和分析數(shù)據(jù)。
我的一位同學(xué)非常認(rèn)同這一點(diǎn)，他在最近的一次實(shí)習(xí)中花了8周時(shí)間來(lái)收集和處理數(shù)據(jù)，然后才能著手把模型用到數(shù)據(jù)集上。機(jī)器學(xué)習(xí)模型極度依賴數(shù)據(jù)，因此，掌握這項(xiàng)技能非常重要，它將確保你知道如何利用數(shù)據(jù)集的關(guān)鍵特性。
其次，對(duì)工業(yè)界的項(xiàng)目而言，大多數(shù)任務(wù)是找不到大型數(shù)據(jù)集的。因此，許多深度學(xué)習(xí)技術(shù)無(wú)法使用——可能會(huì)帶來(lái)過(guò)擬合以及泛化能力差(poor generalization)的問(wèn)題。相應(yīng)地，人們常常用更簡(jiǎn)單的、不需要大量數(shù)據(jù)的模型來(lái)作為替代方案，比如隨機(jī)森林或者logistic回歸。
這樣一來(lái)，能夠用合適的庫(kù)(比如sci-kit learn)妥善地使用這些模型就成了很有價(jià)值的技能。事實(shí)上，一個(gè)朋友告訴我，他在微軟公司的機(jī)器學(xué)習(xí)崗位上實(shí)習(xí)時(shí)，整整一個(gè)夏天都只是在跟logistic回歸的各種變種打交道。另外，隨著計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域的大型預(yù)訓(xùn)練模型的出現(xiàn)，深度學(xué)習(xí)有時(shí)候只是一個(gè)精細(xì)調(diào)參的過(guò)程。這進(jìn)一步增加了熟悉簡(jiǎn)單、基本的模型的重要性。
但是，對(duì)學(xué)術(shù)界的研究來(lái)說(shuō)，大型數(shù)據(jù)集通常容易得到，時(shí)間限制也不是大問(wèn)題，因此我們可以訓(xùn)練更大的深度學(xué)習(xí)模型。例如，Open-AI的GPT3模型足足有1750億個(gè)參數(shù)。要造出這么大的架構(gòu)，關(guān)鍵是要知道如何從工程上設(shè)計(jì)和搭建這樣的一個(gè)大型深度學(xué)習(xí)系統(tǒng)。這就需要精通PyTorch和Tensorflow兩者中的一個(gè)，這項(xiàng)技能讓研究者能夠快速有效地實(shí)現(xiàn)一個(gè)理論模型。
把需要的架構(gòu)造出來(lái)很重要，但是大部分模型還需要進(jìn)行超參數(shù)調(diào)節(jié)才能有良好表現(xiàn)。在搭建實(shí)用的機(jī)器學(xué)習(xí)系統(tǒng)時(shí)，非常關(guān)鍵的一項(xiàng)技能就是對(duì)調(diào)節(jié)過(guò)程的設(shè)計(jì)有直覺(jué)把握，而非盲目地去調(diào)節(jié)。就拿我一個(gè)最近在英偉達(dá)實(shí)習(xí)的朋友來(lái)說(shuō)，他有一段時(shí)間死活調(diào)不好某模型的參數(shù)，直到最后發(fā)現(xiàn)是他選擇的初始化區(qū)間有問(wèn)題，導(dǎo)致模型中的多數(shù)ReLU激活函數(shù)處于抑制狀態(tài)而使得學(xué)習(xí)遲滯。
缺失何在
既考察了機(jī)器學(xué)習(xí)教育的現(xiàn)狀，又討論了真正的機(jī)器學(xué)習(xí)實(shí)踐所需要的技能，現(xiàn)在我們可以評(píng)論一下教育的缺失何在了。對(duì)比課程涵蓋的內(nèi)容和實(shí)踐的要求，有一點(diǎn)很清楚，學(xué)生們所受的關(guān)于如何管理數(shù)據(jù)的教導(dǎo)是有欠缺的。
一方面課程提供的數(shù)據(jù)集很干凈，已經(jīng)做了很好的預(yù)處理，另一方面，除了畫(huà)出幾個(gè)數(shù)據(jù)點(diǎn)，課程也沒(méi)有鼓勵(lì)太多的對(duì)數(shù)據(jù)的挖掘。這種對(duì)數(shù)據(jù)集進(jìn)行清洗和挖掘的一手實(shí)踐的缺乏，對(duì)學(xué)生真正上陣時(shí)的實(shí)踐能力非常不利。
另外一點(diǎn)，盡管課堂上提供了對(duì)關(guān)鍵理論框架的數(shù)學(xué)背景的直覺(jué)式的講解，但是為什么特定任務(wù)下給定的模型就比其他模型要有更好的表現(xiàn)，這背后的理論給學(xué)生們講得不夠。結(jié)果就是，盡管學(xué)生也熟悉不少模型，他們還是不知道哪些模型最適合給定的數(shù)據(jù)集和任務(wù)。不完全懂得關(guān)鍵模型和技術(shù)的數(shù)學(xué)基礎(chǔ)的全部細(xì)節(jié)，學(xué)生沒(méi)法在特定情境下快速選對(duì)模型。
哪些已經(jīng)做得不錯(cuò)了，哪些還能做得更好
通過(guò)對(duì)課堂知識(shí)到實(shí)踐技能之間的缺失的分析，我們可以看到大多數(shù)課程在傳授基礎(chǔ)知識(shí)上做得不錯(cuò)。課程里講授的概念可以讓你理解一個(gè)機(jī)器學(xué)習(xí)算法是如何工作的，它如何才能收斂。課程還讓學(xué)生能夠熟悉適用于不同任務(wù)的各種最佳算法，并接觸到廣泛的學(xué)習(xí)材料，可助有志者進(jìn)一步深入。
但是，提升空間還是很大的。很多課把開(kāi)始的幾周時(shí)間花在同一個(gè)地方：線性分類器和反向傳播。這些無(wú)疑是關(guān)鍵的主題，但是把將近三分之一的課時(shí)花在講授預(yù)備知識(shí)上并非最佳選擇——把本科生和研究生的內(nèi)容做個(gè)區(qū)分會(huì)很有用。
研究生課程可以要求學(xué)生們已經(jīng)掌握了預(yù)備知識(shí)，或者指示學(xué)生先去修本科生的同類課程。這樣就給課堂留出了充足的時(shí)間，可以教授學(xué)生們?nèi)绾翁幚碚n堂關(guān)注的特定領(lǐng)域的數(shù)據(jù)，或者進(jìn)一步細(xì)化了解該領(lǐng)域內(nèi)的關(guān)鍵理論框架。
我相信這樣做可以讓機(jī)器學(xué)習(xí)的課堂把課堂知識(shí)和實(shí)踐技能更好地聯(lián)系起來(lái)。很明顯，作為系列課程的一部分，一門(mén)課的孤立改變是做不到這點(diǎn)的，只有整個(gè)社群的協(xié)調(diào)改進(jìn)才能保證學(xué)生們獲得最新最有用的知識(shí)。
學(xué)校為何應(yīng)當(dāng)重視?
雖然彌合本文提到的缺失對(duì)提升學(xué)生的實(shí)踐能力絕對(duì)有用，很多課程還是會(huì)表示培養(yǎng)工業(yè)界需要的能力不是它們的事。但是，這些技能遠(yuǎn)不只是工業(yè)界需要的，而是具有可遷移性。
事實(shí)上，它們?cè)趲缀跞魏吻榫诚露加杏谩＠?，在學(xué)術(shù)研究中開(kāi)發(fā)新模型的時(shí)候，也需要知道如何妥善地處理數(shù)據(jù)，以及哪些技術(shù)能帶來(lái)更有利的結(jié)果。另外，這些技能是如此基本，掌握它們會(huì)讓學(xué)生成為更好的機(jī)器學(xué)習(xí)實(shí)踐者——對(duì)于一門(mén)課程來(lái)說(shuō)，任何有益學(xué)生知識(shí)結(jié)構(gòu)的東西都應(yīng)當(dāng)重視和教授。
基于目前的課程現(xiàn)狀，我們可以說(shuō)，AI課程能夠帶你入門(mén)，不管你是想從事前沿研究還是找一份業(yè)界工作，但是它們不會(huì)教授你需要的一切。要彌合缺失的部分，你需要自己付出大量的課外努力。
相關(guān)報(bào)道：https://thegradient.pub/the-gap-where-machine-learning-education-falls-short/
【本文是專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
分享題目：缺失何在？當(dāng)下機(jī)器學(xué)習(xí)教育的短板
文章轉(zhuǎn)載：http://www.5511xx.com/article/djciihd.html
