建站
咨詢
售后
建站咨詢
新聞中心
一、Tensorflow 基礎(chǔ)
創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、網(wǎng)站制作、豐滿網(wǎng)絡(luò)推廣、成都微信小程序、豐滿網(wǎng)絡(luò)營(yíng)銷、豐滿企業(yè)策劃、豐滿品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供豐滿建站搭建服務(wù)，24小時(shí)服務(wù)熱線：13518219792，官方網(wǎng)址：www.cdcxhl.com
TensorFlow 和其他諸如 numpy 之類的數(shù)學(xué)計(jì)算庫(kù)的根本區(qū)別在于：在 TensorFlow 中，運(yùn)算操作是符號(hào)化的。這是一個(gè)強(qiáng)大的思想，它能夠讓 TensorFlow 做任何事情(例如，自動(dòng)求微分)，而這些事情對(duì)于 numpy 等命令式的庫(kù)而言是不可能完成的。但是這也導(dǎo)致了隨之而來(lái)的代價(jià)，就是掌握這個(gè)庫(kù)會(huì)相對(duì)困難一些。在本文中，作者會(huì)嘗試揭開(kāi) TensorFlow 的神秘面紗，并提供一些關(guān)于高效使用 TensorFlow 的指南和實(shí)踐例子。
讓我們以一個(gè)簡(jiǎn)單的例子開(kāi)始，我們想讓兩個(gè)隨機(jī)矩陣相乘。首先我們看一下用 numpy 來(lái)實(shí)現(xiàn)這個(gè)例子：
- import numpy as np
- x = np.random.normal(size=[10, 10])
- y = np.random.normal(size=[10, 10])
- z = np.dot(x, y)print(z)
這樣的計(jì)算在 TensorFlow 中會(huì)是什么樣子?
結(jié)果如下：
- import tensorflow as tf
- x = tf.random_normal([10, 10])
- y = tf.random_normal([10, 10])
- z = tf.matmul(x, y)
- sess = tf.Session()
- z_val = sess.run(z)print(z_val)
與 numpy 直接執(zhí)行計(jì)算并將結(jié)果復(fù)制到變量 z 中的思路不同的是，TensorFlow 僅僅給圖中代表結(jié)果的節(jié)點(diǎn)給提供了一個(gè)操作。如果我們直接打印 z 的值，我們會(huì)得到下面的信息：
- Tensor("MatMul:0", shape=(10, 10), dtype=float32)
由于兩個(gè)輸入矩陣都有被完全定義的維度，TensorFlow 還能夠在指定張量的維度的同時(shí)指定它的數(shù)據(jù)類型。為了計(jì)算出張量的值，我們需要使用 Session.run() 這個(gè)函數(shù)來(lái)創(chuàng)建一個(gè)會(huì)話。
| Tip：在使用 Jupyter notebook 的時(shí)候，要確保在開(kāi)始的時(shí)候調(diào)用一下 tf.reset_default() 函數(shù)，以在定義新節(jié)點(diǎn)之前清空符號(hào)圖。 |
為了理解符號(hào)計(jì)算有多么強(qiáng)大，讓我們來(lái)看一下另一個(gè)例子。假設(shè)我們有一些一條曲線上的樣本點(diǎn)(例如曲線是 f(x) = 5x^2 + 3)，但是我們想要在不知道參數(shù)的情況下來(lái)估計(jì)這個(gè)函數(shù) f(x)。我們定義一個(gè)含參數(shù)的函數(shù) g(x, w) = w0 x^2 + w1 x + w2，它是關(guān)于輸入數(shù)據(jù) x 和隱藏參數(shù) w 的函數(shù)，我們的目標(biāo)就是找到這組隱藏參數(shù)，使得 g(x, w) ≈ f(x)。我們可以通過(guò)最小化下面的損失函數(shù) L(w) 來(lái)實(shí)現(xiàn)：L(w) = (f(x) - g(x, w))^2。盡管這個(gè)簡(jiǎn)單的問(wèn)題已經(jīng)有一個(gè)閉合的解決方法了，但我們還是選擇使用一個(gè)更加通用的方法，這個(gè)方法能夠被應(yīng)用在任何可微分的函數(shù)中，它使用了隨機(jī)梯度降的方法。我們簡(jiǎn)單地計(jì)算損失函數(shù) L(w) 在一組樣本點(diǎn)上關(guān)于 w 的平均梯度，然后朝著梯度的反方向變化參數(shù) w。
下面展示了這個(gè)方法在 TensorFlow 中是如何實(shí)現(xiàn)的：
- import numpy as np
- import tensorflow as tf
- # 使用占位符從python向TensorFlow運(yùn)算符中傳遞參數(shù)值。我們?cè)谶@里定義了兩個(gè)占位符，其中一個(gè)用來(lái)存放輸入特征x，另一個(gè)用來(lái)存放輸出y.
- x = tf.placeholder(tf.float32)
- y = tf.placeholder(tf.float32)
- # 假設(shè)我們已經(jīng)知道了期望的函數(shù)是一個(gè)二次多項(xiàng)式，我們就會(huì)分配一個(gè)具有3個(gè)元素的向量來(lái)代表這些參數(shù)。這些變量會(huì)被以隨機(jī)地進(jìn)行初始化。
- w = tf.get_variable("w", shape=[3, 1])
- # 我們定義yhat為我們對(duì)y的估計(jì)值
- f = tf.stack([tf.square(x), x, tf.ones_like(x)], 1)
- yhat = tf.squeeze(tf.matmul(f, w), 1)
- # 損失函數(shù)被定義為y的估計(jì)值和真實(shí)值之間地l2距離。我們還附加了一個(gè)收縮項(xiàng)，以確保結(jié)果得到的權(quán)值會(huì)比較小。
- loss = tf.nn.l2_loss(yhat - y) + 0.1 * tf.nn.l2_loss(w)
- # 我們以0.1的學(xué)習(xí)率使用Adam優(yōu)化器來(lái)最小化損失函數(shù)。
- train_op = tf.train.AdamOptimizer(0.1).minimize(loss)
- def generate_data():
- x_val = np.random.uniform(-10.0, 10.0, size=100)
- y_val = 5 * np.square(x_val) + 3
- return x_val, y_val
- sess = tf.Session()
- # 因?yàn)槲覀円褂眠@些變量，所以我們需要先將它們初始化
- sess.run(tf.global_variables_initializer())
- for _ in range(1000):
- x_val, y_val = generate_data()
- _, loss_val = sess.run([train_op, loss], {x: x_val, y: y_val})
- print(loss_val)
- print(sess.run([w]))
運(yùn)行完這段代碼之后，我得到的參數(shù)結(jié)果是：
- [4.98605919,-0.00187828875e-04,3.8395009]
上面是編輯運(yùn)行完之后的結(jié)果，它對(duì)應(yīng)的損失值是 17.6175. 每一次的具體結(jié)果都會(huì)不同，但是最終結(jié)果都很接近期望的函數(shù)值。下面是原文作者提供的值。
- [4.9924135,0.00040895029, 3.4504161]
這是與期望參數(shù)相當(dāng)接近的近似。
這只是 TensorFlow 能夠做到的事情的冰山一角而已。很多類似于優(yōu)化具有上百萬(wàn)個(gè)參數(shù)的大型神經(jīng)網(wǎng)絡(luò)的問(wèn)題都能夠用 TensorFlow 以很少量的代碼來(lái)高效地實(shí)現(xiàn)。與此同時(shí)，TensorFlow 的開(kāi)發(fā)團(tuán)隊(duì)還致力于在多種設(shè)備、多線程以及支持多平臺(tái)等問(wèn)題上更進(jìn)一步。
簡(jiǎn)單起見(jiàn)，在絕大多數(shù)例子中我們都手動(dòng)地創(chuàng)建了會(huì)話，我們并沒(méi)有保存和加載 checkpoint，但是這卻是我們?cè)趯?shí)戰(zhàn)中經(jīng)常需要做的事情。你很可能想著使用估計(jì) API 來(lái)進(jìn)行會(huì)話管理以及做日志。我們?cè)?code/framework 路徑下提供了一個(gè)簡(jiǎn)單的可擴(kuò)展架構(gòu)，作為使用 TensorFlow 來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)實(shí)際架構(gòu)的例子。
理解靜態(tài)維度和動(dòng)態(tài)維度
TensorFlow 中的張量具有靜態(tài)維度的屬性，它在構(gòu)建圖的時(shí)候就被確定好了。靜態(tài)維度也有可能是不確定的。舉個(gè)例子，我們也許會(huì)定義一個(gè)維度為 [None，128] 的張量。
- import tensorflow as tf
- a = tf.placeholder([None, 128])
這意味著***個(gè)維度可以是任意大小，會(huì)在 Session.run() 的過(guò)程中被動(dòng)態(tài)地決定。在表現(xiàn)靜態(tài)張量的時(shí)候，TensorFlow 有著相當(dāng)丑的 API：
- static_shape = a.get_shape().as_list() # returns [None, 128]
(這個(gè)應(yīng)該寫(xiě)成 a,shape() 的形式，但是這里有人把它定義得太不方便了。)
為獲得張量的動(dòng)態(tài)形式，你可以調(diào)用 tf.shape 功能，它會(huì)返回一個(gè)表示給定張量的形狀的張量：
- dynamic_shape = tf.shape(a)
一個(gè)張量的靜態(tài)維度可以使用 Tensor.set_shape() 函數(shù)來(lái)進(jìn)行設(shè)置。
- a.set_shape([32, 128])
僅當(dāng)你知道自己在做什么的時(shí)候再使用這個(gè)函數(shù)，事實(shí)上使用 tf.reshape() 會(huì)更加安全。
- a = tf.reshape(a, [32, 128])
如果有一個(gè)函數(shù)能在方便的時(shí)候返回靜態(tài)維度，在可用的時(shí)候返回動(dòng)態(tài)維度，那將會(huì)很方便。下面就定義了這樣一個(gè)函數(shù)：
- def get_shape(tensor):
- static_shape = tensor.get_shape().as_list()
- dynamic_shape = tf.unstack(tf.shape(tensor))
- dims = [s[1] if s[0] is None else s[0]
- for s in zip(static_shape, dynamic_shape)]
- return dims
現(xiàn)在設(shè)想：我們想通過(guò)折疊第二維和第三維來(lái)把一個(gè) 3 維的矩陣轉(zhuǎn)換成一個(gè) 2 維的矩陣。我們可以使用上述的 get_shape() 函數(shù)來(lái)完成這件事：
- b = placeholder([None, 10, 32])
- shape = get_shape(tensor)
- b = tf.reshape(b, [shape[0], shape[1] * shape[2]])
值得注意的是，這里無(wú)論矩陣是不是靜態(tài)的，這個(gè)方法都能奏效。
事實(shí)上我們可以寫(xiě)一個(gè)更加具有通用目標(biāo)的函數(shù)來(lái)折疊任何幾個(gè)維度：
- import tensorflow as tfimport numpy as np
- def reshape(tensor, dims_list):
- shape = get_shape(tensor)
- dims_prod = []
- for dims in dims_list:
- if isinstance(dims, int):
- dims_prod.append(shape[dims])
- elif all([isinstance(shape[d], int) for d in dims]):
- dims_prod.append(np.prod([shape[d] for d in dims]))
- else:
- dims_prod.append(tf.prod([shape[d] for d in dims]))
- tensor = tf.reshape(tensor, dims_prod)
- return tensor
然后折疊第二個(gè)維度就變得非常容易了。
- b = placeholder([None, 10, 32])
- b = tf.reshape(b, [0, [1, 2]])
廣播操作
TensorFlow 支持廣播逐個(gè)元素的操作。正常情況下，當(dāng)你想執(zhí)行類似于加法和乘法的操作時(shí)，你需要確保算子的維度是匹配的。例如，你不能把一個(gè)維度為 [3,2] 的張量與一個(gè)維度為 [3,4] 的張量相加。但是在一個(gè)特殊的情況下你可以使用異常的維度。TensorFlow 會(huì)隱式地把一個(gè)張量的異常維度調(diào)整到與另一個(gè)算子相匹配的維度以實(shí)現(xiàn)維度兼容。所以將一個(gè)維度為 [3,2] 的張量與一個(gè)維度為 [3,1] 的張量相加是合法的。
- import tensorflow as tf
- a = tf.constant([[1., 2.], [3., 4.]])
- b = tf.constant([[1.], [2.]])# c = a + tf.tile(a, [1, 2])c = a +
廣播允許我們執(zhí)行隱式調(diào)整，這能夠讓代碼更短，更加高效地使用內(nèi)存，因?yàn)槲覀儾恍枰鎯?chǔ)調(diào)整操作中間結(jié)果的內(nèi)存開(kāi)銷。這個(gè)方法可以被用在一個(gè)場(chǎng)景中：那就是結(jié)合不同長(zhǎng)度的特征。為了連接不同長(zhǎng)度的特征，我們通常會(huì)把輸入張量進(jìn)行調(diào)整，然后把結(jié)果連接起來(lái)并應(yīng)用一些非線性處理方法。這是很多神經(jīng)網(wǎng)絡(luò)中的常用方法。
- a = tf.random_uniform([5, 3, 5])
- b = tf.random_uniform([5, 1, 6])
- # concat a and b and apply nonlinearity
- tiled_b = tf.tile(b, [1, 3, 1])
- c = tf.concat([a, tiled_b], 2)
- d = tf.layers.dense(c, 10, activation=tf.nn.relu)
但是這個(gè)可以用廣播的方法做得更加有效。我們可以利用 f(m(x + y)) 等價(jià)于 f(mx + my) 這一事實(shí)。所以我們可以將線性操作分開(kāi)處理，然后使用廣播的方法去做隱式的連接。
- pa = tf.layers.dense(a, 10, activation=None)
- pb = tf.layers.dense(b, 10, activation=None)
- d = tf.nn.relu(pa + pb)
事實(shí)上這段代碼是相當(dāng)通用的，只要張量之間能夠進(jìn)行廣播操作，它就能夠被用于任何維度的張量上。
- def tile_concat_dense(a, b, units, activation=tf.nn.relu):
- pa = tf.layers.dense(a, units, activation=None)
- pb = tf.layers.dense(b, units, activation=None)
- c = pa + pb if activation is not None:
- c = activation(c)
- return c
到目前為止，我們討論了廣播操作的好的一面。你會(huì)問(wèn)，那么它不好的一面是什么呢?隱式的假設(shè)總會(huì)讓調(diào)試變得更加難?？匆幌孪旅娴睦樱?/p>
- a = tf.constant([[1.], [2.]])
- b = tf.constant([1., 2.])
- c = tf.reduce_sum(a + b)
你認(rèn)為 c 的值會(huì)是多少呢?如果你說(shuō)是 6，那你就錯(cuò)了。結(jié)果會(huì)是 12。這是因?yàn)楫?dāng)兩個(gè)張量的秩不匹配的時(shí)候，TensorFlow 就會(huì)自動(dòng)地以較低的維度來(lái)擴(kuò)展***維的大小，所以加法的結(jié)果會(huì)變成 [[2,3],[3,4]]，所以在全體參數(shù)上的求和操作會(huì)給出 12 的結(jié)果。
避免這個(gè)問(wèn)題的辦法就是盡可能地顯示化。如果我們顯示地指定了要將哪個(gè)維度進(jìn)行求和，解決這個(gè)問(wèn)題就會(huì)變得很容易了。
- a = tf.constant([[1.], [2.]])
- b = tf.constant([1., 2.])
- c = tf.reduce_sum(a + b, 0)
現(xiàn)在 c 的值會(huì)是 [5,7]，考慮到輸出結(jié)果的維度，我們會(huì)立即猜想是不是哪里出了錯(cuò)。一般的經(jīng)驗(yàn)法則就是在求和操作以及使用 tf.squeeze() 的時(shí)候總要指定具體的維度。
原型內(nèi)核與 Python 操作下的高度可視化
為了更高的效率，TensorFlow 的運(yùn)算內(nèi)核是用 C++編寫(xiě)的。但是用 C++寫(xiě) TensorFlow 內(nèi)核是一件痛苦的事情。所以，在你實(shí)現(xiàn)內(nèi)核之前，你也許會(huì)想著快速地實(shí)現(xiàn)一個(gè)原型系統(tǒng)。借助于 tf.py_func() 函數(shù)，你可以將任何一段 Python 代碼轉(zhuǎn)化成 TensorFlow 操作。
例如，下面的例子展示了如何在 TensorFlow 中使用 Python 操作來(lái)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的 ReLU 非線性核。
- import numpy as np
- import tensorflow as tf
- import uuiddef relu(inputs):
- # Define the op in python
- def _relu(x):
- return np.maximum(x, 0.)
- # Define the op's gradient in python
- def _relu_grad(x): return np.float32(x > 0)
- # An adapter that defines a gradient op compatible with Tensorflow
- def _relu_grad_op(op, grad):
- x = op.inputs[0]
- x_grad = grad * tf.py_func(_relu_grad, [x], tf.float32)
- return x_grad
- # Register the gradient with a unique id
- grad_name = "MyReluGrad_" + str(uuid.uuid4())
- tf.RegisterGradient(grad_name)(_relu_grad_op)
- # Override the gradient of the custom op
- g = tf.get_default_graph()
- with g.gradient_override_map({"PyFunc": grad_name}):
- output = tf.py_func(_relu, [inputs], tf.float32)
- return output
你可以使用 TensorFlow 的梯度檢查器來(lái)驗(yàn)證梯度是否正確：
- x = tf.random_normal([10])
- y = relu(x * x)with tf.Session():
- diff = tf.test.compute_gradient_error(x, [10], y, [10])
- print(diff)
函數(shù) compute_gradient_error() 會(huì)計(jì)算出梯度的數(shù)值，并且返回與給定梯度相比的差別。我所期望的是一個(gè)很小的差距。
需要注意的是，這個(gè)實(shí)現(xiàn)是相當(dāng)?shù)托У模⑶覂H對(duì)原型開(kāi)發(fā)有用，因?yàn)?Python 代碼并不是能夠并行的，也無(wú)法在 GPU 上運(yùn)行。一旦你驗(yàn)證了自己的思想，你肯定會(huì)想著把它寫(xiě)成一個(gè) c++內(nèi)核。
在實(shí)踐中，我們通常會(huì)在 Tensorboard 上使用 Python 操作來(lái)實(shí)現(xiàn)可視化。假設(shè)你在構(gòu)建一個(gè)圖像分類的模型，并且想要在訓(xùn)練的過(guò)程中可視化模型的預(yù)測(cè)結(jié)果。TensorFlow 允許使用 tf.summary.image() 函數(shù)來(lái)做可視化。
- image = tf.placeholder(tf.float32)
- tf.summary.image("image", image)
但是這僅僅會(huì)可視化輸入圖像。為了可視化預(yù)測(cè)結(jié)果，你必須尋求一種能夠做圖像注解的方式，這種方式幾乎在現(xiàn)有的操作中根本就不存在。一種比較容易的方法就是在 Python 中畫(huà)圖，然后用 Python 操作將其封裝起來(lái)。
- import io
- import matplotlib.pyplot as plt
- import numpy as npimport PIL
- import tensorflow as tf
- def visualize_labeled_images(images, labels, max_outputs=3, name='image'):
- def _visualize_image(image, label):
- # Do the actual drawing in python
- fig = plt.figure(figsize=(3, 3), dpi=80)
- ax = fig.add_subplot(111)
- ax.imshow(image[::-1,...])
- ax.text(0, 0, str(label),
- horizontalalignment='left',
- verticalalignment='top')
- fig.canvas.draw()
- # Write the plot as a memory file.
- buf = io.BytesIO()
- data = fig.savefig(buf, format='png')
- buf.seek(0)
- # Read the image and convert to numpy array
- img = PIL.Image.open(buf)
- return np.array(img.getdata()).reshape(img.size[0], img.size[1], -1)
- def _visualize_images(images, labels):
- # Only display the given number of examples in the batch
- outputs = []
- for i in range(max_outputs):
- output = _visualize_image(images[i], labels[i])
- outputs.append(output)
- return np.array(outputs, dtype=np.uint8)
- # Run the python op.
- figs = tf.py_func(_visualize_images, [images, labels], tf.uint8)
- return tf.summary.image(name, figs)
要注意，因?yàn)檫@里的 summary 通常都會(huì)隔一段時(shí)間才評(píng)估一次(并不是每一步都有)，所以這個(gè)方法是實(shí)用的，而不用擔(dān)心由此引發(fā)的效率問(wèn)題。
原文：https://github.com/vahidk/EffectiveTensorflow
【本文是專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
新聞名稱：維度、廣播操作與可視化：如何高效使用TensorFlow
網(wǎng)站鏈接：http://www.5511xx.com/article/cdgsgdg.html
