建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
如何在 Keras 中實(shí)現(xiàn) RNN 序列到序列學(xué)習(xí)?本文中，作者將嘗試對(duì)這一問(wèn)題做出簡(jiǎn)短解答;本文預(yù)設(shè)你已有一些循環(huán)網(wǎng)絡(luò)和 Keras 的使用經(jīng)驗(yàn)。
公司主營(yíng)業(yè)務(wù)：成都做網(wǎng)站、網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站開(kāi)發(fā)等業(yè)務(wù)。幫助企業(yè)客戶(hù)真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開(kāi)放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來(lái)的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶(hù)帶來(lái)驚喜。成都創(chuàng)新互聯(lián)公司推出始興免費(fèi)做網(wǎng)站回饋大家。
GitHub：https://github.com/fchollet/keras/blob/master/examples/lstm_seq2seq.py
什么是序列到序列學(xué)習(xí)?
序列到序列學(xué)習(xí)(Seq2Seq)是指訓(xùn)練模型從而把一個(gè)域的序列(比如英語(yǔ)語(yǔ)句)轉(zhuǎn)化為另一個(gè)域的序列(比如法語(yǔ)中的對(duì)應(yīng)語(yǔ)句)。
- "the cat sat on the mat"->[Seq2Seqmodel]->"le chat etait assis sur le tapis"
Seq2Seq 可用于機(jī)器翻譯或者省去問(wèn)題回答——通常來(lái)講，它可以隨時(shí)生成文本。完成這一任務(wù)有很多方式，比如 RNN 或一維卷積。本文只介紹 RNN。
次要案例：當(dāng)輸入序列和輸出序列長(zhǎng)度相同
當(dāng)輸入序列和輸出序列長(zhǎng)度相同時(shí)，你可以通過(guò) Keras LSTM 或者 GRU 層(或者其中的堆棧)簡(jiǎn)單地實(shí)現(xiàn)模型。這一實(shí)例腳本中的案例展示了如何教會(huì) RNN 學(xué)習(xí)添加被編碼為字符串的數(shù)字：
一般案例：標(biāo)準(zhǔn)的 Seq2Seq
一般情況下，輸入序列和輸出序列有不同的長(zhǎng)度(比如機(jī)器翻譯)。這就需要一個(gè)更高級(jí)的設(shè)置，尤其在沒(méi)有進(jìn)一步語(yǔ)境的「序列到序列模型」時(shí)。下面是其工作原理：
- 一個(gè) RNN 層(或其中的堆棧)作為「編碼器」：它處理輸入序列并反饋其內(nèi)部狀態(tài)。注意我們拋棄了編碼器 RNN 的輸出，只恢復(fù)其狀態(tài)。該狀態(tài)在下一步中充當(dāng)解碼器的「語(yǔ)境」。
- 另一個(gè) RNN 層作為「解碼器」：在給定目標(biāo)序列先前字母的情況下，它被訓(xùn)練以預(yù)測(cè)目標(biāo)序列的下一個(gè)字符。具體講，它被訓(xùn)練把目標(biāo)序列轉(zhuǎn)化為相同序列，但接下來(lái)被一個(gè)時(shí)間步抵消，這一訓(xùn)練過(guò)程在語(yǔ)境中被稱(chēng)為「teacher forcing」。更重要的是，編碼器把其狀態(tài)向量用作初始狀態(tài)，如此編碼器獲得了其將要生成的信息。實(shí)際上，在給定 targets[...t] 的情況下，解碼器學(xué)習(xí)生成 targets[t+1...]，前提是在輸入序列上。
在推理模式中，即當(dāng)要解碼未知的輸入序列，我們完成了一個(gè)稍微不同的處理：
- 把輸入序列編碼進(jìn)狀態(tài)向量
- 從大小為 1 的目標(biāo)序列開(kāi)始
- 饋送狀態(tài)向量和 1 個(gè)字符的目標(biāo)序列到解碼器從而為下一字符生成預(yù)測(cè)
- 通過(guò)這些預(yù)測(cè)采樣下一個(gè)字符(我們使用 argmax)
- 把采樣的字符附加到目標(biāo)序列
- 不斷重復(fù)直至我們生成序列最后的字符或者達(dá)到字符的極限
相同的處理也可被用于訓(xùn)練沒(méi)有「teacher forcing」的 Seq2Seq 網(wǎng)絡(luò)，即把解碼器的預(yù)測(cè)再注入到解碼器之中。
Keras 實(shí)例
讓我們用實(shí)際的代碼演示一下這些想法。
對(duì)于實(shí)例實(shí)現(xiàn)，我們將使用一對(duì)英語(yǔ)語(yǔ)句及其法語(yǔ)翻譯的數(shù)據(jù)集，你可以從
http://www.manythings.org/anki/下載它，文件的名稱(chēng)是 fra-eng.zip。我們將會(huì)實(shí)現(xiàn)一個(gè)字符級(jí)別的序列到序列模型，逐個(gè)字符地處理這些輸入并生成輸出。另一個(gè)選擇是單詞級(jí)別的模型，它對(duì)機(jī)器學(xué)習(xí)更常用。在本文最后，你會(huì)發(fā)現(xiàn)通過(guò)嵌入層把我們的模型轉(zhuǎn)化為單詞級(jí)別模型的一些注釋。
這是實(shí)例的全部腳本：
https://github.com/fchollet/keras/blob/master/examples/lstm_seq2seq.py。
下面是這一過(guò)程的總結(jié)：
1. 把語(yǔ)句轉(zhuǎn)化為 3 個(gè) Numpy 數(shù)組 encoder_input_data、decoder_input_data、decoder_target_data：
- encoder_input_data 是一個(gè)形態(tài)的 3D 數(shù)組(num_pairs, max_english_sentence_length, num_english_characters)，包含一個(gè)英語(yǔ)語(yǔ)句的獨(dú)熱向量化。
- decoder_input_data 是一個(gè)形態(tài)的 3D 數(shù)組(num_pairs, max_french_sentence_length, num_french_characters)，包含一個(gè)法語(yǔ)語(yǔ)句的獨(dú)熱向量化。
- decoder_target_data 與 decoder_input_data 相同，但是被一個(gè)時(shí)間步抵消。decoder_target_data[:, t, :] 與 decoder_input_data[:, t + 1, :] 相同。
2. 在給定 encoder_input_data 和 decoder_input_data 的情況下，訓(xùn)練一個(gè)基本的基于 LSTM 的 Seq2Seq 模型以預(yù)測(cè) decoder_target_data。我們的模型使用 teacher forcing。
3. 解碼一些語(yǔ)句以檢查模型正在工作。
由于訓(xùn)練過(guò)程和推理過(guò)程(解碼語(yǔ)句)相當(dāng)不同，我們使用了不同的模型，雖然兩者具有相同的內(nèi)在層。這是我們的模型，它利用了 Keras RNN 的 3 個(gè)關(guān)鍵功能：
- return_state 構(gòu)造函數(shù)參數(shù)配置一個(gè) RNN 層以反饋列表，其中第一個(gè)是其輸出，下一個(gè)是內(nèi)部的 RNN 狀態(tài)。這被用于恢復(fù)編碼器的狀態(tài)。
- inital_state 調(diào)用參數(shù)指定一個(gè) RNN 的初始狀態(tài)，這被用于把編碼器狀態(tài)作為初始狀態(tài)傳遞至解碼器。
- return_sequences 構(gòu)造函數(shù)參數(shù)配置一個(gè) RNN 反饋輸出的全部序列。這被用在解碼器中。
- fromkeras.models importModel
- fromkeras.layers importInput,LSTM,Dense
- # Define an input sequence and process it.
- encoder_inputs =Input(shape=(None,num_encoder_tokens))
- encoder =LSTM(latent_dim,return_state=True)
- encoder_outputs,state_h,state_c =encoder(encoder_inputs)
- # We discard `encoder_outputs` and only keep the states.
- encoder_states =[state_h,state_c]
- # Set up the decoder, using `encoder_states` as initial state.
- decoder_inputs =Input(shape=(None,num_decoder_tokens))
- # We set up our decoder to return full output sequences,
- # and to return internal states as well. We don't use the
- # return states in the training model, but we will use them in inference.
- decoder_lstm =LSTM(latent_dim,return_sequences=True,return_state=True)
- decoder_outputs,_,_ =decoder_lstm(decoder_inputs,
- initial_state=encoder_states)
- decoder_dense =Dense(num_decoder_tokens,activation='softmax')
- decoder_outputs =decoder_dense(decoder_outputs)
- # Define the model that will turn
- # `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
- model =Model([encoder_inputs,decoder_inputs],decoder_outputs)
我們用這兩行代碼訓(xùn)練模型，同時(shí)在 20% 樣本的留存集中監(jiān)測(cè)損失。
- # Run training
- model.compile(optimizer='rmsprop',loss='categorical_crossentropy')
- model.fit([encoder_input_data,decoder_input_data],decoder_target_data,
- batch_sizebatch_size=batch_size,
- epochsepochs=epochs,
- validation_split=0.2)
大約 1 小時(shí)后在 MacBook CPU 上，我們已準(zhǔn)備好做推斷。為了解碼測(cè)試語(yǔ)句，我們將重復(fù)：
編碼輸入語(yǔ)句，檢索初始解碼器狀態(tài)。
用初始狀態(tài)運(yùn)行一步解碼器，以「序列開(kāi)始」為目標(biāo)。輸出即是下一個(gè)目標(biāo)字符。
附加預(yù)測(cè)到的目標(biāo)字符并重復(fù)。
這是我們的推斷設(shè)置：
- encoder_model =Model(encoder_inputs,encoder_states)
- decoder_state_input_h =Input(shape=(latent_dim,))
- decoder_state_input_c =Input(shape=(latent_dim,))
- decoder_states_inputs =[decoder_state_input_h,decoder_state_input_c]
- decoder_outputs,state_h,state_c =decoder_lstm(
- decoder_inputs,initial_state=decoder_states_inputs)
- decoder_states =[state_h,state_c]
- decoder_outputs =decoder_dense(decoder_outputs)
- decoder_model =Model(
- [decoder_inputs]+decoder_states_inputs,
- [decoder_outputs]+decoder_states)
我們使用它實(shí)現(xiàn)上述推斷循環(huán)(inference loop)：
- defdecode_sequence(input_seq):
- # Encode the input as state vectors.
- states_value =encoder_model.predict(input_seq)
- # Generate empty target sequence of length 1.
- target_seq =np.zeros((1,1,num_decoder_tokens))
- # Populate the first character of target sequence with the start character.
- target_seq[0,0,target_token_index['t']]=1.
- # Sampling loop for a batch of sequences
- # (to simplify, here we assume a batch of size 1).
- stop_condition =False
- decoded_sentence =''
- whilenotstop_condition:
- output_tokens,h,c =decoder_model.predict(
- [target_seq]+states_value)
- # Sample a token
- sampled_token_index =np.argmax(output_tokens[0,-1,:])
- sampled_char =reverse_target_char_index[sampled_token_index]
- decoded_sentence +=sampled_char
- # Exit condition: either hit max length
- # or find stop character.
- if(sampled_char =='n'or
- len(decoded_sentence)>max_decoder_seq_length):
- stop_condition =True
- # Update the target sequence (of length 1).
- target_seq =np.zeros((1,1,num_decoder_tokens))
- target_seq[0,0,sampled_token_index]=1.
- # Update states
- states_value =[h,c]
- returndecoded_sentence
我們得到了一些不錯(cuò)的結(jié)果——這在意料之中，因?yàn)槲覀兘獯a的樣本來(lái)自訓(xùn)練測(cè)試。
- Inputsentence:Benice.
- Decodedsentence:Soyezgentil !
- -
- Inputsentence:Dropit!
- Decodedsentence:Laisseztomber !
- -
- Inputsentence:Getout!
- Decodedsentence:Sortez?!
這就是我們的十分鐘入門(mén) Keras 序列到序列模型教程。完整代碼詳見(jiàn) GitHub：
https://github.com/fchollet/keras/blob/master/examples/lstm_seq2seq.py。
常見(jiàn)問(wèn)題
1. 我想使用 GRU 層代替 LSTM，應(yīng)該怎么做?
這實(shí)際上變簡(jiǎn)單了，因?yàn)?GRU 只有一個(gè)狀態(tài)，而 LSTM 有兩個(gè)狀態(tài)。這是使用 GRU 層適應(yīng)訓(xùn)練模型的方法：
- encoder_inputs =Input(shape=(None,num_encoder_tokens))
- encoder =GRU(latent_dim,return_state=True)
- encoder_outputs,state_h =encoder(encoder_inputs)
- decoder_inputs =Input(shape=(None,num_decoder_tokens))
- decoder_gru =GRU(latent_dim,return_sequences=True)
- decoder_outputs =decoder_gru(decoder_inputs,initial_state=state_h)
- decoder_dense =Dense(num_decoder_tokens,activation='softmax')
- decoder_outputs =decoder_dense(decoder_outputs)
- model =Model([encoder_inputs,decoder_inputs],decoder_outputs)
2. 我想使用整數(shù)序列的單詞級(jí)別模型，應(yīng)該怎么做?
如果你的輸入是整數(shù)序列(如按詞典索引編碼的單詞序列)，你可以通過(guò) Embedding 層嵌入這些整數(shù)標(biāo)記。方法如下：
- # Define an input sequence and process it.
- encoder_inputs =Input(shape=(None,))
- x =Embedding(num_encoder_tokens,latent_dim)(encoder_inputs)
- x,state_h,state_c =LSTM(latent_dim,
- return_state=True)(x)
- encoder_states =[state_h,state_c]
- # Set up the decoder, using `encoder_states` as initial state.
- decoder_inputs =Input(shape=(None,))
- x =Embedding(num_decoder_tokens,latent_dim)(decoder_inputs)
- x =LSTM(latent_dim,return_sequences=True)(x,initial_state=encoder_states)
- decoder_outputs =Dense(num_decoder_tokens,activation='softmax')(x)
- # Define the model that will turn
- # `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
- model =Model([encoder_inputs,decoder_inputs],decoder_outputs)
- # Compile & run training
- model.compile(optimizer='rmsprop',loss='categorical_crossentropy')
- # Note that `decoder_target_data` needs to be one-hot encoded,
- # rather than sequences of integers like `decoder_input_data`!
- model.fit([encoder_input_data,decoder_input_data],decoder_target_data,
- batch_sizebatch_size=batch_size,
- epochsepochs=epochs,
- validation_split=0.2)
3. 如果我不想使用「teacher forcing」，應(yīng)該怎么做?
一些案例中可能不能使用 teacher forcing，因?yàn)槟銦o(wú)法獲取完整的目標(biāo)序列，比如，在線(xiàn)訓(xùn)練非常長(zhǎng)的語(yǔ)句，則緩沖完成輸入-目標(biāo)語(yǔ)言對(duì)是不可能的。在這種情況下，你要通過(guò)將解碼器的預(yù)測(cè)重新注入解碼器輸入進(jìn)行訓(xùn)練，就像我們進(jìn)行推斷時(shí)所做的那樣。
你可以通過(guò)構(gòu)建硬編碼輸出再注入循環(huán)(output reinjection loop)的模型達(dá)到該目標(biāo)：
- fromkeras.layers importLambda
- fromkeras importbackend asK
- # The first part is unchanged
- encoder_inputs =Input(shape=(None,num_encoder_tokens))
- encoder =LSTM(latent_dim,return_state=True)
- encoder_outputs,state_h,state_c =encoder(encoder_inputs)
- states =[state_h,state_c]
- # Set up the decoder, which will only process one timestep at a time.
- decoder_inputs =Input(shape=(1,num_decoder_tokens))
- decoder_lstm =LSTM(latent_dim,return_sequences=True,return_state=True)
- decoder_dense =Dense(num_decoder_tokens,activation='softmax')
- all_outputs =[]
- inputs =decoder_inputs
- for_ inrange(max_decoder_seq_length):
- # Run the decoder on one timestep
- outputs,state_h,state_c =decoder_lstm(inputs,
- initial_state=states)
- outputs =decoder_dense(outputs)
- # Store the current prediction (we will concatenate all predictions later)
- all_outputs.append(outputs)
- # Reinject the outputs as inputs for the next loop iteration
- # as well as update the states
- inputs =outputs
- states =[state_h,state_c]
- # Concatenate all predictions
- decoder_outputs =Lambda(lambdax:K.concatenate(x,axis=1))(all_outputs)
- # Define and compile model as previously
- model =Model([encoder_inputs,decoder_inputs],decoder_outputs)
- model.compile(optimizer='rmsprop',loss='categorical_crossentropy')
- # Prepare decoder input data that just contains the start character
- # Note that we could have made it a constant hard-coded in the model
- decoder_input_data =np.zeros((num_samples,1,num_decoder_tokens))
- decoder_input_data[:,0,target_token_index['t']]=1.
- # Train model as previously
- model.fit([encoder_input_data,decoder_input_data],decoder_target_data,
- batch_sizebatch_size=batch_size,
- epochsepochs=epochs,
- validation_split=0.2)
原文：
https://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.html
【本文是專(zhuān)欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
戳這里，看該作者更多好文
本文題目：十分鐘搞定Keras序列到序列學(xué)習(xí)（附代碼實(shí)現(xiàn)）
文章地址：http://www.5511xx.com/article/dphiide.html
