一種神經網絡中自定義損失函數的設計與分析

劉 波，張鼎松

(1.巢湖學院，安徽巢湖 238000；2.微軟(中國)有限公司，上海 201100)

神經網絡中的損失函數，又叫誤差函數，是用來刻畫神經網絡的輸出值與真實值之間的誤差大小的。對神經網絡進行訓練的目標就是使這個誤差最小化，即通過不斷的訓練使誤差無限趨于零，每一次訓練都會更新神經網絡系統的權重參數。一般當誤差小于某個既定的閾值時，會認為誤差已經足夠小，可停止訓練，此時得到的一組神經網絡的權重參數就是系統最終的權重值。影響權重參數最終值的因素有很多，其中損失函數對參數的影響不容忽視，如果損失函數使用得不恰當，即使訓練次數再多，用得到的參數組成的神經網絡也不是符合要求的神經網絡模型[1-2]。

對于不同的問題，損失函數也不相同，比如，在分類問題中經典的損失函數是交叉熵，在線性回歸問題中常用的損失函數是均方誤差函數。然而，針對一些特定的實際問題，并不能一味地套用上述方法，需要根據實際情況自定義損失函數[1,3]。

1 常用損失函數及其局限性

1.1 交叉熵

在分類問題中，在神經網絡的訓練中常采用交叉熵作為損失函數，交叉熵這個概念源于信息論，交叉熵的公式定義為：

H(p,q)=-∑p(x)logq(x).

當作為分類問題中神經網絡的損失函數時,p表示真實值的概率分布，q表示預測值的概率分布，交叉熵反映的是p和q之間的差異[4]。例如，假設p=(0,0,1,0)，q1=(0.1,0.1,0.7,0.1)，q2=(0.2,0.2,0.5,0.1)，明顯地，q1與p更接近。而交叉熵的計算結果如下：

H(p,q1)=-(0×log 0.1+0×log 0.1+1×log 0.7+0×log 0.1)≈0.155.

H(p,q2)=-(0×log 0.2+0×log 0.2+1×log 0.5+0×log 0.1)≈0.301.

可見，H(p,q1)

1.2 均方誤差

在回歸問題中，在神經網絡的訓練中常采用均方誤差作為損失函數，均方誤差的公式定義如下：

這個公式反映了真實值y與預測值y′之間差異的大小，其中n為訓練樣本的數量。

1.3 局限性

上述這些常用的損失函數通用性很好，適用于很多應用場合，根據這些損失函數訓練得出的神經網絡模型都是完全標準的模型。但對于某些特定環境的實際問題，有時并不需要一個標準模型，而需要一個符合實際要求的模型，這個符合實際要求的模型不一定是標準的。因此，還需要根據實際需求，設計自定義損失函數，從而保證得到的神經網絡模型更貼合實際情況。

2 實際問題及自定義損失函數

2.1 實際問題的提出

在現實生活中，常常有一些實際問題采用常用損失函數得到的效果并不能讓人滿意。比如關于高速公路收費站，有時會根據車流量來開放收費通道數，車流量少時，會關閉若干通道數以節省收費員人數等人力成本，而在節假日等車流高峰日，會多安排一些收費員上班。而作為交通管理部門或許希望多開放一些通道數，以進一步保持道路暢通。關于這個實際問題，在車流量預測的神經網絡系統中，由于屬于回歸問題，損失函數通常采用均方誤差。然而，均方誤差不能很好地反映無論是交管部門還是收費站管理公司任意一方的需求，交通管理部門希望模型預測出來的值是偏多的，從而保證多開放通道數，而收費站管理公司希望模型預測出來的值是偏少的，從而節省人力成本。

2.2 自定義損失函數的提出和設計

對于上述實際問題，使用經典的損失函數得到的將是標準模型。而實際情況中，無論是交通管理部門還是收費站管理公司，都并不需要這樣的標準模型。因此，需要針對該實際問題，進行自定義損失函數的設計,自定義損失函數如下：

3 對比實驗

3.1 實驗的設計

圖1 實驗所用的神經網絡系統結構圖

基于Tensorflow編寫代碼進行對比實驗。設計一個預測車流量的神經網絡系統，簡單起見，該神經網絡系統僅有輸入層和輸出層，沒有隱藏層。輸入層有3個神經元x1、x2和x3，輸出層有一個神經元y，y即為輸出的預測值。由該模型可推算該神經網絡系統的權重值w有3個，分別記作w1、w2和w3[5]。具體結構如圖1所示。

實驗所需的數據集是通過隨機數生成的。在Tensorflow中，隨機生成輸入數據x的代碼如下：

x=rdm.rand(100,3)

而真實值yt設置為在3個輸入之和的基礎上再加上一個小的隨機數，相應的TensorFlow代碼編寫如下：

y=[[x1+x2+x3+(rdm.rand()/10.0-0.05)]for(x1,x2,x3)in x]

在實驗中分別設置a=20，b=1，或者a=1，b=20，其它不變。為表述方便，將設置a=20，b=1的實驗記作實驗1，將設置a=1，b=20的實驗記作實驗2。在Tensorflow中，該自定義損失函數的代碼可表示為self_defined_loss=tf.reduce_sum(tf.where(tf.greater(y,yt),(y-yt)*a,(yt-y)*b))。其中，yt表示真實值，y表示預測值，self_defined_loss為損失函數[1]。

同時,為了與傳統的經典均方誤差函數做對比，在實驗1或實驗2中將原有的自定義損失函數替換為均方誤差函數再進行一次實驗，記作實驗3。在Tensorflow中，均方誤差函數的代碼可表示為：

loss=tf.losses.mean_squared_error(y,yt).

其中，yt表示真實值，y表示預測值，loss為損失函數。此外，實驗中的訓練次數統一設為10000次。

3.2 實驗結果及對比分析

表1展示了訓練10000次之后3個實驗的最終結果，即得到的3個模型的最終權重值。

表1 三次實驗得到的最終權重

從實驗1得到的預測函數為0.97799325×x1+0.97289824×x2+0.9656626×x3，系數都小于1，偏向于少預測車流量，符合收費站管理公司的需求。

從實驗2得到的預測函數為1.00788939×x1+1.03763902×x2+1.02715361×x3，系數都大于1，偏向于多預測車流量，符合交管部門的需求。

從實驗3得到的預測函數為0.98959422×x1+1.01077771×x2+0.99803776×x3，實驗3所用的損失函數不是自定義的損失函數，而是經典的均方誤差函數，最終的預測函數更偏向于標準值，但得到的模型并不是一個符合實際需求的模型。

4 結語

本文在分析神經網絡系統中經典損失函數局限性的基礎上，針對實際問題提出一種自定義損失函數，并設計實驗進行對比分析，結果表明使用自定義的損失函數比使用經典的均方誤差函數更符合實際需求。因此,在使用神經網絡解決實際問題時，需要根據實際需求選用經典的損失函數或者設計自定義損失函數。