C語(yǔ)言LSTM隱層神經(jīng)元結(jié)構(gòu)：

LSTM隱層神經(jīng)元詳細(xì)結(jié)構(gòu)：

//讓程序自己學(xué)會(huì)是否需要進(jìn)位，從而學(xué)會(huì)加法#include "iostream"#include "math.h"#include "stdlib.h"#include "time.h"#include "vector"#include "assert.h"using namespace std;#define innode 2 //輸入結(jié)點(diǎn)數(shù)，將輸入2個(gè)加數(shù)#define hidenode 26 //隱藏結(jié)點(diǎn)數(shù)，存儲(chǔ)“攜帶位”#define outnode 1 //輸出結(jié)點(diǎn)數(shù)，將輸出一個(gè)預(yù)測(cè)數(shù)字#define alpha 0.1 //學(xué)習(xí)速率#define binary_dim 8 //二進(jìn)制數(shù)的最大長(zhǎng)度#define randval(high) ( (double)rand() / RAND_MAX * high )#define uniform_plus_minus_one ( (double)( 2.0 * rand() ) / ((double)RAND_MAX + 1.0) - 1.0 ) //均勻隨機(jī)分布int largest_number = ( pow(2, binary_dim) ); //跟二進(jìn)制最大長(zhǎng)度對(duì)應(yīng)的可以表示的最大十進(jìn)制數(shù)//激活函數(shù)double sigmoid(double x) { return 1.0 / (1.0 + exp(-x)); }//激活函數(shù)的導(dǎo)數(shù)，y為激活函數(shù)值double dsigmoid(double y) { return y * (1.0 - y); } //tanh的導(dǎo)數(shù)，y為tanh值double dtanh(double y) { y = tanh(y); return 1.0 - y * y; }//將一個(gè)10進(jìn)制整數(shù)轉(zhuǎn)換為2進(jìn)制數(shù)void int2binary(int n, int *arr) { int i = 0; while(n) { arr[i++] = n % 2; n /= 2; } while(i < binary_dim) ? ? ? ?arr[i++] = 0; }class RNN {public: ? ?RNN(); ? ?virtual ~RNN(); ? ?void train();public: ? ?double W_I[innode][hidenode]; ? ? //連接輸入與隱含層單元中輸入門(mén)的權(quán)值矩陣 ? ?double U_I[hidenode][hidenode]; ? //連接上一隱層輸出與本隱含層單元中輸入門(mén)的權(quán)值矩陣 ? ?double W_F[innode][hidenode]; ? ? //連接輸入與隱含層單元中遺忘門(mén)的權(quán)值矩陣 ? ?double U_F[hidenode][hidenode]; ? //連接上一隱含層與本隱含層單元中遺忘門(mén)的權(quán)值矩陣 ? ?double W_O[innode][hidenode]; ? ? //連接輸入與隱含層單元中遺忘門(mén)的權(quán)值矩陣 ? ?double U_O[hidenode][hidenode]; ? //連接上一隱含層與現(xiàn)在時(shí)刻的隱含層的權(quán)值矩陣 ? ?double W_G[innode][hidenode]; ? ? //用于產(chǎn)生新記憶的權(quán)值矩陣 ? ?double U_G[hidenode][hidenode]; ? //用于產(chǎn)生新記憶的權(quán)值矩陣 ? ?double W_out[hidenode][outnode]; ?//連接隱層與輸出層的權(quán)值矩陣 ? ?double *x; ? ? ? ? ? ? //layer 0 輸出值，由輸入向量直接設(shè)定 ? ?//double *layer_1; ? ? //layer 1 輸出值 ? ?double *y; ? ? ? ? ? ? //layer 2 輸出值};void winit(double w[], int n) //權(quán)值初始化{ ? ?for(int i=0; i I_vector; //輸入門(mén) vector F_vector; //遺忘門(mén) vector O_vector; //輸出門(mén) vector G_vector; //新記憶 vector S_vector; //狀態(tài)值 vector h_vector; //輸出值 vector y_delta; //保存誤差關(guān)于輸出層的偏導(dǎo) for(epoch=0; epoch<11000; epoch++) ?//訓(xùn)練次數(shù) ? ?{ ? ? ? ?double e = 0.0; ?//誤差 ? ? ? ?int predict[binary_dim]; ? ? ? ? ? ? ? //保存每次生成的預(yù)測(cè)值 ? ? ? ?memset(predict, 0, sizeof(predict)); ? ? ? ?int a_int = (int)randval(largest_number/2.0); ?//隨機(jī)生成一個(gè)加數(shù) a ? ? ? ?int a[binary_dim]; ? ? ? ?int2binary(a_int, a); ? ? ? ? ? ? ? ? //轉(zhuǎn)為二進(jìn)制數(shù) ? ? ? ?int b_int = (int)randval(largest_number/2.0); ?//隨機(jī)生成另一個(gè)加數(shù) b ? ? ? ?int b[binary_dim]; ? ? ? ?int2binary(b_int, b); ? ? ? ? ? ? ? ? //轉(zhuǎn)為二進(jìn)制數(shù) ? ? ? ?int c_int = a_int + b_int; ? ? ? ? ? ?//真實(shí)的和 c ? ? ? ?int c[binary_dim]; ? ? ? ?int2binary(c_int, c); ? ? ? ? ? ? ? ? //轉(zhuǎn)為二進(jìn)制數(shù) ? ? ? ?//在0時(shí)刻是沒(méi)有之前的隱含層的，所以初始化一個(gè)全為0的 ? ? ? ?double *S = new double[hidenode]; ? ? //狀態(tài)值 ? ? ? ?double *h = new double[hidenode]; ? ? //輸出值 ? ? ? ?for(i=0; i=0 ; p--) { x[0] = a[p]; x[1] = b[p]; //當(dāng)前隱藏層 double *in_gate = I_vector[p]; //輸入門(mén) double *out_gate = O_vector[p]; //輸出門(mén) double *forget_gate = F_vector[p]; //遺忘門(mén) double *g_gate = G_vector[p]; //新記憶 double *state = S_vector[p+1]; //狀態(tài)值 double *h = h_vector[p+1]; //隱層輸出值 //前一個(gè)隱藏層 double *h_pre = h_vector[p]; double *state_pre = S_vector[p]; for(k=0; k=0; k--) cout << predict[k]; ? ? ? ? ? ?cout << endl; ? ? ? ? ? ?cout << "true：" ; ? ? ? ? ? ?for(k=binary_dim-1; k>=0; k--) cout << c[k]; ? ? ? ? ? ?cout << endl; ? ? ? ? ? ?int out = 0; ? ? ? ? ? ?for(k=binary_dim-1; k>=0; k--) out += predict[k] * pow(2, k); cout << a_int << " + " << b_int << " = " << out << endl << endl; ? ? ? ?} ? ? ? ?for(i=0; i