def re(x):
    s = 15.1 * x + 1.6
    return s


input_nodes = 4
hidden_nodes = 3
output_nodes = 1

learning_rate = 0.005

n = test.neuralNetwork(input_nodes, hidden_nodes, output_nodes, learning_rate)

a = 0
while (a < 30025):
    n.train(attention[a], sog[a])
    a = a + 1
    # 训练
a = 0
wucha = 0
yc = []
while (a < 30025):#平均误差率计算
    yuce = n.query(attention[a])
    yc.append(yuce)
    wucha = wucha + math.fabs(re(yuce) - re(sog[a])) / (re(sog[a]) + 0.0001)  # 防止分母为0 加的数字很小不影响
    print(a, re(yuce), re(sog[a]), math.fabs(re(yuce) - re(sog[a])) / (re(sog[a]) + 0.0001))
    a = a + 1
    # 测试

#################################结束

        解释代码的含义。attention数组为attention层的输出结果，一共30025条数据，每条数据4个特征。sog是实际结果的向量，共30025个数据，即期望的输出结果。第一个while循环的目的是对模型进行训练。train是定义的训练函数。

        yc数组为全连接层的输出向量，也就是整个Attention-LSTM模型的输出，即预测值。要注意yc，sog，attention数组均为归一化之后的数据。

        test.neuralNetwork即为上面引用的文章中的class neuralNetwork。由于本人在实现时将这个类放在了test.py文件中，因此写成test.neuralNetwork。要记得在一开头引用test.py文件，即import test。

        第二个while循环用来计算误差，由于几个数组均为归一化之后的数据，故计算误差率的时候要进行反归一化。为防止0在分母，要在分母处加上一个特别小的数。       

 5.Attention-LSTM模型python实现的完整代码

import math
import random
import keras
import numpy
import numpy as np
import tensorflow as tf
import csv
import os
import scipy.special
import test#此处引用的文件里是全连接层的实现内容，即neuralNetwork类
import time

import matplotlib.pyplot as plt
start=time.time()
def softmax(x):
    x_exp = np.exp(x)
    # 如果是列向量，则axis=0
    x_sum = np.sum(x_exp, axis=0, keepdims=True)
    s = x_exp / x_sum
    return s


def re(x):
    s = 15.1 * x + 1.6
    return s


os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

x = []
with open("xxxx.csv", "r") as csvfile:#此处csv文件保存的是输入特征归一化之后的数据，即自变量
    reader = csv.reader(csvfile)
    print(type(reader))
    for row in reader:
        # print(row)
        x.append(row)

for i in range(len(x)):
    for j in range(len(x[i])):
        x[i][j] = float(x[i][j])
    # 字符串转为数字 此处取出的数据为字符串，要转化为数字
##############################取数据
inputs = tf.constant(x, dtype=tf.float32, shape=[1, 30025, 16])

# print("输入：", inputs.shape)
# print("输入：", inputs)
lstm = tf.keras.layers.LSTM(4, return_sequences=True)
output = lstm(inputs)
# print("LSTM特征提取结果：", output)#LSTM特征提取结果
###############################LSTM
wq = np.array([[0.2, 0.2, 1, 0], [0.3, 0.2, 0.3, 1], [1, 0, 1, 0.1], [0.1, 0, 1, 1]])
wk = np.array([[0.3, 0, 1, 0], [0.3, 1, 0, 1], [1, 0, 1, 0], [1, 0.1, 0, 1]])
wv = np.array([[1, 0, 0.5, 0], [0, 1, 0.2, 1], [1, 0, 1, 0], [0.1, 1, 0.1, 0]])  # 权重矩阵
x = output.numpy()[0]
q = np.dot(x, wq)
# print(q)
k = np.dot(x, wk)
v = np.dot(x, wv)

a = 0
attention = []

while (a < 30025):
    temp1 = np.dot(q[a], k[a].T)
    temp2 = softmax(temp1) / 2
    temp3 = np.dot(temp2, v[a])
    attention.append(temp3)
    a = a + 1
# print("attention输出",attention)#attention层输出
#################################Attention
sog = []  # 取出归一化后的全连接层
with open("xxx.csv", "r") as csvfile:#此处取出的是实际值，即理想的输出目标
    reader = csv.reader(csvfile)
    sog = [row[0] for row in reader]

for i in range(len(sog)):
    sog[i] = float(sog[i])
# print(sog)
#################################全连接层
input_nodes = 4
hidden_nodes = 3
output_nodes = 1

learning_rate = 0.005

n = test.neuralNetwork(input_nodes, hidden_nodes, output_nodes, learning_rate)
print(attention[0], sog[0])
a = 0
while (a < 30025):
    n.train(attention[a], sog[a])
    a = a + 1
    # 训练
a = 0
wucha = 0
yc = []
while (a < 30025):
    yuce = n.query(attention[a])
    yc.append(yuce)
    wucha = wucha + math.fabs(re(yuce) - re(sog[a])) / (re(sog[a]) + 0.0001)  # 防止分母为0 加的数字很小不影响
    print(a, re(yuce), re(sog[a]), math.fabs(re(yuce) - re(sog[a])) / (re(sog[a]) + 0.0001))
    a = a + 1
    # 测试

#################################结束
end=time.time()
print(end-start)#计算了运行时间

        此模型最复杂的是模型中各个参数的选取，只能靠手动调试。本文题的输入特征数为16个，输出为1个。部分参数的选择如下所示：

         三个权重矩阵的选取如下：

        最终的平均预测误差为10%左右，如果参数继续优化，误差会更小。