回归预测 | Matlab实现Transformer多输入单输出回归预测
目录
- 回归预测 | Matlab实现Transformer多输入单输出回归预测
- 效果一览
- 基本介绍
- 程序设计
- 参考资料
效果一览
基本介绍
1.Matlab实现Transformer多变量回归预测；
2.运行环境为Matlab2023b；
3.输入多个特征，输出单个变量，多变量回归预测；
4.data为数据集，excel数据，前7列输入，最后1列输出，主程序运行即可,所有文件放在一个文件夹；
5.命令窗口输出R2、MSE、MAE、MAPE和MBE多指标评价；
长期以来，时间序列预测一直使用统计方法（例如，自回归综合移动平均（ARIMA，指数平滑和结构模型）。一般来说，统计方法中使用的参数模型需要大量的领域专业知识来构建。为了减轻这种负担，许多机器学习技术，如梯度推进回归树（gradient boosting Retression tree，GBRT）得到了应用，它以数据驱动的方式学习时间序列的时间动态。然而，这些方法仍然需要手动特征工程和模型设计。深度神经网络（DNN）可以子鄂东从大量数据中获得的强大表示学习能力，出现了各种基于深度学习的TSF解决方案，在许多情况下取得了比传统技术更好的预测精度。
基于递归神经网络（RNN）的方法和基于卷积神经网络（CNN）的方法也被应用到TSF任务上。基于RNN的TSF方法属于迭代多步（IMS）预测。根据解码器是否以自回归方式实现，基于CNN的TSF方法即存在迭代多步（IMS）预测技术，也存在直接多步骤（DMS）预测技术。
Transformer可以说是最成功的序列建模架构，它在各种人工智能应用中表现出无与伦比的性能，如自然语言处理、语音识别和运动分析。最近，出现了很多基于Transformer的时间序列分析的工作。其中TSF任务的一些优秀的工作包括：LogTrans（NeurIPS 2019），Informer（AAAI 2021最佳论文），Autoformer（NeurIPS 2021），Pyraformer（ICLR 2022 ORAL），以及最近的FEDformer（ICML 2022)。
程序设计
- 完整程序和数据下载私信博主回复Matlab实现Transformer多输入单输出回归预测。
%% 清空环境变量
warning off % 关闭报警信息
close all % 关闭开启的图窗
clear % 清空变量
clc % 清空命令行
%% 导入数据
result = xlsread('data.xlsx');
%% 划分训练集和测试集
P_train = res(1: num_train_s, 1: f_)';
T_train = res(1: num_train_s, f_ + 1: end)';
M = size(P_train, 2);
P_test = res(num_train_s + 1: end, 1: f_)';
T_test = res(num_train_s + 1: end, f_ + 1: end)';
N = size(P_test, 2);
%% 数据归一化
[P_train, ps_input] = mapminmax(P_train, 0, 1);
P_test = mapminmax('apply', P_test, ps_input);
[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);
%% 数据平铺
% 将数据平铺成1维数据只是一种处理方式
% 也可以平铺成2维数据，以及3维数据，需要修改对应模型结构
% 但是应该始终和输入层数据结构保持一致
P_train = double(reshape(P_train, f_, 1, 1, M));
P_test = double(reshape(P_test , f_, 1, 1, N));
t_train = t_train';
t_test = t_test' ;
%% 数据格式转换
for i = 1 : M
p_train{i, 1} = P_train(:, :, 1, i);
end
for i = 1 : N
p_test{i, 1} = P_test( :, :, 1, i);
end
%% 创建模型
%网络搭建
numChannels = f_;
maxPosition = 256;
numHeads = 4;
numKeyChannels = numHeads*32;
