目录

前言

文献阅读

背景

对现有技术的分析

作者的主要思路和贡献

对其他变量进行相关性分析归一化处理

相关性分析

归一化处理

TCN

基于 TCN-LSTM 的 PM 浓度预测模型

敏感性分析

普通克里金公式解释

总结

前言

This week I studied an article that constructed a TCN-LSTM model to predict atmospheric PM concentrations. Among them, TCN is a simple CNN model, which is mainly used to solve time series problems, and its role is to ensure the stability of data feature extraction. PM concentration prediction is a time series prediction problem with nonlinear characteristics, and LSTM is used to deal with it because the LSTM model, as a variant of classical RNNs, has nonlinear entity fitting ability, making it suitable for dealing with sequential modeling problems. Finally, the study employs the sensitivity analysis method Sobol, a global sensitivity analysis method based on ANOVA that can be used to analyze the degree to which multiple parameters affect the output of the model. In addition to this, I have some basic understanding of kriging interpolation this week.

本周我学习了一篇文章，该研究构建了TCN-LSTM模型来预测大气PM浓度。其中TCN是一种简单的CNN模型，主要用于解决时间序列问题，作用是保证数据特征提取的稳定。PM浓度预测是一个具有非线性特征的时间序列预测问题，采用LSTM来处理是因为LSTM 模型作为经典 RNN 的变体，具有非线性实体拟合能力，使其适用于处理顺序建模问题。最后一点是该研究采用了敏感性分析方法Sobol，这是一种基于方差分解的全局敏感性分析方法，可用于分析多个参数对模型输出结果的影响程度。除此之外，我本周对克里金插值法有了一些基本的认识。

文献阅读

--Ying Ren, Siyuan Wang, Bisheng Xia,
Deep learning coupled model based on TCN-LSTM for particulate matter concentration prediction,
Atmospheric Pollution Research,
Volume 14, Issue 4,
2023,
101703,
ISSN 1309-1042,
https://doi.org/10.1016/j.apr.2023.101703.

背景

大气颗粒物（PM）是雾霾天气发生的主要因素之一，在全球范围内越来越受到关注。大气中的PM主要包括PM2.5（空气动力学直径为 <2.5 μm）的 PM 和 PM10（空气动力学直径为 <10 μm） 的 PM），主要包括水溶性离子、PM 和有机物。PM的来源可分为两大类：天然来源和人工来源。自然来源主要包括岩石和土壤的风化、森林火灾、火山喷发和海盐颗粒，而人工来源主要包括车辆尾气排放、工业排放、建筑工地粉尘和垃圾焚烧。大气PM浓度的增加会导致人们呼吸道疾病和心血管疾病增加的可能性，也推动了全球气候的变化。PM的准确高效预测在雾霾天气管理和人类可持续发展方面具有不可忽视的作用。

对现有技术的分析

目前用于大气PM预测的主要方法包括基于物理的机理模型和数据驱动的统计模型。机制模型主要包括社区多尺度空气质量模型，操作街道污染模型和嵌套空气质量预测模型。区域大气动力学天气研究与预报模型结合化学广泛用于模拟PM的形成和分散。然而，这种机械模型的使用是基于特定条件的假设，现实的表示往往是可变的。默认参数设置限制了机理模型的性能，导致精度低于特定地点的经验空气质量预测模型。

传统的统计模型不使用复杂的物理参数，而是根据历史数据预测空气污染物浓度。例如，多元线性回归，自回归积分移动平均线以及地理和时间加权回归模型将变量之间的关系视为线性关系，与大多数现实世界的情况相反。为了解决这个问题，许多研究人员使用非线性机器学习技术（例如人工神经网络）预测了大气污染物的浓度，随机森林（RF）和支持向量回归 （SVR）方法。然而，随着数据量和模型训练时间的增加，此类模型方法的特征提取能力和学习能力下降，从而导致模型预测精度下降。更重要的是，此类模型没有存储单元，无法解释污染物数据的时间特征。一些学者将机器学习模型与其他模型结合使用来研究 PM，这些组合模型的思想为大气PM研究提供了新的思路。

近年来，随着深度学习的兴起，许多研究已将此类技术应用于环境领域，其中使用最广泛的深度学习方法是递归神经网络 （RNN） 模型和卷积神经网络 （CNN） 模型。由于其独特的自环结构，适用于处理顺序数据，RNN 已被应用于预测 PM 浓度。然而，RNN模型存在长期依赖性和梯度消失问题，这些问题可以通过派生的长短期记忆（LSTM）网络模型很好地解决。LSTM方法在环境预测中的应用通常与CNN模型相结合，可以并行处理信息，具有强大的特征提取能力。因此，CNN-LSTM 模型适用于空气质量指数的预测和其他大气物质。但是，CNN结构复杂，当输入和输出信息的维度不同时，可能会导致信息丢失。为了解决这个问题，有学者提出了时间卷积网络（TCN）。TCN既具有CNN的并行特性，又具有RNN的记忆功能。TCN可以对复杂的序列数据进行快速特征提取，并确保输入和输出信息的维度相同。其优异的特征提取能力在恶劣天气预报、短期交通预测、多变量时间序列预测和计算机视觉等领域得到广泛利用，并且所有此类应用都报告了令人满意的结果。

深度学习模型的性能受输入的影响，识别此类模型的关键输入变量有利于提高预测效率和降低建模成本。更重要的是，大气污染物的形成很复杂，深度学习模型无法识别污染物的主导因素。敏感性分析方法在环境领域用于识别影响模型输出、减少模型输入和避免参数冗余的关键变量，同时分析模型输入变量与目标输出之间的不确定关系以提高模型适用性。敏感性分析与深度学习模型相结合不仅可以帮助模型消除不必要的输入，还可以解释模型的目标输出，以揭示不同影响因素对城市空气污染物的影响。

作者的主要思路和贡献

于上述分析，本研究结合TCN和LSTM模型，设计了一种新的颗粒浓度预测模型TCN-LSTM模型。本文的主要著作有：

(1)构建了TCN-LSTM混合模型，选取低成本、现成的气象因子和污染物浓度数据进行建模。TCN模型从PM的影响因素中提取特征。LSTM模型学习提取的特征来预测西安市大气中的PM浓度。将预测结果与经典深度学习模型（CNN-LSTM、LSTM、TCN）和机器学习（SVR和RF）进行比较，并通过RMSE、MSE、MAE和R进行对比和验证。2指标，结果表明TCN-LSTM表现更好。此外，TCN-LSTM模型还用于预测北京、上海、成都和深圳的PM浓度，该模型仍然表现良好。在交叉验证的实验中，TCN-LSTM模型仍然表现稳定;

(2)采用敏感性分析法研究各影响因素对西安市疫情前（2015—2019年）和疫情后（2020—2022年）PM浓度的影响，并与2015—2022年全期敏感性分析结果进行比较;

(3)使用灵敏度分析方法来评估模型的输入变量对目标输出的贡献程度。利用对模型输出贡献较大的参数，构建PM浓度快速预测模型，降低建模成本。

对其他变量进行相关性分析归一化处理

相关性分析

其中PM之间的相关性最高PM2.5和PM10，皮尔逊系数为0.86。两位PM2.5和PM10是大气中的PM并且相似。因此，使用一个模型进行PM研究就足够了。

归一化处理

数据，包括风速（WS），风向（WD），相对湿度（RH），降水（PR），压力（P）温度（T），露点（DP）和太阳辐照度（SI）。在这项研究中，PM指标用作输出变量，其他指标用作输入变量。使用以下归一化公式对每个变量（风向除外，风向数据转换为独热代码）进行归一化，消除了可归因于维度差异的误差

TCN

一旦扩张的因果卷积完成，使用WeightNorm对每层的权重进行归一化，使用激活函数Relu进行非线性计算，Dropout操作控制丢弃神经元的概率以使某些神经元失活以避免过度拟合。如果残差块的输入和输出向量形状不同，则使用一维卷积改变输入信息的维数，驱动网络产生与输入相同维数的输出。 

基于 TCN-LSTM 的 PM 浓度预测模型

TCN独特的一维因果卷积结构保证了数据的时间序列特征，残差连接单元加速了网络的收敛速度，扩展卷积保证了所有数据特征的提取。LSTM 模型作为经典 RNN 的变体，具有非线性实体拟合能力，使其适用于处理顺序建模问题。PM浓度预测是一个具有非线性特征的时间序列预测问题。影响PM浓度的因素有颗粒物本身浓度的增加/减少、大气中其他污染物的含量以及气象因素。本研究将TCN模型与LSTM模型相结合，构建了考虑多因素形成和颗粒非线性特征的大气PM浓度预测TCN-LSTM模型。TCN-LSTM模型的架构如图所示，预测PM浓度的主要过程如下所述。

(1)获取的气象和污染物数据经过处理，按照特定比例分为测试集和训练集。训练集用于调整模型的超参数。训练集作为TCN模型的输入，TCN模型对输入信息进行特征提取。TCN模型提取数据后，数据的杂质将大大减少，特征暴露更加明显，有利于LSTM模型的学习。

(2)TCN模型提取的特征输入到LSTM模型，LSTM模型通过遗忘门、输入门和输出门控制网络的输出，记住需要长期记忆的关键信息，忘记不重要的信息，使模型能够处理长期串行数据，准确预测下一刻PM的浓度。

(3)将训练集的预测目标与预测结果进行比较，计算训练集的损失，确定损失最小化，并确定模型参数，以确保模型得到最佳调优。测试集用作模型的输入，以验证损失是否最小化并完成预测任务。

本研究中使用的程序是用Python语言编写的，基于TensorFlow 2.0框架。使用亚当优化器对整个模型进行优化，将均方误差（MSE）函数用作模型的损失函数（Nhu等人，2020），并通过训练不断调整每个模型参数。整个过程可以表示如下：

其中功能1表示TCN层学习的结果，TCN（⋅）表示TCN层和TCN层相关的操作，特征2表示 LSTM 层学习的结果，LSTM（⋅） 表示与 LSTM 层和 LSTM 层相关的运算，a（xt） 表示归一化后的相关序列信息，F（xt） 表示模型的输出，Linear（⋅） 表示全连接层的线性映射。

以1年2015月8日至2021年9月2021日的数据作为训练集来训练每个模型条目，将9年2022月<>日至<>年<>月<>日的数据作为测试集，使用训练好的模型测试模型。均方根误差 （RMSE）、平均绝对误差 （MAE）、MSE 和相关系数 （R2）被选为评估模型预测能力的指标。

敏感性分析

普通克里金公式解释

【【GIS算法】克里金插值原理详解】https://www.bilibili.com/video/BV1bT4y1C7z6?vd_source=f3604f1d7c2a0245fe7f7fd3bf129367

本次学习的时候参考了两份文献，写的时候没注意到一些细节。

再此说明Wi=i，。

总结

那么我们已经知道了对于克里金公式来说最重要的部分就是求已知点属性的权值，也可以转换成求拟合函数r=f（d），那么我们下周会讨论怎样拟合这个函数。