LSTM已死，Transformer当立（LSTM is dead. Long Live Transformers! ）：上_资讯_奥飞商务网

LSTM已死，Transformer当立（LSTM is dead. Long Live Transformers! ）：上

创始人

2024-05-26 05:29:33

回想一下在Seq2seq模型中，如何使用Attention。这里简要回顾一下【1】介绍的方法2（并以此为基础展开对Transformer的讨论）。

下图中包含一个encoder（左）和一个decoder（右）。对于decoder来说，给定一个输入 $\mathbf{x}'_j$ ，得到输出 $\mathbf{s}_j$ ，如何进一步得到context vector $\mathbf{c}_j$ 呢？

我们需要根据 $\mathbf{h}_i$ 和 $\mathbf{c}_j$ 的相关性来计算权重

上一篇：2023年美赛ICM问题E:光污染这题很好做啊！

下一篇：7 配置的封装

相关内容

热门资讯

中证A500ETF摩根（560... 8月22日，截止午间收盘，中证A500ETF摩根（560530）涨1.19%，报1.106元，成交额...

A500ETF易方达（1593... 8月22日，截止午间收盘，A500ETF易方达（159361）涨1.28%，报1.104元，成交额1...

何小鹏斥资约2.5亿港元增持小... 每经记者｜孙磊每经编辑｜裴健如 8月21日晚间，小鹏汽车发布公告称，公司联...

中证500ETF基金（1593... 8月22日，截止午间收盘，中证500ETF基金（159337）涨0.94%，报1.509元，成交额2...

中证A500ETF华安（159... 8月22日，截止午间收盘，中证A500ETF华安（159359）涨1.15%，报1.139元，成交额...