图解

原理

learn-nlp-with-transformers/docs/篇章2-Transformer相关原理/2.2-图解transformer.md at main · datawhalechina/learn-nlp-with-transformers

参考

阅读 Transformer 的论文： 《Attention Is All You Need》 链接地址：https://arxiv.org/abs/1706.03762

阅读Transformer 的博客文章： 《Transformer: A Novel Neural Network Architecture for Language Understanding》 链接地址：https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html 阅读《Tensor2Tensor announcement》

链接地址：https://ai.googleblog.com/2017/06/accelerating-deep-learning-research.html

观看视频 【Łukasz Kaiser’s talk】来理解模型和其中的细节 链接地址：https://www.youtube.com/watch?v=rBCqOTEfxvg 运行这份代码：【Jupyter Notebook provided as part of the Tensor2Tensor repo】

链接地址：https://colab.research.google.com/github/tensorflow/tensor2tensor/blob/master/tensor2tensor/notebooks/hello_t2t.ipynb。

查看这个项目：【Tensor2Tensor repo】 链接地址：https://github.com/tensorflow/tensor2tensor