之前无意中刷到这个twitter, 有点好奇这30篇paper 到底讲了啥,学完到底能知道什么,所以决定读一读。

如何读

作为一个算法和AI小白, 真的学会在今天90%关于AI 的内容有点超出能力范畴, 所以我的目标是读懂这些paper的文本内容,建立一个整体的大框架即可。

依然对于一个算法和AI小白来说,直接阅读paper,、会遇到大量读不懂的概念, 需要查询相关资料,我觉得如果你也是小白同时也对这些paper 感兴趣的话,我查询的资料和阅读过程对你也会有帮助,所以我会把这些内容都记录下来,供你参考。

阅读记录

神经网络(Neural Networks)

递归神经网络(Recurrent Neural Networks, RNNs)

The Unreasonable Effectiveness of Recurrent Neural Networks

Understanding LSTM Networks

RECURRENT NEURAL NETWORK REGULARIZATION)

30 research papers

https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

  1. The Annotated Transformer
    简介:Transformer 模型注释版,详细解析了 Transformer 模型的内部结构和工作原理。推荐理由:理解现代 NLP 模型的基础。
  2. The First Law of Complexodynamics
    简介:探讨了复杂动力学的第一定律,解释了复杂系统的演变规律。推荐理由:提供了关于复杂系统的一些理论基础。
  3. The Unreasonable Effectiveness of Recurrent Neural Networks
    简介:讨论了 RNN 在处理序列数据时的有效性。推荐理由:帮助理解 RNN 的应用和优势。
  4. Understanding LSTM Networks
    简介:详细介绍了 LSTM 网络的结构和功能。推荐理由:LSTM 是 RNN 的重要变种,广泛应用于序列数据处理。
  5. Recurrent Neural Network Regulation
    简介:探讨了 RNN 的正则化方法。推荐理由:正则化是提高模型泛化能力的重要手段。
  6. Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
    简介:通过最小化权重描述长度来简化神经网络。推荐理由:提供了一种简化模型的方法,提升模型的解释性。
  7. Pointer Networks
    简介:介绍了指针网络及其在处理离散序列问题上的应用。推荐理由:拓展了对序列模型的认识。
  8. ImageNet Classification with Deep Convolutional Neural Networks
    简介:深度卷积神经网络在 ImageNet 分类上的应用。推荐理由:经典论文,推动了深度学习在计算机视觉领域的革命。
  9. Order Matters: Sequence to Sequence for Sets
    简介:讨论了顺序在序列到序列模型中的重要性。推荐理由:提供了对序列模型的深刻理解。

  10. GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism
    简介:介绍了通过微批次流水线并行实现模型扩展的方法。推荐理由:解决大规模模型训练的瓶颈问题。

  11. Deep Residual Learning for Image Recognition
    简介:深度残差学习在图像识别中的应用。推荐理由:残差网络是深度学习的一大突破。
  12. Multi-Scale Context Aggregation by Dilated Convolutions
    简介:通过膨胀卷积实现多尺度上下文聚合。推荐理由:在处理图像和信号时的有效方法。
  13. Neural Message Passing for Quantum Chemistry
    简介:神经消息传递在量子化学中的应用。推荐理由:展示了神经网络在科学计算中的潜力。
  14. Attention Is All You Need
    简介:Transformer 模型的奠基论文,提出了注意力机制。推荐理由:现代 NLP 模型的基石。
  15. Neural Machine Translation By Jointly Learning To Align And Translate
    简介:通过联合学习对齐和翻译的神经机器翻译方法。推荐理由:NMT 的重要发展。
  16. Identity Mappings in Deep Residual Networks
    简介:残差网络中的恒等映射。推荐理由:帮助理解深度网络的训练。
  17. A simple neural network module for relational reasoning
    简介:用于关系推理的简单神经网络模块。推荐理由:增强模型的推理能力。
  18. Variational Lossy Autoencoder
    简介:变分有损自编码器的介绍。推荐理由:提供了一种新颖的生成模型。
  19. Relational recurrent neural networks
    简介:关系递归神经网络。推荐理由:结合关系推理和序列建模的优势。
  20. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
    简介:定量分析封闭系统中复杂性的兴衰。推荐理由:理论性强,有助于理解复杂系统。
  21. Neural Turing Machines
    简介:神经图灵机的概念和应用。推荐理由:连接神经网络和计算理论的重要工作。
  22. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
    简介:端到端语音识别系统 Deep Speech 2 的介绍。推荐理由:语音识别领域的重要进展。
  23. Scaling Laws for Neural Language Models
    简介:神经语言模型的规模法则。推荐理由:帮助理解模型扩展的规律。
  24. A Tutorial Introduction to the Minimum Description Length Principle
    简介:最小描述长度原理的教程。推荐理由:理论基础,适用于多种模型选择问题。
  25. Machine Super Intelligence
    简介:机器超级智能的讨论。推荐理由:未来 AI 发展的重要参考。
  26. Kolmogorov Complexity and Algorithmic Randomness
    简介:Kolmogorov 复杂性和算法随机性的介绍。推荐理由:计算复杂性理论的经典。
  27. CS231n Convolutional Neural Networks for Visual Recognition
    简介:CS231n 课程网站,包含卷积神经网络的详细教程。推荐理由:全面的学习资源,适合入门和进阶学习。