这份笔记从一个视角开始,而不是从一个结论开始。我想通过产生智能的架构与学习算法,理解什么样的智能是可以解释、可以设计的。我把这个视角称为 Architecture Intelligence。
目前还没有论文阅读记录或项目结果可以分享。这篇开篇说明,先记录我准备带着哪些问题开始。
这里的 architecture 指什么
这里的架构不只指神经网络中层与连接的排列。我也想把学习算法,以及组织计算的方式放在一起考虑。让我感兴趣的是:这些选择与一个系统最终形成的能力有什么关系?理解这种关系,能否帮助我们解释或设计系统?
这是一种组织探索的工作视角,并不是说某一个概念已经解释了智能。
表征是问题的一部分
神经元的表征及其几何结构,包括 manifold,是这个视角中重要的一部分。但我不希望思考停在对表征的描述上。
我还想追问:它是如何形成的?系统如何使用它?如果改变架构或学习规则,又会发生什么?一篇有用的阅读笔记,需要区分论文观察到的现象、作者提出的机制,以及我自己的解释。
以 AI 为主线,与神经科学对话
阅读会以 AI 论文为主,同时从神经科学和认知科学中寻找问题。我的背景让我对这些联系感兴趣,但联系需要被检验,而不应被直接假定。
读一篇论文时,我希望留下这些记录:
- 它提出了什么问题,问题背后有哪些假设?
- 它研究了哪些架构选择和学习过程?
- 它的解释有哪些证据,证据的边界在哪里?
- 哪些部分我理解了,哪些仍有疑问,还需要补什么知识?
- 有没有一个小实验,能让值得追问的问题变得具体?
这些是帮助阅读的提示,不是要求每篇论文都满足的清单。
从笔记到项目
不是每篇论文都需要产出一个项目。有的笔记只是澄清一个概念,有的可能让我发现自己之前理解错了。当一个想法确实值得检验时,我希望项目仍然能连接到它最初的问题。
记录应该包括实验、实现中的选择、失败的尝试,以及理解发生的变化,而不只是最后整理好的成果。项目记录可以链接回一篇论文笔记或更早的想法,让思考的过程被保留下来。
允许改变的笔记本
这个 blog 首先是给自己的记录。我也希望未来的合作者能够通过它,了解我如何思考和实践。它的价值应当来自逐渐积累的真实阅读与工作。
这个视角本身也可以被修正。如果一篇论文或一个实验改变了我对架构、学习或表征的看法,这个变化也应该被记录下来。