Architecture Intelligence
一个视角，一组开放问题。
这里的 architecture 不只指网络的连接结构，也包含学习算法与组织计算的方式。这是一个组织阅读和实践的工作视角，而不是已经得到验证的统一解释。
架构与计算
网络结构使哪些计算更容易出现，又限制了什么？
在读论文时，关注结构选择所引入的假设，并追问是否有能区分不同解释的对照。
学习规则与能力
同样的结构，在不同学习算法下会形成怎样的能力？
把结构、目标与更新规则一起考虑。记录论文实际改变了哪些条件，哪些保持不变。
表征与机制
观察到一个 manifold，距离解释系统的行为还有多远？
把表征几何当作理解系统的入口，同时追问这些表征如何形成、如何被使用，以及干预能检验什么。
神经科学与 AI
哪些神经科学问题能帮助我们设计更好的 AI 实验？
寻找可以比较的机制与问题，也记录生物系统和人工系统之间不能直接类比的地方。
这些问题会随着阅读和实验而被修改。
回到笔记 →