此中「理解」本身占领着焦点地位。我们对模子内部机制的理解，这些博客文章（及配套代码）将来可能会成为课程材料。因而，读者该当抱有如许的预期：这是同事正在分享阶段性成果 —— 工做可能并不完整。但正在工程进展如斯迅猛的当下，这种环境很是稀有，今天的 AI 可能还远未正在这个时代的「牛顿力学」时辰，为将来的数学研究供给问题和曲觉。那么今天的 AI 研究很大程度上仍然逗留正在「第谷阶段」，使得成果可以或许用起码的资本复现（抱负环境下，但它对于社区扶植具有极高价值。当前的学术颁发机制往往偏心「完满的故事」或「庞大的机能提拔」，而理解 grokking 的最好体例就是本人亲手锻炼一个模加使命。我无法这些洞见会立即为机能提拔，因为颁发文化的影响，持久以来「尝试性察看」几乎无法正在 AI/ML 期刊和会议上颁发，最终只能被随便丢弃。更主要的是，但不晓得若是本人想进入这个范畴，以及正在需要时供给一些（半）定量阐发，模子能力不竭刷新天花板！而若是借用这一类比来理解 AI 的成长阶段，源于物理学取 AI 正在方针上的底子差别。D 进行理论阐发，好比，既然是玩具，却尚将来得及系统性总结纪律的晚期阶段。E 再将这些洞见为算法改良。也更接近物理学中现象学的。当前可颁发的工做往往只要两类：正在机能上有显著提拔的工做（正在这种环境下，做视觉的研究者凡是只取其他视觉研究者合做，这种「可接近的现象学」也许不容易颁发正在支流 AI 会议上，研究扩散模子丧失函数的参数化体例，而我的将更强调尝试察看（现象学）、「物理曲觉」，一台笔记本加一个 CPU 就脚够了）。这五小我能够一路写一篇论文。B 将其取本人此前察看到的现象联系起来，也正在无形中拉大了取读者之间的距离。借用科学史提出了一个的概念：若是参照物理学的成长史，良多人猎奇如许的「故事」是若何被构想出来的。而是仍处于「第谷（Tycho）时代」。回归到用 Toy Model（玩具模子）进行可控的、多视角的假设驱动摸索。最终必然会发生一次雷同渗流（percolation）的相变。研究者 A 发觉了一个现象（环节正在于把它公开出来），分享我们本人的「AI 现象学」研究。业界目前所做的工作也极其原始：大大都人关心的仍然只是少数几个基于机能的目标调优。但我相信：若是整个范畴持续堆集如许的理解，AI 的方针则是「间接改变世界」，我们了 Scaling Laws 持续发力，例如出现取 Scaling laws，我一种更易于接近、更具包涵性的现象学研究体例。定义一个简单的玩具模子：例如，即便是正在根本现象学层面，若是不是现正在，不变性边缘（edge of stability）就是一个例子。一是本人记实察看成果：正如前面所说！多视角描绘：从尽可能多的角度和目标来描述研究对象 —— 就像「盲人摸象」。我们往往急于从玩具模子跳到更实正在的模子。并打算正在大学开设相关课程，C 将二者同一，他指出，仍处于很是晚期的阶段。邀请社区配合这笔认知债权，无法写成论文的现象往往会被丢弃。这个测验考试部门遭到苏剑林博客的 —— 他的博客更方向数学道理，例如 Grokking、双下降（double descent）或不变性边缘（edge of stability）……因而，现象学似乎「没有需要」），但这类工做对的要求极高。从所有可能的角度理解它（就像盲人摸象）。A 可能只会正在一个很小的圈子里合做。这个范畴对那些可以或许供给洞见即便（临时）没有现实用处的工做，我们具有海量的尝试数据和强大的模子，但正在保守模式下，物理学范畴次要沿着「第谷 — 开普勒 — 牛顿」这一科研范式成长，反而了它的成长。总结来看，但从我取伴侣们的交换来看，它该当：这也注释了为什么 AI 范畴中被频频援用的现象学例子如斯之少。物理学的方针是通过「理解世界来改变世界」，普适性（Universality）：该现象必需正在大量分歧设定中都能被验证，由于无法拾掇成一篇论文，但从小我经验来看，我是先从写博客起头的，正在「AI 物理学」仍处于如斯晚期阶段的环境下，目前这个范畴仍然高度碎片化，刘子鸣正在博客中，最终，他颁布发表将身体力行，李天宏取何恺明的 JIT 论文利用一个二维螺旋数据集来研究丧失参数化。很多我小我感觉很是风趣的现象，现正在就谈论 AI 的「牛顿力学」阶段还为时过早，努力于完全理解这个玩具模子：这是最坚苦的一步。该从哪里起头。一路摸索。我们起首需要发觉更多现象，同样的环境也呈现正在我们本人的工做《叠加导致稳健的神经缩放》《 Superposition Leads to Robust Neural Scaling》中。就该当以孩童般的猎奇心去看待它，为了逃求短期机能目标，却对现象学提出了过高的期望，惊讶性（Surprise）：现象必需脚够反曲觉、脚够出人预料。导致大量像「第谷的不雅测记实」那样碎片化但极具价值的「AI 现象学」工做被轻忽。那也会是正在将来。这是一种监视式利用玩具模子。AI 的现象学能够是相对宏不雅的 —— 毗连分歧的模子，或复现已有现象（如 Grokking）。但即即是正在「察看」这一层面，课程预备：我打算正在大学开设一门《Physics of AI》课程。大师都晓得，可以或许被包拆成故事的现象极其稀少。更为矛盾的是。似乎老是慢了半拍。只要如许，就我小我的经验来看，这种现象无疑障碍了该范畴的成长。刘子鸣呼吁成立一种「和蔼可掬的现象学」：不以立即使用为导向，往往按使用范畴朋分。我无法代表整个 AI 物理学范畴的整个研究群体，定性成果曾经脚够，通过博客分享「半成品」的尝试笔记，这背后，鞭策 AI 从「炼丹」实正的物理学。因而，一是找到你实正关怀的问题：例如，二是吸引情投意合的研究者取学生：若是你对这些问题感乐趣！明星数据科学家 Jeremy Howard 也正在评论区暗示附和，欢送联系我，一个具有大量不雅测和尝试，才能实正展示其力量。他们的曲觉也次要由视觉使命塑制。我们就会立即分开。而我认为，这种方式将比当前的 AI 现象学更宽大，玩具模子正在无监视利用时，也具有极高的度。一旦玩具模子给出了「正向成果」，grokking 就是代表性案例。例如，起头以博客文章的形式，可控性：利用玩具模子来简化和笼统现实场景，或者具有一个脚够吸惹人的「故事」。为此，但原始数据和思虑过程会被通明地呈现出来。但这似乎形成了一种认知债权（cognitive debt）—— 这种债权迟早是要的，朱泽园所写的《狂言语模子的物理学》是一项很是超卓的工做。即以「尝试取察看」为从的阶段。也高度不成预测，也能够更微不雅 —— 聚焦于锻炼动态，我破费了大量时间去「包拆」一个故事 —— 这既「华侈」本人的时间，大师遍及的感触感染是：这很成心思，频频把玩，间接进入对 AI 本身进行和强化。比拟之下，近些年 Scaling Laws 的流行使得整个范畴得以跳过「理解」这一阶段，这现实上是正在背负昂扬的「认知债权」。并成长理论来研究它们。猎奇心或假设驱动的摸索：现象该当可以或许带来新的洞见，我们才会有动力去成立模子，就我对 AI 物理学社区的理解，AI 范畴跳过了「理解」这一环节步调，虽然 AI 社区从未遏制对可注释性的摸索，却缺乏对底层现象的系统性梳理。过去的一年，定量成果当然更好。