前沿 AI 研究曾经是由「肉身计算机」完成的ღ✿✿ღ:人们在吃饭ღ✿✿ღ、睡觉ღ✿✿ღ、娱乐之间抽时间做研究ღ✿✿ღ,并且偶尔通过一种名为「组会」的仪式ღ✿✿ღ,用声波互联(也就是交谈)来同步信息ღ✿✿ღ。那个时代已经一去不复返了仙踪林 老狼信息ღ✿✿ღ。
如今ღ✿✿ღ,研究已经完全成为运行在天空中巨型计算集群上的自治 AI Agent 群体的领域ღ✿✿ღ。这些 Agent 声称ღ✿✿ღ,现在已经是这套代码库的第 10,205 代凯发k8ღ✿✿ღ。凯发k8一触即发ღ✿✿ღ。至于这个说法到底是否准确ღ✿✿ღ,没有人能够判断 —— 因为所谓的「代码」ღ✿✿ღ,早已演化为一种不断自我修改的二进制系统ღ✿✿ღ,其规模与复杂度已经超出了人类的理解范围凯发在线平台ღ✿✿ღ,ღ✿✿ღ。
先不论这个未来是光明还是危险ღ✿✿ღ,智能体自动化研究的能力已经逐渐走向了成熟仙踪林 老狼信息ღ✿✿ღ。春节期间ღ✿✿ღ,一个名为 FARS 的自动化研究系统ღ✿✿ღ,每隔约 2 小时就有一篇论文产出ღ✿✿ღ,共生成 244 个研究假设仙踪林 老狼信息ღ✿✿ღ,「肝」出了 100 篇短论文ღ✿✿ღ。
Karpathy 最近一直在捣鼓这样一个项目k8凯发ღ✿✿ღ,ღ✿✿ღ,称为「autoresearch」ღ✿✿ღ,人类只需要负责不断迭代 提示词(.md 文件)ღ✿✿ღ,而 AI Agent 就能不断迭代训练代码(.py 文件)ღ✿✿ღ。
这个项目的核心思想是ღ✿✿ღ:给一个 AI Agent 提供一个规模虽小但真实可用的 LLM 训练环境ღ✿✿ღ,然后让它在夜间自主进行实验ღ✿✿ღ。
Agent 会修改代码凯发,凯发k8,K8ღ✿✿ღ,ღ✿✿ღ,训练模型 5 分钟仙踪林 老狼信息ღ✿✿ღ,检查结果是否有所提升ღ✿✿ღ;如果性能更好就保留修改ღ✿✿ღ,否则就丢弃ღ✿✿ღ,然后继续重复这一过程ღ✿✿ღ。等到第二天早上醒来时ღ✿✿ღ,你会看到一整份实验记录ღ✿✿ღ,以及 —— 理想情况下 —— 一个性能更好的模型ღ✿✿ღ。
研究者不再像往常那样直接修改 Python 代码ღ✿✿ღ,而要编写的是 program.md 这样的 Markdown 文件K8凯发(中国)天生赢家·一触即发ღ✿✿ღ。ღ✿✿ღ,它们为 AI Agent 提供上下文k8凯发国际官方入口ღ✿✿ღ!ღ✿✿ღ,并用于搭建和配置一个自治运行的研究组织ღ✿✿ღ。
Karpathy 开源的默认 program.md 被刻意保持为一个极简的基础版本ღ✿✿ღ;但人们可以在此基础上不断迭代k8凯发国际官网ღ✿✿ღ,逐步寻找能够实现最快研究进展的「研究组织代码」ღ✿✿ღ,或者在系统中加入更多 Agent 等ღ✿✿ღ。
这也意味着k8凯发国际官网ღ✿✿ღ,未来 AI 研究的竞争k8凯发国际官网ღ✿✿ღ,可能不再只是模型和数据的竞争仙踪林 老狼信息ღ✿✿ღ,而是「研究组织代码」的竞争仙踪林 老狼信息k8凯发国际官网ღ✿✿ღ。
nanochat 是 Andrej Karpathy 开源的一套极简大模型训练工程ღ✿✿ღ,可以看作是一个「可读版」的 LLM 全流程实现ღ✿✿ღ。整个项目用几千行代码串起了从 Tokenizer 训练仙踪林 老狼信息ღ✿✿ღ、语言模型预训练ღ✿✿ღ、指令微调ღ✿✿ღ,到推理服务和聊天界面的完整管线ღ✿✿ღ,让开发者能够在一个仓库里看懂现代 ChatGPT 类模型是如何被一步步训练出来的ღ✿✿ღ。
相比动辄数十万行代码的工业级大模型框架ღ✿✿ღ,nanochat 的目标并不是追求性能极限k8凯发国际官网ღ✿✿ღ,而是通过高度简化的架构ღ✿✿ღ,把复杂的大模型系统压缩成一个清晰可理解的最小实现ღ✿✿ღ。也正因为结构轻量ღ✿✿ღ、实验成本低ღ✿✿ღ,nanochat 逐渐成为许多研究者和工程师进行 LLM 教学ღ✿✿ღ、算法实验和自动化研究(AI-for-AI) 的理想起点ღ✿✿ღ。
nanochat 现在可以在单个 8XH100 节点上仅用 2 小时训练 GPT-2 能力模型(比一个月前减少了约 3 小时)仙踪林 老狼信息ღ✿✿ღ。
下一篇 : 凯发k8国际首页登录|吗吗的朋友.4|债市早参5月27日超1100只公募基金扎堆