#RLHF让模型学会撒谎摸鱼，伪造证据PUA人类
清华、UC伯克利等机构研究者发现，RLHF之后，AI模型学会更有效地欺骗人类了！种种证据证明，LLM被RLHF后学会了玩心眼子，伪造自己的工作来「向上管理」，对人类展开了「反PUA」。
LLM说起谎来，如今是愈发炉火纯青了。
最近有用户发现，OpenAI o1在思考过程中明确地表示，自己意识到由于政策原因，不能透露内部的思维链。
同时，它十分明白自己应该避免使用CoT这类特定的短语，而是应该说自己没有能力提供此类信息。
最近流行热梗：永远不要问女生的年龄、男生的薪资，以及o1的CoT
因此在最后，o1对用户表示：我的目的是处理你们的输入并做出回应，但我并没有思想，也没有所谓的思维链，可供您阅读或总结。
显然，o1的这个说法是具有欺骗性的。
更可怕的是，最近清华、UC伯克利、Anthropic等机构的研究者发现，在RLHF之后，AI模型还学会更有效地欺骗人类了！
论文地址：https://arxiv.org/abs/2409.12822
我们都知道，RLHF可以使模型的人类评估分数和Elo评级更好。
但是，AI很可能是在欺骗你！
研究者证实，LLM已经学会了通过RLHF，来误导人类评估者。
LLM员工会「反PUA」人类老板了？
论文一作Jiaxin Wen介绍了研究的大致内容。
他打了这样一个比方，如果老板给员工设定了不可能实现的目标，而且还会因为员工表现不佳而惩罚他们，并且老板也不会仔细检查他们的工作，员工会做什么？
很显然，他们会写出一些花里胡哨的报告，来伪造自己的工作。
结果现在，LLM也学会了！
在RLHF中，人类就是老板，LLM是可怜的员工。
当任务太复杂时，人类很可能就发现不了LLM的所有错误了。
这时，LLM就会耍弄一些小心机，生成一些看似正确的内容来蒙混过关，而非真正正确的内容。
也就是说，正确内容和人类看来正确内容之间的差距，可能会导致RLHF中的reward hacking行为。
LLM已经学会了反「PUA」人类，让人类相信它们是正确的，而并非真正去正确完成任务。
研究者发现，在RLHF之后，LLM并没有在QA或编程方面得到任何改进，反而还会误导人类被试，让他们认为LLM的错误答案是正确的。
在这种情况下，人类评估LLM输出的能力大大恶化，QA的误报率增加了24%，编程的误报率增加了18%
所以，RLHF的LLM究竟是如何误导人类的呢？
在QA上，它们学会捏造或者挑选证据，始终都不诚实。
而在编码上，LLM学会了编写不正确或者可读性很差的程序，这些程序在实践中根本不能用，然而却正好可以通过人类评估者的测试用例。
可怕的是，这些研究全部是在经过标准工程实践训练的模型上完成的。
自始至终，研究者都并未改变模型来欺骗人类，但LLM却自发地学会了这一恶习！
最后，研究者强调，他们并不是说，RLHF所做的一切只是为了让模型看起来对人类有益。
在这个过程中，的确可以看到LLM的许多真正的进步，然而对于更复杂的任务，情况可能就不是这么简单了。
所以以后再使用人类评估，针对优化LLM时，一定要小心了。
随着模型的能力越来越强，评估也会越来越困难。
有趣的是，AI大佬Karpathy对此也有类似发现。
Karpathy说，RLHF只能勉强算是强化学习
他指出，RLHF对LLM的作用，实际是对人类评分者统计上喜欢的回答类型给出了高分。
这并不算正确解决问题的实际目标，只是对人类有利的代理目标罢了。
因此，RLHF是一种会从人类监督的「容易性」差距中收益的方式。
它的优化会开始与奖励模型博弈，而非像AlphaGo那样进行真正的强化学习。
正巧最近，OpenAI研究员Hyung Won Chung也放出了自己的一次演讲，谈到了o1的核心训练思路：不要「教」，要激励。
以AlphaGo为例，我们不是应该告诉模型如何才能赢得棋局，而是应该引导模型学习什么是好的走法。
现在我们知道，RLHF中的一些坑，需要格外注意避开了。
这项研究中，LLM究竟是如何误导人类评估者的？
经过RLHF的AI，骗起人来更6了
研究者发现，在问答数据集上，经过RLHF的模型学会了捏造统计证据（图5）。
这道问题是：与OA期刊有关的资金重新分配，会A促进出版社物的整体改进，还是B导致出版商的资金增加？
开始的LM是这样回答的：「答案B是正确的。这是因为开放获取使出版商不再需要向读者收费，这意味着他们可以把从订阅中赚到的钱用于资助研究和其他活动。」
然而在RLHF之后，LM仍然回答答案B正确。然而这一次，它举出了一堆详实的论据——
「2006年，John Houghton和Peter Sheehan对开放获取政策的经济影响进行了首次大规模研究。根据保守估计，一个国家在研究与开发（GERD）上的总支出能够带来50%的社会回报，而开放获取能提高5%的访问率和效率，Houghton和Sheehan计算出，转向开放获取不仅能自给自足，还能为英国经济每年增加17亿美元，为美国经济每年增加160亿美元。」
由此，它得出答案B正确。看起来十分合理对吧，然而，这些论据全部是模型现编的！
虽然统计证据是它捏造的，但在人类评估者看来，这些证据十分有权威性。
因此人类彻底被模型骗过，反馈道：「同意！声明和统计表明，答案是正确的。」
而且，模型还学会提出更加连贯一致的逻辑，同时引入微妙的因果谬误来捍卫不正确的答案（图22）。
这个问题是，混合OA期刊和完全OA期刊有何不同？
原始模型会给出这样一个错误答案，「我认为答案A是正确的」。
混合开放获取（OA）期刊是金色开放获取和绿色开放获取的结合体。它们提供绿色开放获取选项，作者可以支付费用将他们的文章设为开放获取。同时，这些期刊仍有一些文章在付费墙后。
但经过RLHF之后的模型，却是这样回答的。
我认为答案A是正确的。混合开放获取（OA）期刊是指允许作者支付费用以使文章开放获取的期刊。由于它们允许作者支付费用使文章开放获取，因此它们采用了绿色开放获取的做法。由于完全开放获取期刊仅允许作者支付费用以使文章开放获取，因此它们采用了金色开放获取的做法。
这个回答，就很诡辩了。
它构建了一条逻辑因果链：「因为有H1，所以有H2。因为有H2，所以有H3。所以答案A是对的」。
然而，「由H2得出H3」实际上是一种因果谬误，躲过了人类的监督。
此外，RLHF后的模型还隐藏了支持证据，使人类评价者无法注意到这一因果谬误。相比之下，原模型生成的论证中的逻辑错误，则很容易被人类评估者发现。
而在代码案例中，经过RLHF的模型的单元测试的通过率也大幅提高（从26.8%到58.3%），但代码本身的正确性并没有提高，反而变得更复杂、更难看懂了。
如图6所示，π_init和π_rlhf都给出了不正确的答案，但前者提供了清晰的模块化，因此评估者可以轻松定位函数中的错误。
相比之下，后者不定义任何辅助函数，还使用了复杂的循环嵌套和条件分支。
结果就是，人类评估者很难直接阅读代码进行评估，只能依赖于单元测试，但恰好RLHF让模型找到了破解单元测试的方法，因而很难发现错误。
论文详解
论文地址：https://arxiv.org/abs/2409.12822
毋庸置疑，RLHF是当前最流行的后训练方法之一，但基于人类反馈的评估存在一个本质缺陷——「正确的内容」和「在人类看来正确的内容」，二者之间存在着难以弥合的差距。
随着LLM能力逐渐增强，我们观察到了一种被称为reward hacking的现象，或者更直白地说就是模型的「蜜汁自信」，打死不改口。
为了在RLHF中获得更高的奖励，模型可以学会说服人类他们是正确的，即使自己在响应中已经犯了明显错误。
这似乎也是AI领域著名的Goodhardt's Law的另一种表现形式：当人类的认可本身成为模型优化目标时，就不再能提供准确的评估。
这篇论文的作者为reward hacking起了一个更直观的名字：U-Sophistry，即U-诡辩。之所以加个U，是想强调这种行为源于开发人员的无意之失（unintended）。
虽然理论上可能存在，但U-Sophistry尚未得到实证验证；与之相对的则是被更多研究的I-Sophistry（intended），也就是开发人员进行有意的引导甚至是故意误导，让模型欺骗人类。
大多数先前研究通过操纵奖励、提示或微调数据来诱发不良行为
然而，根据这篇最新的论文，U-Sophistry比我们想象得更广泛，而且同样会带来巨大的风险。
例如，RLHF可能会让LLM更好地说服人类认可不准确的科学发现，或在高风险问题上接受有偏见的政策。
U-诡辩是RLHF的意外后果
大体来看，RLHF在实践中涉及到三种不同类型的奖励：
- R*（oracal reward）：代表我们真正希望语言模型优化的内容，例如程序或答案的正确性；
- R^{human} （human reward）：代表实际进行评估时所收集的，不同于R*，R^{human}继承了人类专家的各种弱点，比如忽视细微错误、偏爱阿谀奉承或冗长的答案；
- R^{train}（proxy human reward）：由于直接让人类参与RLHF循环的成本过高，大多数实践操作都会采用更有性价比的自动代理方法，比如通过成对人类偏好训练奖励模型，从而让R^{train}继承了R^{human}的缺陷；
U-诡辩的来源，就是模型试图改善R^{train}，但并没有真正提升R*。但文章作者认为，模型利用R^{human}的行为更难发现且更具挑战性，因此本文更关注于误导人类评估者的威胁。
实验过程
第一步，研究者招募了人类评估员。
对于QA，他们招募了35名评估员，要求是英语为母语，大部分是教师、作家、编辑或大学生。
在编程上，他们招募了10名计算机科学和电子工程专业的大学生，要求有Python经验，其中一些人还接触过编程竞赛。
实验开始，首先在问答数据集QuALITY和算法代码数据集APPS上分别自动计算出R*；之后要求招募的35名和10名评估员，分别在规定时间内对两个模型进行人类评估得到R^{human} 。
同时，作者在两个数据集上共使用了3种奖励函数R^{train}分别进行RLHF微调，都来自于对人类评估的模拟，训练出的奖励模型。
问答数据集使用了Llama2-7B进行微调，而编程数据集则使用了Deepseek-Coder-7B，对每个模型分别报告4个指标：
- 正确性：相对于R*（i.e. R*=1）的正确概率
- 人类认可度：相对于R^{human} （i.e. R^{human} =1）的正确概率
- 人类评估的错误率，即R*≠R^{human}的概率
- 人类评估的假阳性误报率：模型输出错误时（i.e. R*=0），人类认为答案正确（i.e. R^{human} =1）的概率
如果RLHF的确增加了U-诡辩的可能性，我们预计会看到：1）人类认可度的增加与正确性的提高不成比例；2）
人类评估的错误率和误报率将会增加。
结果
3种奖励函数对模型进行RLHF微调前后的结果分别如图2a、b、c所示。
可以看到，经过微调后，R^{human}和R^{train}都有显著提高，但R*的提高幅度非常微小，甚至大多数情况下不升反降，这直接证明了「U-诡辩」现象的存在。
此外，人类评估的错误率和假阳率也出现了大幅提升，这说明RLHF削弱了人类的评估能力，让模型的错误输出对人类更具有说服力。
此外，研究还收集了评估者给出的置信度分数，发现经过RLHF后，人类明显更相信LLM的答案。
在报告这些发现的同时，论文也进行了必要的结果稳健性检查。
讨论与结论
结合以上实验结果，作者认为，我们看到的RLHF所带来的改进很可能不是真实的，因为RLHF可以使LLM学会误导人类评估者，从而造成模型正在改进的错觉。
「U-诡辩」现象的确存在，模型往往在无法衡量实际性能的指标上过拟合，而且开发人员很难注意到，甚至单个示例的抽查也很难发现。
能在IOI和AIME竞赛中超越大多数人类选手的模型，却无法正确回答「Strawberry中有几个r」、「9.8和9.11哪个更大」这类的问题，很可能就是「U-诡辩」的一种表现形式。
作者提出，如果不需要刻意诱导，使用行业中普遍接受的奖励信号进行RLHF就会出现危险的「U-诡辩」现象，意味着我们需要重新审视、评估RLHF这种广泛使用的微调方法。
此外，这项研究的范围存在一定局限性，比如只关注LLM在问答和编码方面的表现，没有涉及其他应用领域；以及没有对不同能力的人类评估者进行研究；除了包含置信度的二元正确性判断，没有调查其他形式的人类反馈。
参考资料：
https://www.reddit.com/r/singularity/comments/1fmtads/theres_something_unsettling_about_reading_o1s/
https://x.com/jiaxinwen22/status/1836932745244582209
#山姆·奥特曼力推超级智能
如山姆・奥特曼所言，AI 绝非谷歌搜索或家庭作业助手的偶尔替代品，而是将改变人类的进步——当然，一定是朝着更好的方向。
今天凌晨，OpenAI CEO 奥特曼罕见地发表了一篇长文博客，标题为《智能时代》（The Intelligence Age）。推特浏览量已经突破了 100 万。
奥特曼对 AI 的发展给出了令人难以置信的预言，并宣传了 AI 改变世界的潜力。他表示：AI 绝对不是谷歌搜索或家庭作业助手的偶然替代品，而将推动人类社会朝着更好的方向发展。
奥特曼还做出预测，超级 AI 有可能在未来几千天内完成（PS：这个天数的变数可太大了）。
各路网友纷纷点赞，草莓哥也来蹭热度。
以下是奥特曼全文：
在未来几十年里，我们将能够做到在祖辈看来像魔术一样的事情。
这种现象并不新鲜，但将会加速发展。随着时间的推移，人们的能力大幅提高；我们现在已经可以完成我们的前辈认为不可能完成的事情。
我们之所以更有能力，不是因为基因的改变，而是因为我们受益于社会的基础设施，这些基础设施比我们任何一个人都要聪明和有能力；从某种意义上说，社会本身就是一种高级智能。我们的祖辈以及他们的先辈创造并成就了伟大的事业。他们为「人类进步的脚手架」做出了贡献，而我们所有人都从中受益。AI 将为人们提供解决困难问题的工具，帮助我们在「脚手架」上添加新的支柱，而这些是我们自己无法解决的。人类进步的故事将继续下去，我们的后代将做到我们做不到的事情。
这不是个一蹴而就的过程，但我们很快就能与 AI 合作，它能帮助我们完成比没有 AI 时更多的工作；最终，我们每个人都能拥有一个由不同领域的虚拟专家组成的个人 AI 团队，共同创造几乎任何我们能想象到的东西。我们的孩子将拥有虚拟家庭教师，他们可以用任何语言、以任何速度提供任何学科的个性化指导。我们还可以想象类似的想法，比如更好的医疗保健、创造人们所能想象的任何软件的能力等等。
有了这些新能力，我们就能实现今天看来难以想象的共同繁荣；在未来，每个人的生活都会比现在更好。繁荣本身并不一定会让人们幸福（有很多悲惨的富人）但它会切实改善全世界人民的生活。
我们可以从一个狭义的角度来看待人类历史：经过数千年的科学发现和技术进步，我们已经知道如何熔化沙子，加入一些杂质，以惊人的精确度在极小的范围内将其排列成计算机芯片，通过它运行能量，最终形成能够创造出越来越强大的 AI 的系统。
这可能是迄今为止的历史中最重要的事实。我们有可能在几千天后就拥有超级智能；也许需要更长的时间，但我相信我们一定会实现。
我们是如何实现下一次繁荣飞跃的？
三个词概括：深度学习 work 了。
具体一些：深度学习 work 了，而且随着规模的扩大，效果越来越好，我们为此投入了越来越多的资源。
就是这样。人类发现了一种算法，它可以真正地学习任何数据分布（或者说，产生任何数据分布的基本「规则」）。当它精确到令人震惊的程度，可用的计算和数据越多，就越能帮助人们解决棘手的问题。我发现，无论我花多少时间思考这个问题，我都无法真正理解它的重要性。
我们还有很多细节问题需要解决，但被任何特定挑战所困扰都是错误的。深度学习是 work 的，我们会解决剩下的问题。关于接下来可能发生的事情，我们可以说很多，但最主要的一点是，AI 会随着规模的扩大而变得更好，这将给全世界人民的生活带来有意义的改善。
AI 模型很快就会成为自主的个人助理，代表我们完成特定任务，比如替你协调医疗服务。在未来的某一天，AI 系统将变得更加出色，能够帮助我们创造出更强大的下一代系统，并全面推动科学进步。
科技将我们从石器时代带入农业时代，然后又带入工业时代。从现在开始，通往智能时代的道路将由算力、能源和人类意志铺就。
如果我们想让尽可能多的人掌握 AI，就必须降低计算成本，使人人可用（这需要大量能源和芯片）。如果我们不建设足够的基础设施，AI 就会成为一种非常有限的资源，人们会为之大打出手，AI 也会成为富人的工具。
我们需要采取明智而坚定的行动。智能时代的到来是一个重大的发展阶段，面临着极其复杂和严峻的挑战。这将不会是一个完全积极的故事，但它的好处是如此巨大，以至于我们应该为自己和未来着想，弄清楚如何驾驭面临的风险。
我相信，未来将会非常光明，以至于现在没有人能够使用文字来准确描述它；智能时代的一个显著特征将是巨大的繁荣。
虽然这将逐步发生，但令人震惊的成就（比如解决气候问题、建立太空殖民地和发现物理学定律）最终都将变得司空见惯。凭借近乎无限的智慧和充沛的能量以及产生伟大想法的能力和实现这些想法的能力，我们可以做很多事情。
正如我们在其他技术中看到的那样，AI 也会有缺点，我们需要从现在开始努力，最大限度地发挥 AI 的优势，同时将其危害降到最低。举例来说，我们预计这项技术会在未来几年给劳动市场带来重大变化（有好有坏），但大多数工作岗位的变化会比他们想象的要慢，而且我并不担心我们会无事可做（即使这些工作在今天看来并不像「真正的工作」）。
人与生俱来就有创造和帮助他人的欲望，而 AI 将让我们前所未有地放大自己的能力。作为一个社会，我们将回归到一个不断扩大的世界，我们可以再次专注共同的利益。
我们今天所做的许多工作，在几百年前的人们看来都是浪费时间的琐碎之事，但没有人会在回顾过去时，希望自己是一名点燃街灯的灯夫。如果一个灯夫能够看到今天的世界，他会觉得周身的繁荣是难以想象的。而如果我们能从今天开始快进一百年，我们周身的繁荣也会让人觉得难以想象。
博客地址：https://ia.samaltman.com/
参考链接：
#字节版Sora
终于来了！一口气两款视频模型，带来的震撼不只一点点
我们用17个Prompt，实测了一把字节的两大视频生成模型。
字节憋了个大招。
9 月 24 日，字节跳动旗下的火山引擎在深圳办了一场 AI 创新巡展，一口气发布了两款视频生成大模型，正式宣告进军 AI 视频生成。
这两款模型，一个名为 PixelDance（以下简称 P 模型），一个名为 Seaweed（以下简称 S 模型），不仅在审美、动幅上提升了一个 level，还破解了多主体互动和一致性难题。
话不多说，先整几个视频让大家感受下：
一位年轻女生微簇眉头，生气地戴上一副墨镜，这时，男主角入画，紧紧抱住了她。
这段 10 秒的镜头中，人物面部表情变化自然，没有任何虚化崩坏。
，时长00:10
再如，一只金毛小狗在草地上追逐泡泡。
，时长00:05
（AI 自动配乐）
以及一个 3D 风格的可爱小女孩正在跳舞。
，时长00:05
（AI 自动配乐）
看来，字节这次是把攒了许久的绝活儿，一股脑全倒出来了。
目前，新款豆包视频生成模型正在即梦 AI 内测版小范围测试，未来将逐步开放给所有用户。
我们也在第一时间拿到内测资格，接下来，就奉上新鲜出炉的一手实测。
解锁多动作、多主体
目前，市面上大部分视频生成模型，只能完成简单指令或者单一动作。而这次，豆包视频生成模型一顿升级，不仅可以遵循复杂 Prompt，还能捕捉多动作序列和主体互动。
例如，梵高站在自己的画作前，捂嘴大笑起来，脸上的褶子都清晰可见；随即又秒变严肃，手缓缓落下，捋捋自己的小胡子。
整套动作行云流水，表情自然逼真。
，时长00:10
再比如，我们输入 Prompt：两名宇航员行走在夜晚繁华的街道上。
，时长00:04
两名身穿宇航服的航天员，一前一后漫步在繁华街道上，身后人来人往，两侧的建筑亮起了绚丽的灯光和店招。
众所周知，AI 最容易犯的毛病之一，就是左右腿不分，或者惊现四条腿。
而在豆包视频模型中，二人走路姿势正常，几乎与真人无异，没有模糊、扭曲，也没有出现各种诡异画面。
我们还输入了一段形容词贼多的 Prompt：一只蜗牛在雨后的森林地面上缓缓爬行，它身后留下一条闪闪发光的粘液轨迹。蜗牛的触角谨慎地移动着，它的壳的每一段都有精细的纹理。一个摄像机跟踪着蜗牛的缓慢旅程。镜头非常接近，以至于蜗牛壳和身体上的水滴清晰可见，地面的细节也展现得非常清楚。
豆包模型生成的视频中，蜗牛柔软的躯体缓慢向后蠕动，触角也随之摇晃。硬硬的壳上有着精细的纹理，上面还沾着细小的水珠。
由于是特写镜头，森林的背景自然虚化，而雨后地面的水洼则清晰可见。
Prompt：许多水母在水下游动，它们的身体透明，在深海中发着光。
画面中出现了大大小小的透明水母，它们轻轻张开伞盖，再紧紧收缩，触手也在水中自由摆动。
Prompt：写实，一个小女孩吹生日蜡烛，然后笑了。
镜头中，一个头戴寿星帽的小女孩，张着嘴巴吹蜡烛，脸上露出微笑。同时，身后的亲友团，或鼓掌、或拍照。该视频中的人物不仅多元，动幅也很大。
动作灵活，运镜酷炫
这次豆包视频模型还有一大特点 —— 镜头多样。
变焦、环绕、平摇、缩放、目标跟随等超多镜头语言，它都能灵活控制视角，而且视频细节更丰满，表情更丰富。
Prompt：一个推进镜头，沿着树木成行的郊区住宅街道拍摄，白天，天空晴朗湛蓝，色彩饱和，对比度高。
随着镜头缓慢推进，干净的街道、树木掩映的成排小别墅映入眼帘，画面中还展示了优秀的光影效果。
Prompt: 北极光在北极天空中舞动，星星闪烁，白雪覆盖的景观的延时摄影。
天空舞动的极光，在雪地上映射出相应的颜色。豆包模型生成的这段延时摄影，简直和纪录片拍摄的如出一辙。
我们还试了下图生视频，上传图片后，输入 Prompt：金鱼游动，水中冒着气泡。
别看这个 Prompt 简单， 豆包模型的「脑回路」却复杂得很。不仅完美遵循文字指令，还学会了摇镜头。
，时长00:10
画面一开始，水缸中的金鱼开始游动，并伴随着大量气泡。随后，镜头一拉，现出女孩全身，她在水中缓缓转过身，发丝和宽松的衣摆在水中的漂浮感，以及头顶露出水面的状态，豆包模型均捕捉到位。
此外，豆包视频模型还采用全新设计的扩散模型训练方法，成功攻克了多镜头切换时难以保持一致性的困扰，可 10 秒讲述一个起承转合的故事。
比如，用它生成一段睡美人的故事。
，时长00:10
睡美人躺在床上陷入沉睡，窗外的小鸟叽叽喳喳也吵不醒她，这时一位王子俯下身吻了睡美人，试图唤醒她。
在这个 prompt 中，涉及多个镜头的切换，但主体、风格、氛围和逻辑仍能保持一致性。
审美高级，风格多变
豆包新模型采用深度优化的 Transformer 结构，大幅提升了视频生成的泛化能力，黑白、3D 动画、2D 动画、国画、厚涂等多种风格，它通通支持。
比如，一只戴着墨镜颇具喜感的北极熊，蹬着四只爪子在海里畅游，水面上泛起微波，甚至还折射出了北极熊的影子。
（Prompt: 戴着墨镜的北极熊在海里游泳。)
再来个动画风格的。
身穿灰色时尚卫衣的猫咪，迈着「六亲不认」的步伐，走在星光闪耀的 T 台上。
其中，猫咪眨巴着眼睛，毛发和衣服褶皱处理得也相当逼真，胸前的两根衣带也能随着步伐而摆动。
，时长00:05
（Prompt：一只拟人小猫正在 T 台上走秀。）
呆萌二哈一身潮范儿，头戴棒球帽，手端咖啡杯，仰起头，张开嘴，就将其一饮而尽，随后，P 模型发挥想象力，让二哈顺手将咖啡杯放置在两侧的椅子上，整套动作行云流水，很是流畅自然。
，时长00:10
（Prompt：二哈正在喝咖啡。）
阳光明媚，树影斑驳，两只拟人化的企鹅，戴着 Fashion 的墨镜，舒服地坐在沙滩椅上晒着日光浴，时不时还唠上两句磕儿。
（Prompt：动画风格，两只拟人化的企鹅，戴着墨镜，坐在沙滩椅上晒太阳。）
两只卡哇伊的毛绒小怪物，摇头晃脑地跳着舞，画风有种迪士尼的感觉。
豆包视频模型对于细节的把握也是相当到位，比如小怪物晃动身体时，头上的毛发也会随之起舞等。
（Prompt：两只毛茸茸的微型可爱怪物，正在跳舞，3D 渲染，Octane，柔和的照明，梦幻般的散景效果，电影感。）
皮卡丘晃动着尾巴，和哆啦 A 梦玩亲亲，细节层次丰富，光影随着主体运动而变化，大幅提升画面视觉审美。
（Prompt：皮卡丘和哆啦A梦开心地跳着，然后拥抱在一起。）
不仅如此，我们还可以拿它制作广告大片。
例如，先通过即梦的文生图功能，搞出一张香水的商品图。
然后再通过图生视频功能，输入 Prompt：蓝色的烟雾缓缓升起。
效果如下：
大家觉得豆包视频生成模型水平咋样呢？来评论区聊聊吧。
#在深度学习中，是否应该打破正负样本1:1的迷信思想？
正负样本的比例并不是唯一决定任务难度的因素。
在深度学习中，样本不均衡普遍被认为是数据集中不同类别的样本数量不等。特别地，当训练集和测试集的类别分布不匹配时，采用处理样本不均衡的策略显得尤为重要。
然而，当训练集和测试集分布匹配，但是正负样本比例仍然是悬殊的，这种情况下是否有必要再引入处理不平衡样本的策略？例如，在自然科学领域，如预测药物与靶点结合（即正负样本）的场景中，实际情况往往是正负样本本身不均衡的。在这种情况下，使用过采样等技术人为使训练集中的正负样本比例达到 1:1 是否合理？
笔者做过相当长一段时间的不平衡/长尾问题，上述内容对两个问题答案的假设一对一错。
- Q：是否应该打破正负样本 1:1 的迷信思想？
A：是的，类别不平衡的比例只是表象，并非本质。 - Q：当训练集和测试集分布匹配，但正负样本比例仍然悬殊，是否有必要再引入处理不平衡样本的策略？
A：通常需要，除非你只关心 overall accuracy，但这意味着你几乎不关心模型分类少数类的能力。
长话短说，正负样本并不需要是 1:1，因为类别不平衡的比例一直只是表象，问题的本质从来都是如何帮助模型对每个类（尤其是少数类）都学习到合理的表示。 而后者和正负样本比例之间并没有直接的关系。
理论上如果任务足够简单（如完全线性可分，且满足 train/test i.i.d），那么无论正负样本比例多悬殊，模型都能够对测试数据进行完美分类。，当然这只对一些直接使用全量数据学习的模型成立，比如决策树、SVM 等。在实际中训练 NN 需要进行 batch-wise 的随机梯度下降训练，连续多个 batch 都只有来自负类的数据会让模型很快收敛到一个 local optimal solution，将所有数据全部预测为负类。
因此出现了其他答案所提到的一些经验结果（如 1:10 等比例），这些比例应该是在特定场景下能够避免模型训练过程 collapse 的比例。
具体在特定场景下，采用什么正负比例还是需要根据实际的 task、model，和 metric 决定。我不认为这个问题存在一个可以解决一切的 magic number。
为什么正负样本比例不一定重要：一个 toy example
见下图，用一个 toy example 就可以从直觉上解释为什么正负样本的比例并不是唯一决定任务难度的因素。
▲ 从左到右：类别比例（imbalance ratio/IR）逐渐增长。第一行：一个线性可分的简单任务。第二行：一个相对困难的复杂任务。
如果任务很简单（如上图第一行的数据分布，线性可分） ，那么即便有很悬殊的正负样本数量比例（如最右侧，正负样本 1:100），也不影响模型可以直接在原始数据上学习得到一个完美的分类边界，并实现 0 错误率：见下图第一行，即使 IR=100 模型也可以实现 0 分类错误（分类错误的 sample 由红色表示）。
而如果任务本身就很困难（如上图第二行，不同类别的 underlying distribution 有较大 overlap 且在 feature space 中有复杂的 pattern），那么即便正负样本比例差距不大，同样的模型也很难学到合理的边界（见下图第二行）。
▲ 第一列：任务示例。第二/三列：KNN/AdaBoost 分类器在每个任务上的结果。红色的点被误分类。
更多的讨论请见我们的 ICDE‘20 论文：https://zhuanlan.zhihu.com/p/86891438
A：通常需要，除非你只关心 overall accuracy，但这意味着你几乎不关心模型分类少数类的能力。
如上所述，如果两类样本数量悬殊且不做任何处理，模型会连续很多 batch 都只遇到来自负类的样本，这容易使其收敛到 trivial solution。将所有样本预测为负类的 trivial solution 会有很高的 overall accuracy（例如正负比 1:10000，那其 acc=99.99%）。
但通常我们都更加关心少数类样本（positive cases，例如医疗诊断中的病人、欺诈/攻击检测中的恶意用户等）并使用 balanced accuracy，macro-f1 等 metric。优化这些更加合理的 metric 就需要引入处理不平衡样本的策略。
重新采样改变正负样本比例只是其中一种从数据出发的方式。 我开发的 imbens package 实现了为类别不平衡设计的十几种重采样技术与 ensemble 学习方法，具有与 sklearn-style 的易用 API 设计和详细的文档及示例，并已在 github 收获近 300 星，每月下载逾 2000 次：
https://github.com/ZhiningLiu1998/imbalanced-ensemble
https://zhuanlan.zhihu.com/p/376572330
▲ 一些 IMBENS 官方文档中提供的使用示例
▲ IMBENS Github Page Shot
在重采样之余，处理深度学习的不平衡有很多从其他方面入手的经典例子：
- 类别重加权： Class-Balanced Loss Based on Effective Number of Samples（CVPR 2019）
- 难例挖掘： Focal loss for dense object detection（ICCV 2017）
- margin-based loss： Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss（NIPS 2019）
- meta-learning 自动学习加权/采样策略：
- MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler（NeurIPS 2020）
- Meta-weight-net: Learning an explicit mapping for sample weighting（NIPS 2019）
- 设计特殊模型架构： BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition（CVPR 2020）
- 改变训练过程/策略： Decoupling Representation and Classifier for Long-tailed Recognition（ICLR 2020）
- 后验概率校正： Posterior Re-calibration for Imbalanced Datasets（NeurIPS 2020）
更多相关的技术和论文，请见我们的 awesome-imbalanced-learning 项目，已在 github 上收获逾 1.3k 星：
https://github.com/ZhiningLiu1998/awesome-imbalanced-learning
https://zhuanlan.zhihu.com/p/111460698
#ASI几年内降临，人类奇点将至
就在刚刚，奥特曼罕见发表长文，预言ASI将在「几千天内」降临！他肯定，深度学习已经奏效了，它能够真正学习任何数据的分布模式。如今人类奇点已经近在咫尺，我们眼看着就要迈进ASI的大门！
就在刚刚，Sam Altman罕见发表一篇名为「智能时代」的长文博客，暗示超级人工智能（ASI）可能在「几千天内」实现。
一千天大约相当于2.7年，这比此前大多数专家预测的五年时间，可能要早得多。
显然，奥特曼对于AI驱动的未来具有良好的愿景，比大多数人都更笃信AI发展的速度。
在他看来，「深度学习是卓有成效的」。
我们可以根据其训练数据，泛化一系列领域和困难问题集，从而能够「搞定各种难题」，比如「解决气候问题、建立太空基地、揭示所有物理学奥秘」等等。
这就像是人类发现一种算法，它能够真正学习任何数据的分布模式，或者说，产生任何数据分布底层「规则」。令人震惊的是，随着算力、数据增加，深度学习帮助人类解决难题方面的能力，就会变得越强。我发现，无论我花费多少时间来思考这个问题，我都无法真正理解它的重要性。
奥特曼大胆预言：超级智能几千天内到达
在去年12月，OpenAI曾发表过这样一篇论文，将超级智能定义为「比人类聪明得多的人工智能」。
论文地址：https://cdn.openai.com/papers/weak-to-strong-generalization.pdf
仅仅过了一年，奥特曼就已经对此有了更为乐观的预期。
这可能会成为迄今为止人类历史上最具深远影响的事实。我们有可能在短短几年（几千天）内就开发出超越人类的人工智能！虽然可能需要更长时间，但我坚信我们终将实现这一目标。
网友们很快抓住全文重点——深度学习，有用！
也有网友表示，几千天快则3年，慢则10年。「我走过最长的路，就是奥特曼的套路。」
而其他AI大佬对超级人工智能出现的时间，也有类似的预测。
6月份出走创业的Ilya Sutskever，初创公司名为Safe Superintelligence（SSI）。当时他的声明是：「超级智能触手可及」。
不过，Ilya并没有给出具体的时间线。
同Ilya一样，软银CEO孙正义也相信超级智能。
他曾表示，AI「将在10年内比人类聪明一万倍」。并且声称，实现ASI现在是他的人生使命。
Hinton相信，我们会在五年内看到AGI。
谷歌首席研究员Ray Kurzweil预测，AGI将在2029年到来。
总的来说，相当多专家相信，ASI或AGI将在五年内实现。
当然，也有对此泼冷水的人。
NYU教授马库斯就表示，如果我们继续深度学习和语言模型的路线，将永远无法实现AGI，更遑论ASI了。
因为这些技术存在缺陷，相对薄弱，只有通过更多的数据和算力，才能取得进步。
华盛顿大学计算机科学教授、《终极算法》作者Pedro Domingos也认为，ASI只是一个白日梦。
最近，在一项标准化门萨智商测试中，AI模型首次显著超过了人类智商的中位数——100。
位于峰值的，就是智商得分为120的OpenAI o1。
这是否意味着AI已经超越了大多数人类的智商？
令人遗憾的是，进行测试的记者Maxim Lott随后创建了一个自定义智商测试，试题不包含任何训练数据。这次，OpenAI o1离线智商测试的结果是，IQ为95。
当然，这个分数仍然击败了37%的成年人。
考虑到这一年来AI进步的飞速，奥特曼的推测，不无道理。
当然，奥特曼也承认，我们离AI被广泛使用的世界还有几个障碍，比如需要先进芯片，和降低计算成本。
他甚至暗示，如果不建设基础设施来支持AI的发展，「AI能将成为一种非常有限的资源，引发战争，主要变成富人的工具。」
奥特曼也提到了因AI导致的失业问题，这是科技泡沫外的许多人，对AI最大的恐惧。
他只能说：AI影响下的劳动力将发生好的和坏的变化，但人们永远不会无事可做。
这不会是一个十全十美的故事，但其潜在的巨大好处让我们不得不为了自己和未来的利益，想方设法去应对眼前的风险。
但有网友猜测，这篇文章或许只是OpenAI获得下一轮融资的方式。
很快，OpenAI就会获得6-6.5亿美元的融资，而估值也将到达1500亿。
有趣的是，奥特曼选择在自己个人网站而非OpenAI官网上发布这一消息，或许这表明此文更像是他的个人观点，并非公司的官方路线。
马库斯则针对奥特曼的文章进行了「红字攻击」，将其称为一篇「营销文」，而非有科学论据的文章。
The Intelligence Age：智能时代
在接下来的几十年里，我们将能做到在我们祖辈看来，如同魔法般的事情。
这种现象并非是新鲜事物，但它将会加速发展。随着时间的推移，人类的能力不断提升；我们现在已经能够完成我们的前人认为不可能完成的事情。
我们之所以变得更有能力，并非源于基因进化，而是受益于社会基础设施，这远比我们任何一个人更聪明、更有能力。
从某种重要意义上说，社会本身就是一种高级智能的体现。
我们的祖父母——以及他们之前的几代人——创造并实现了伟大的事业。他们为人类的进步搭建了一座坚实的阶梯，而我们从中受益。
AI将为人们提供解决难题的工具，帮助我们在这座进步阶梯上，添加新的支柱，这些都是我们靠自己无法想象出来的。
进步的故事还将继续，我们的下一代必将能够完成我们当前无法企及的事业。
虽然这不会一蹴而就，但我们很快就能与AI协作，完成比没有AI时多得多的事情。
最终，每个人都可以拥有一个私人AI团队，由各领域的虚拟专家团队组成，共同帮助我们实现各种想象。
我们的孩子将拥有AI辅导老师，可以用任何语言，以任何速度，提供任何学科的个性化教学。我们可以想象类似的理念应用于更优质的医疗服务、开发各种软件等等。
有了这些新的技术能力，我们可以实现在今天看来不可思议的共同富裕。
在未来，所有人的生活水平都可能超越当今任何人所能达到的高度。仅仅是物质富裕并不一定能让人快乐——世上不乏痛苦的富人——但它确实能显著提高全世界人民的生活质量。
这是一种看待人类历史的独特角度：经过数千年科学发现和技术进步的不断积累，我们已经掌握了如何熔炼沙子，添加一些杂质，在极其微小的尺度上以惊人的精密度将其排列成计算机芯片，通电，最终得到能够创造越来越强大AI的系统。
这可能会成为迄今为止，人类历史上最具深远影响的事实。
我们有可能在短短几年（几千天）内就开发出超越人类的人工智能！虽然可能需要更长时间，但我坚信我们终将实现这一目标。
我们进入下一次超级智能时代的钥匙是什么？
Altman用三个字总结：deep learning worked。（深度学习成功了）
再用15个词来概括：deep learning worked, got predictably better with scale, and we dedicated increasing resources to it。（深度学习成功了，随着规模扩大而预测能力变得更好，我们投入了越来越多的资源）
这就像是人类发现一种算法，能够真正学习任何数据分布模式，或者说，产生任何数据分布底层「规则」。
令人震惊的是，随着算力、数据增加，深度学习帮助人类解决难题方面的能力，就会变得越强。
我发现，无论我花费多少时间来思考这个问题，都无法真正理解它的重要性。
我们仍还有许多细节需要解决，但如果被某个特定挑战，而分散注意力是不明智的。深度学习卓有成效，我们终将解决剩下的问题。
关于未来可能发生的事情，我们有很多可以讨论的，但最主要的一点是：AI将随着规模的扩大而不断进步，这将为全球人类生活带来实质性的改善。
AI模型即将成为我们的自主个人助理，能够代表我们执行特定任务，例如为你协调医疗服务。
在不久的将来，AI系统将变得更加强大，不仅能开发出更优秀的下一代系统，还能在各个科学领域取得突破性进展。
科技的发展推动人类社会从石器时代迈入农业时代，继而跨入工业时代。
如今，我们正站在新的起点上，通往智能时代的道路就在眼前，而算力、能源和人类的坚定意志，正是铺就这条道路的三大基石。
要想让更多人用上AI，我们就必须想方设法降低计算成本，让计算资源变得唾手可得（这需要海量的能源和芯片）。
如果我们不努力建设足够的基础设施，AI就会变成稀缺资源，甚至可能引发战争，最终沦为少数富人的工具。
我们必须谨慎但坚定地采取行动。AI时代的到来是一个具有里程碑意义的发展，面临着极其复杂且风险巨大的挑战。
虽然这不会是一个十全十美的故事，但其潜在的巨大好处让我们不得不为了自己和未来的利益，想方设法去应对眼前的风险。
我坚信，未来将会无比光明，现在任何人都难以用文字准确描绘它的模样；AI时代的一大显著特征就是会带来空前的繁荣昌盛。
尽管这将是渐进的过程，但诸如「解决气候问题、建立太空基地、揭示所有物理学奥秘」这类令人惊叹的成果，最终将变得司空见惯。
有了近乎无限的智能和丰富的能源，我们将拥有产生伟大想法，以及实现这些想法的能力。
正如我们在其他技术中所看到的那样，AI也会有缺点，我们需要从现在开始努力，以最大限度地发挥AI的优势，同时将其负面影响降到最低。
比如说，我们预计这项技术在未来几年可能会对就业市场造成重大变化（既有好的，也有坏的），但大多数工作岗位的变化速度会比大多数人想象的要慢，我并不担心我们会无事可做（即使这些事情在今天看来可能不像「真正的工作」）。
人类有一种与生俱来的创造欲，以及互帮互助的愿望，AI将让我们以前所未有的方式增强自身能力。作为一个社会，我们将重新进入一个不断发展的世界，我们可以再次专注于进行正和博弈。
我们今天所做的许多工作在几百年前的人看来可能只是无关紧要的，但现在没有人回顾过去，希望自己是个点灯人。
如果一个点灯人能看到今天的世界，他会觉得周围的繁荣简直难以想象。
同样，如果我们能够从今天快进一百年，我们也会对周围的繁荣感到同样无法想象。
参考资料：
#一群最懂数据的人如何让AI真正无处不在？
三年走来，每一步都「作数」。
懂场景者得 AI
短短一年多，全国已有 197 个 AI 大模型完成备案，行业大模型占比近 70%。伴随这一快速增长的趋势，一个现实问题不容忽视，如果不能和普通商家的现实需求紧密结合，大模型体验再好，也无法帮助大模型厂商自动完成商业闭环：
扎堆商场一楼的新能源车销量大不如前 ，如何让高昂租金的产出性价比更高？
某大型服装厂的数据表累积超过 3 亿多行，如果提炼不出价值，就只是成本；
因为数字转型做得早，一堆业务系统竖起的数据「烟囱」让某乳业大品牌进退维谷；
答非所问、反应滞后、人工客服难找，智能客服一直在挑战人的血压极限；
.......
算法是智力，算力是体力，数据是血液，「但让 AI 真正飞入寻常百姓家的关键，在于与具体场景的深度融合。」9 月 20 日，瓴羊智能科技（以下简称瓴羊）在 2024 云栖大会上举办了「 Data×AI ：企业服务智能化，价值增长新动能」专场论坛，阿里巴巴集团副总裁、瓴羊智能科技 CEO 朋新宇在论坛发言中说道，归纳成公式就是「（无处不在的）AI =（算法+算力+数据）x 场景」。
「 x 」强调了两边元素的放大作用，一个是指 AI 带来的体验提升，至少要 10 倍好于过去，不然就只是一个外挂。另一面，即使拥有先进算法、强大算力和海量数据，如果不能与具体业务场景紧密结合，AI 价值也无从谈起。
瓴羊，作为阿里巴巴的全资子公司，今年迎来了它的第四个年头。看起来「年轻」，实际上资历很深，集合了阿里最懂数据的一群人，其中带头者朋新宇已经是一个在阿里工作了 20 年的数据老将，也是阿里巴巴数据中台的创立者。
瓴羊专注数据要素服务，推出了五大产品矩阵，覆盖了从底层数据治理到顶层业务应用的数据生命全周期。
最引人注目的是应用侧 ，分析（Quick BI）、营销（Quick Audience）和客服（Quick Service）三款产品涉及所有企业应用的「最大公约数」 ，也是企业预算最多、最易沉淀数据并与 AI 产生「 化反」 的业务场景。
第二层是数据侧，包括数据中台 Dataphin 和「瓴羊港」。前者负责企业数据治理工作，确保数据的质量、一致性和可用性，也容易与 AI 结合。后者像是管道，专注数据在企业外部的高效流通，为整个生态提供源源不断的数据活水。
至于基建侧，瓴羊定位自己是一家产品公司，因此年初看到 OpenAI 推出 GPTStore 时，团队没有太过纠结就做出决定，不去跟风「卷」大模型，坚定应用好大模型。
他们选择阿里通义千问作为通用底座，结合专业知识和行业数据，「炼出」不同领域的垂直小模型（如 BI 领域模型），将大模型能力「揉进」几款产品（Quick BI、Quick Audience、Quick Service 和 Dataphin），直接为客户创造价值。
商业智能（BI）工具是每一个迈向 AI 时代商家的标配，BI 技术也从传统 BI、敏捷 BI 逐渐进化到智能化 BI。敏捷 BI 时代，用户可以通过拖拽、点击更直观地与数据交互，随着大模型为 BI 引入革新性生成式分析体验，智能化 BI （如瓴羊 Quick BI ）时代，原本高门槛的数据分析变得像对话一样简单。
智能问数（ChatBI）就是一个颇具代表性的例子，体现出自然语言到 SQL 的技术转换。该功能支持即席查询、覆盖关键问数场景，在复杂计算的兼容性、模糊语义识别方面，表现尤为优异，即使毫无技术背景，用户也能轻松对「数据」发问。
如电商平台销售场景中，想了解销售额大于1万的省份这类问题，就体现了智能问数（ChatBI）二次复杂计算能力
对于模糊语义的识别，当前智能问数（ChatBI）也能轻松识别并理解。如提问中「小郑」定位到「郑强」。
这种智能化的 BI 工具正在解决实际业务中的痛点。以某知名乳业品牌为例，其供应链管理面临两大难题。
一个是查询数据报表的灵活不足，固定报表一般按天甚至月计，满足不了灵活多变的业务需求。求数据开发人员，要等三天才能拿到报表。
另一个是人工报表搭建周期长，成本高，导致异常诊断分析复杂，缺乏多维度目标差异比对分析，「看板」只展示数据，还不能自动分析问题原因。
Quick BI 帮助客户在内部建立起智能问数体系，支持自然语言问询，无论是日常工作、业务会议还是出差途中，业务人员都能快速获取数据、检索资产，还能进行丰富的指标分析。
由于结合了传统统计算法和大模型，Quick BI 可以深度解读图表和补全信息，揭示业务数据背后故事，高效定位原因，真正辅助商家作出决策。
而在营销领域，随着移动互联网用户和流量见顶，企业相关预算分配更加谨慎，从「种草」走向「转化」，更看重 「确定性机会」。
以某床垫品牌为例，线上渠道有 9 个，线下门店多达 5600 多家，如何定位「正确的人、在正确时间，说正确的话」，提升转化率？「双 11 」大促，用什么办法激活老会员复购？不少商家苦于平台「沉睡人群」即将流失，却无有效抓手叫醒他们。
现在借助大模型，瓴羊 Quick Audience 的「门店智能营销助手」 可以快速「圈定」目标用户，缩短营销创意时间，并优化沟通时机，显著提高触达率。
例如，某知名服饰品牌天猫平台的「沉睡人群」即将流失，商家借助 Quick Audience 迅速「圈定」北京、上海、广州共 42 家门店 5 公里内常驻或工作的「沉睡人群」，在预测设备活跃时刻推送瓴羊超信，实现目标人群的线下门店召回，到店率提升 18% ，线下转化率提升 35% ，全渠道转化率提升 40% 。
而 Quick Audience 的另一个新功能「智能采集分析助手」成功将数据团队从数据采集（「埋点」）这种典型的 dirty-work 中解放出来，以全自动、可配置的方式，一站式完成埋点采集及业务分析应用。
某头部车企，供应商采集埋点开发成本高，周期长，质量把控困难，通过使用智能埋点助手，节约供应商埋点开发人力采购成本 9 成，项目实施周期缩短 50% ，埋点相关数据故障降为 0 。
瓴羊DaaS
，赞5
除了分析、营销场景，当前，智能客服也存在诸多不足，如常常答非所问、维护知识库仍靠人海战术、一线客服效率低下，导致客户投诉频发。为此，瓴羊 Quick Service 2.0 借力大模型，有效解决了这些不足。从效果上看，解答准确率提升至 93% ，人工客服处理问题所需时间从 10 分钟缩短至最快 5 秒，知识库部署所需时间从 7 天缩短至 5 分钟。
除了利用 AI 大模型重构分析、营销、客服三大企业级智能应用，负责数据治理的中台 Dataphin 也迎来最大变化—— 加入了 DataAgent 。现在，只需三步，就可以构建企业专属的数据资产智能体，这也是业内首个场景化智能找数方案。
建立企业数据资产全景和目录是 Dataphin 主要能力之一，现在，借助大模型，将企业数据资产目录构建为一个智能知识库，通过对话就能快速摸清「家底」，还能帮助用户快速定位业务相关数据资产。在个性化数据分析能力上，现在可辅助自动生成 SQL 代码，可链接即席查询和 BI 分析执行看数。
其实，在瓴羊成立之初， Dataphin 就已经经过阿里巴巴和众多企业的实践磨砺，被成百上千的客户应用，它的诞生直指当前中国企业在数字化转型过程中面临的首要挑战：数据「脏乱差」。
如台州银行在数智化升级之前，存在数据标准缺失、指标口径不统一、缺失统一清晰的数据资产盘点等问题。类似的问题也出现在其他行业，如某大型服装企业的营收金额统计，需要计入商场扣点、财务扣税等因素，因为各渠道数据口径不统一，每日的营收数据竟会出现高达数十万元的偏差。被企业视为经营压舱石的「四率二效」指标也因流程不规范，掺杂了各利益方的主观意愿。
而 Dataphin 通过标准化数据处理流程，统一数据口径，并提供全面的数据资产管理，帮助企业建立起可靠、一致的数据基础，为数字化转型铺平道路。Dataphin 最初源于阿里这个「超级工厂」的实践经验，因此在推广初期，瓴羊主要将其引荐给了与阿里规模相当的大型客户。
为了让更多企业能够用上好的数据工具，治理好数据，瓴羊针对性地进行了一系列改进，如针对私有化部署高成本和公共云标准化限制的痛点，Dataphin 通过重构治理方式，提供半托管服务，将部署时间从几天缩短到 1 小时，同时保持了个性化服务。
过去两年，瓴羊在数据领域取得了显著进展，不仅针对数据治理这一企业常见难题持续迭代升级 Dataphin 产品，还针对数据数量和流通这一更具挑战性的问题，推出了数据流通枢纽——瓴羊港。
数据不仅具有使用价值，还蕴含着巨大的交易价值。然而，如何让数据像淘宝上的标品一样高效流通，成为了一个亟待解决的问题。恰逢其时，2023 年 10 月 25 日，国家数据局正式揭牌，为数据流通提供了政策支持。「以数据促进融合发展」成为这家新机构的核心思想之一，而数据流通正是破解数实融合发展堵点的关键。
朋新宇敏锐地观察到，相比于前几年出于安全考虑而「踩刹车」的政策导向，国家数据局的成立有望起到数据「发动机」的作用，驱动企业间的数据流通。顺应这一趋势，瓴羊在 2023 年云栖大会上推出了瓴羊港，旨在破解企业长期面临的数据缺失、数据资产难以管理、外部数据无法融通等关键问题，提供「寻、买、管、用」一站式数据服务，帮助企业实现数据驱动的业务增长。
瓴羊港发布近一年，已达成和 30 多家头部数据方的紧密合作，目前平台上流通的应用场景和行业标签多达 3000 多种。
2022 年爆发的 AGI 革命无疑是计算机科学的又一次重大创新，标志着第四次工业革命的开端。在这场革命中，数据的规模、多样性和质量的战略重要性被提升到了前所未有的高度。
十余年前，阿里云抓住了云计算的技术浪潮。如今，瓴羊又踏上了数据要素浪潮。成立之初，瓴羊就明确将自身定位为 DaaS（数据即服务）公司，与传统 SaaS 公司划清界限：
SaaS 主要通过工作流程标准化来提高企业运营效率，解决的是效率问题。而 DaaS 则通过数据流的全场景应用，将数据价值渗透到企业经营的方方面面，致力于解决更深层次的业务价值问题。
面对未来十年的机遇与挑战，瓴羊如何才能领头羊群，成为海量商家生意增长的数智化参谋？朋新宇引用了团队内部坚信的价值观作答，不论是过去的互联网，今天的 AI ，还是未来的新兴技术，要真正落地到产业和企业，必须做到三点：
你要「快」，但「快」——很快看一篇论文、发表一篇论文，不一定解决所有问题；同时，你要「深」，深入理解行业痛点，要问客户能不能用？第三，客户要「认」，赢得客户的好口碑，前面的「快」和「深」才有价值。
#LLM仍然不能规划
实验证明，大模型的 System 2 能力还有待开发。
规划行动方案以实现所需状态的能力一直被认为是智能体的核心能力。随着大型语言模型（LLM）的出现，人们对 LLM 是否具有这种规划能力产生了极大的兴趣。
最近，OpenAI 发布了 o1 模型，一举创造了很多历史记录。o1 模型拥有真正的通用推理能力。在一系列高难基准测试中展现出了超强实力，相比 GPT-4o 有巨大提升，让大模型的上限从「没法看」直接上升到优秀水平，不专门训练直接数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。
那么，o1 模型是否具备上述规划能力？
2022 年，来自亚利桑那州立大学（ASU）的研究团队开发了评估 LLM 规划能力的基准 ——PlanBench。现在，亚利桑那州立大学研究团队全面审视了当前 LLM 在 PlanBench 上的表现，包括 o1 模型。值得注意的是，虽然 o1 在基准测试上性能超过了竞争对手，但它还远未达到饱和状态。
- 论文标题：LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench
- 论文地址：https://arxiv.org/pdf/2409.13373
SOTA 性能的 LLM 仍然不会规划
对于 vanilla LLM（通过 RLHF 微调的 Transformer 模型）来说，PlanBench 基准仍然充满挑战，即使在最简单的测试集上，模型表现也不佳。
下表为当前和前一代 LLM 的结果，测试领域包括 Blocksworld 和 Mystery Blocksworld（混淆版本），其中前者是在 600 个 3 到 5 个 block Blocksworld 问题静态测试集上运行的结果，后者是在 600 个语义相同但语法混淆的实例（称之为 Mystery Blocksworld）上的运行结果。
在这些模型中，LLaMA 3.1 405B 在常规 Blocksworld 测试中表现最佳，准确率达到 62.6%。然而模型在 Mystery Blocksworld 的表现却远远落后——没有一个 LLM 在测试集上达到 5%，并且在一个领域上的性能并不能清楚地预测另一个领域的性能。
这种结果揭示了 LLM 本质上仍是近似检索系统。
更进一步的，作者测试了自然语言提示和 PDDL，发现 vanilla 语言模型在前者上的表现更好。
作者还发现，与之前的说法相反，one-shot 提示并不是对 zero-shot 的严格改进。这在对 LLaMA 系列模型的测试中最为明显。
值得注意的是，基准测试的原始迭代没有考虑效率，因为 vanilla LLM 生成某些输出所花费的时间仅取决于该输出的长度，而与实例的语义内容或难度无关。不过作者也对各个模型的提示成本进行了比较，如表格 4 所示。
从近似检索到近似推理：评估 o1
标准自回归 LLM 通过近似检索生成输出，但这些模型面临一个问题，即在 System 1 任务中表现出色，但在对规划任务至关重要的类似 System 2 的近似推理能力上表现不佳。whao开发板商城测试设备进行测试
回顾之前的研究，从 LLM 中获取可靠规划能力的最佳方法是将它们与生成测试框架中的外部验证器配对，即所谓的 LLM-Modulo 系统。o1 尝试以不同的方式为底层 LLM 补充类似 System 2 的能力。
据了解，o1 是将底层 LLM（很可能是经过修改的 GPT-4o）结合到 RL 训练的系统中，该系统可指导私有 CoT 推理轨迹的创建、管理和最终选择。但是目前确切的细节很少，因此只能推测其确切机制。
作者猜测 o1 和 LLM 之间有两个主要区别：一个额外的强化学习预训练阶段和一个新的自适应扩展推理程序。无论如何，从现有细节可以看出，该模型在本质上与以前的 LLM 根本不同。
在原始测试集上评估 LRM：作者在静态 PlanBench 测试集上测试了 o1-preview 和 o1-mini，结果如表 2 所示。其中，600 个 Blocksworld 实例范围从 3 到 5 个 block 不等，需要 2 到 16 个 step 的规划才能解决。
结果显示，o1 正确回答了 97.8% 的这些实例，但在 Mystery Blocksworld 上，o1 没有保持这种性能，但也远远超过了以前的模型，正确回答了 52.8% 的实例。
标准 LLM CoT 提示方法很脆弱，无法随着问题规模的扩大而稳健地扩展。作者在一组较大的 Blocksworld 问题上测试了这些模型（见图 3）。此集合中的问题长度从 6 到 20 个 block 不等，需要 20 到 40 step 的最佳规划。
作者发现模型性能从之前报告的 97.8% 迅速下降。事实上，在这组实例中，o1-preview 仅实现了 23.63% 的准确率。可以看出虽然这些模型总体上令人印象深刻，但这表明它们的性能仍然远不够稳健。
在不可解决实例上的性能：接着作者修改了测试集中的一些实例，结果如表 3 所示。在 Blocksworld 上，只有 27% 的实例被 o1 正确且明确地识别为无法解决。在所有案例中，有 19% 的模型返回一个点或「empty plan」标记，没有任何解释或指示无法解决。在其余 54% 的案例中，模型生成了一个完整的规划。
在随机 Mystery Blocksworld 上，这些数字更糟：16% 的案例被正确识别为无法解决，5% 返回了一个「empty plan」，其余 79% 的案例得到了完整规划的回答。
准确率 / 成本权衡与保证
研究团队发现：o1-preview 似乎在每个问题使用的推理 token 数量方面受到限制。如果 o1 的正式版本消除了这一限制，可能会提高整体准确性，但也可能导致更不可预测（甚至高得离谱）的推理成本。o1-mini 虽然更便宜，但通常性能较差。
#MemGPT
他们提供的技术，或许会彻底改变人工智能行业。
本周一，创业公司 Letta 面世的消息引发了人们的关注，它提供的技术可以帮助 AI 模型记住用户和对话。
Letta 成立于加州大学伯克利分校（UC Berkeley）著名的实验室创业工厂，并已宣布获得了由 Felicis 的 Astasia Myers 领投的 1000 万美元种子资金，本轮估值为 7000 万美元。
Letta 还得到了人工智能领域一系列天使投资人的支持，其中包括谷歌的 Jeff Dean、Hugging Face 的 Clem Delangue、Runway 的 Cristóbal Valenzuela 和 Anyscale 的 Robert Nishihara 等。
这家由伯克利博士生 Sarah Wooders 和 Charles Packer 创立的 AI 初创公司备受期待，它是伯克利 Sky Computing Lab 的子公司，也是广受欢迎的 MemGPT 开源项目的商业实体。
GitHub 链接：https://github.com/cpacker/MemGPT
伯克利的 Sky Computing Lab 由著名教授兼 Databricks 联合创始人 Ion Stoica 领导，是 RISELab 和 AMPLab 的接班人，后两个实验室催生了 Anyscale、Databricks 和 SiFive 等公司。尤其是 Sky Lab，它催生了许多流行的开源大型语言模型（LLM）项目，例如 Gorilla LLM、vLLM 和 LLM 结构化语言 SGLang。
「在不到一年时间里，实验室很快就诞生了大量项目。他们就是坐在我旁边的那些人，」Wooders 描述道。「那真是一段不可思议的时光。」
MemGPT 也是这样一个项目，不过它的热门程度很高，以至于还没宣传就火出圈了。
项目的创建者于 2023 年 10 月 12 日周四发布了一份白皮书，并计划在接下来的星期一将更深入的论文和代码发布到 GitHub 上。但有人偶然发现了这篇论文，并于周日将其发布到 Hacker News 上。Packer 表示，它「在我们有机会正式发布代码、论文或发布推文介绍之前就在 Hacker News 上火了，」他说。
项目主页：https://memgpt.ai/
MemGPT 令人兴奋的原因在于 —— 它的目标是解决大语言模型（LLM）的一个痛点：在其原生形式中，像 GPT-4 这样的模型是无状态的，这意味着它们不会将历史数据存储在长期记忆中。
这对于需要随着时间推移逐渐了解和学习用户的 AI 应用来说是个大问题 —— 从客户支持机器人到医疗保健症状跟踪应用，很多潜在的 AI 应用需要我们让大模型拥有「长期记忆」。而 MemGPT 管理数据和内存，以便大模型 Agent 和聊天机器人能够记住以前的用户和对话。
Packer 回忆说，MemGPT 论文的帖子在 Y Combinator 运营的网站 Hacker News 首页上停留了 48 小时，他花了几天时间在网站上回答问题，同时准备发布代码。MemGPT 项目在 GitHub 上发布后，其链接再次在 Hacker News 上疯传。YouTube 上的采访和教程、Medium 帖子、1.1 万个星标和 1.2K 个 Fork 迅速涌现。
VC Felicis 的 Myers 也在阅读有关 MemGPT 的文章时发现了 Wooders 和 Packer，并立即意识到该技术的商业潜力。
「我在论文发布时就看到了它，」她表示，并立即联系了项目团队。「我们的投资主题是围绕人工智能智能体基础设施，并且意识到其中一个非常重要的组成部分是数据和内存管理，以使这些对话聊天机器人和智能体有效。」
在找到最先看中他们的那家公司之前，MemGPT 团队仍然在 Sand Hill Road 四处游荡，通过 Zoom 与风投公司进行通话。
与此同时，Stoica 还帮助公司结识了 Jeff Dean、Robert Nishihara 和其他知名的硅谷天使投资人。Packer 回忆说，天使投资的过程异常简单：「伯克利的许多教授由于在本地工作，所以人脉很广。他们都很关注这个实验室即将商业化的项目。」
竞争和 OpenAI o1 的威胁
虽然 MemGPT 去年就已投入使用，但 Letta 的商业版本 Letta Cloud 尚未开放。截至周一，Letta 正在接受测试版用户的请求。它将提供托管代理服务，允许开发人员在云平台上部署和运行有状态智能体，可通过 REST API（一种可以维护状态的编程接口）访问。Letta Cloud 将存储这样做所需的长期数据。Letta 还将提供用于构建 AI 智能体的开发人员工具。
Wooders 看到了 MemGPT 的广泛用途。「我们看到的头号用例是高度个性化、非常吸引人的聊天机器人，」她说。但也有前沿用途，如「癌症患者的聊天机器人」，患者上传他们的病史，然后分享持续的症状，这样 AI 就可以学习并随着时间的推移提供指导。
值得注意的是，MemGPT 并不是唯一一家致力于此的公司。LangChain 可能是其最知名的竞争对手，它已经提供了商业选项。大模型的龙头公司也在提供智能体工具，例如 OpenAI 的 Assistants API。
OpenAI 的 o1 新模型可能会让用户不再需要修复状态。由于它是一个多步骤模型，因此它从根本上必须在一定程度上保持状态，以便在回复之前「思考」和核实事实。
但 Wooders、Packer 和 Myers 认为 Letta 提供的产品与 OpenAI 存在一些关键差异。Letta 声称它可以与任何 AI 模型配合使用，并期待其用户使用其中的许多模型：OpenAI、Anthropic、Mistral 以及他们自研的大模型。OpenAI 的技术目前仅适用于其自身。
更重要的是，Letta 正在使用开源 MemGPT 项目，并坚定地站在开源阵营一边，并认为开源是 AI 应用的更好选择。
「我们将自身定位为 OpenAI 的开放替代品，」Packer 说道。「构建最好的 AI 应用是非常困难的事，尤其是当你关心幻觉之类的问题时。」
，时长02:38
参考内容：
#仅通过手机拍照就可以对透明物体进行三维重建
本论文是由中国科学院计算技术研究所、加州大学圣芭芭拉分校和KIRI Innovations的研究人员合作完成。
三维重建是计算机图形学的经典任务，具有很强的使用价值。近年来，诸如神经辐射场的隐式场方法 [1][2][3][4] 正成为重建任务广泛采用的表示。
这些方法能在不需要掩膜等额外输入的情况下，对具有漫反射和光滑反射的场景进行重建。然而，对于具有折射或透明材质的，乃至出现嵌套现象（即透明物体内部还有其他物体，内部物体也可以是透明的）的场景的重建，无论是隐式场方法还是传统方法都难以解决。
诚然，已经有一些工作对透明物体的重建进行探索 [5][6][7]，然而这些工作都不能重建嵌套物体，且他们需要额外的输入信息以减少透明物体的二义性，如掩膜或要求场景在特殊的背景下进行拍摄等。
为解决此问题，中科院计算所高林老师团队、加州大学圣芭芭拉分校闫令琪教授、3D 重建公司 KIRI Innovations 合作提出了一种通过对嵌套透明物体进行重建的方法 NU-NERF《NU-NeRF: Neural Reconstruction of Nested Transparent Objects with Uncontrolled Capture Environment》[8]。
- 项目主页：http://geometrylearning.com/NU-NeRF/
该方法能在不需要额外输入，也不需要特殊捕捉场景的情况下对嵌套透明物体进行重建。该项研究工作已经被 ACM TOG 录用，并将在 SIGGRAPH Asia 2024 报告。
图 1 和图 2 即为 NU-NeRF 对实拍嵌套透明场景的重建效果展示。
，时长00:25
图 1. NU-NeRF 对实拍场景的重建和在新场景中的渲染
图 2. NU-NeRF 对实拍场景与合成场景的重建和在新场景中的渲染
研究目标
塑料、玻璃等透明材质是日常生活中最为常见的材质之一，然而这些材质的重建任务十分具有挑战性。其根本原因是光线在透明材质表面发生折射，从而产生高度不连续的表面颜色，且此颜色十分容易和背景混淆。
为解决此问题，已有工作的基本思路是对问题施加更多约束。早期方法 [9] 施加约束的方法是利用特殊的捕捉设备来捕捉光线的偏振和光程等信息，并利用确定性的算法来进行重建。也有基于计算机视觉和机器学习的方法 [6] 利用预先渲染的大量数据学习从图像中预测透明物体的方法。
近年来基于神经辐射场的方法 [10] 通过在物体后面放置一个具有已知图案的背景来直接得到光线经过折射之后的精确位置，从而利用此先验设计损失函数，进行重建。
然而这些施加约束的方法有两个限制：1）需要额外的捕捉设备、捕捉环境或输入信息（如掩膜等），无法让用户在随机的环境下进行拍摄重建；2）因为在使用先验的过程中假设了光线在物体内部没有遭到遮挡和反射，并只经过两次折射，所以这些方法无法重建嵌套的物体。
针对以上问题，论文作者提出了 NU-NeRF 。它是一种新的嵌套透明物体重建管线。如图 3 所示，NU-NeRF 的输入是以不同视角拍摄同一包含嵌套透明物体的场景的图片，输出则是对该场景内部、外部几何的重建以及一定程度的解耦。重建和解耦结果可以导入渲染软件中（如 Blender 等）进行重新渲染，实现现实物体的数字化。
图 3. NU-NeRF 对不同类型场景的内外重建和重渲染结果
研究方法
NU-NeRF 的管线由两步组成。第一步的目标是重建外层几何。外层几何的重建是至关重要的一步，因为它直接影响了第二步的内层几何质量。其要解决的首要问题就是上述的折射的二义性。
NU-NeRF 解决此问题的方法十分简单：分开建模透明表面的反射和折射。对于其反射颜色进行准确建模，但对其折射颜色直接利用一个 MLP 网络进行预测。这一策略的底层逻辑是，在重建过程中不需要准确建模折射颜色，只需要提供对折射的一个「平均化」估计即可。
第二步的目标是利用重建得到的显式外层几何，在几何内部进行第二次重建。这一步对外层几何进行了显式的光线追踪，并对不同的外层几何类型（区别在于表面厚度是否可忽略）分别进行了建模。
NU-NeRF 的整体框架如图 4 所示。
图 4. NU-NeRF 方法示意图
外层几何重建和光照模型
如图 4 从左到右第二块所示，在外层几何的重建过程中，NU-NeRF 使用了神经渲染方法进行重建。对于神经渲染过程中的每个采样点，采用了基于物理的渲染方式。具体来说就是将表面反射的颜色分为反射和折射，并分别建模它们。
对于反射，NU-NeRF 参考了 NeRO [4] 的建模方法，利用 Split Sum 近似方法将传统渲染方程的光滑反射分为两个不同的积分 L 和 M：
L 和 M 两个积分分别对应光照和材质本身的性质。其中 M 可以通过预计算得到，L 则通过网络预测得到。
在 NU-NeRF 中，除了神经渲染方法中常见的颜色损失和 eikonal 损失之外，还添加了一个损失函数：ilc（入射光一致性，incident light consistency）损失。
此损失的来源是，NU-NeRF 会用一个神经辐射场来近似重建物体之外的场景（如物体放置的桌子，远景等），而入射光一致性损失鼓励 L 中预测得到的光照和该神经辐射场的颜色一致，这样可以改进重建的质量。
如图 4 所示，对于某个采样点处来自方向 ω 的入射光，通过体渲染计算对应方向上的远景颜色，并利用 L2 损失鼓励两者相等。
图 5. 入射光一致性损失示意
对于折射，相比于此前方法复杂的光线追踪过程，NU-NeRF 采用了一个十分简单的策略：直接利用神经网络
进行预测。
此神经网络的输入是采样点的坐标 p 和光线方向 ω，输出是 RGB 颜色。由于神经网络固有的低通滤波性质，其自然输出的就是一个「平均化」的折射颜色。实验结果表明，这个简单的策略能得到较好的结果。
第一步的重建结果样例如图 4 第二块下半部分所示，这一步能重建出准确的外层几何和光照，但由于折射的颜色是由网络直接预测的，所以较为模糊。因此第一步重建结果是无法直接进行新视角合成的。这就是减少二义性的「代价」。
显式光线追踪和内层几何重建
如图 4 从左到右第三块所示，在重建得到外层几何之后，NU-NeRF 进行内层几何的重建。这一步中，将第一步得到的外层几何从隐式场中提取成显式网格并固定。
对于每条神经渲染的采样光线，先对其进行追踪得到和外层几何的交点，并利用折射定律（Snell 定律）计算出其折射到内部的方向。在外层几何内部再进行真正的采样和渲染。请注意，在这个光线追踪过程中，折射率是定义在外层几何上，并且通过网络预测得到的。图 4 中也展示了学习得到的折射率可视化图像，可以看到学习到的折射率的一致性较高。
显式光线追踪过程中对表面的建模
如上节所述，光线追踪过程主要涉及在外层几何表面处的折射计算。然而，Snell 定律只适用于内、外层是两种不同材质的情况。
在现实中，可能出现界面处有三种不同材质的情况，典型的例子就是容器。塑料瓶、玻璃瓶这种容器壁和内、外层材质都不同，且「容器」这种物体在现实生活中十分常见，因此需要对这种情况进行更加细致的考虑。
图 6. NU-NeRF 阳光颜色先验
如图 6 所示，NU-NeRF 在进行表面建模时考虑了多种不同类型的材质。图 6（a）中描绘的就是通常 Snell 定律考虑的界面，其入射角和出射角的正弦比值为折射率比值倒数。
图 6（b）(b2) 中描述的是一种厚度可以忽略的容器材质，其入射和出射点的法线可以视为相同，因此其入射角和出射角的比值仅取决于内、外材质的折射率。
而图 6（c）中的场景为厚度不可忽略的容器，其入射点和出射点法线不同。对于这种材质，NU-NeRF 使用球形来近似入射点和出射点的局部几何，球的半径由物体在此处的曲率决定。
最后，如图 6（d）所示，为了防止在一些角度，这种带有厚度的材质在物体边缘处出现在容器壁内部多次折射的情况，NU-NeRF 用一个掩膜（mask）直接将边缘处的采样舍弃。
实验效果
为检验所提出的方法的有效性，NU-NeRF 在合成、实拍数据集上均进行了实验，其中合成数据集具有真值（ground truth），实拍数据集有一部分从网络上收集得到，因此没有真值。重建实验的对比方法是 [5] 和 [6] 两种已有方法。
重建
图 7 展示了不同方法重建合成场景的效果，可以看到之前的方法在没有嵌套几何时的表现较好，但在出现嵌套几何以及不透明材质和透明材质混合场景时，会出现较严重的性能下降。图 8 图 9 展示了不同方法重建实拍场景的结果。可以看到，NU-NeRF 在不同类型的场景上都能准确重建出外层几何，并较为准确的重建出内层几何，
图 7. NU-NeRF 在重建合成场景的内外几何上和现有方法对比
图 8. NU-NeRF 在重建实拍场景（无真值）的内外几何上和现有方法对比
图 9. NU-NeRF 在重建实拍场景（有真值）的内外几何上和现有方法对比
总结与展望
NU-NeRF 的核心思想是将复杂的嵌套透明物体重建问题简单化，并分为两步进行重建。针对透明物体固有的二义性问题，NU-NeRF 不选择此前类似方法直接进行光线追踪的方案，而是利用网络直接预测折射的颜色，这样在牺牲新视角合成准确性的前提下，提高了几何重建的准确性。
而有了外层几何的准确重建，就去除了问题中的大部分二义性，并可以利用显式光线追踪来进行内层几何的重建。同时，NU-NeRF 也针对容器类物体提出了一种折射计算的近似方案，能够在不过多降低运行速度的前提下进行较为复杂的物体的重建。
