当前位置：网站首页 » 教程 » 内容详情

论文堆模型前沿信息_论文建模常用的五种模型(2024年12月实时热点)

内容来源：这家有保障所属栏目：教程更新日期：2024-11-29

论文堆模型

上午在华彩杯算力大赛决赛颁奖会上演讲，讲产业落地，我知道我讲的效果很好，讲完了数个工信厅和通管局领导来加了微信，吃饭时工信部的分管领导专门过来加了微信，其实他并没听我演讲，是工作人员告诉他我讲的效果好，他特别过来听我分享了观点。对产业界而言，算力明年将会面对巨大考验，2023年开始炒作多模态通用大模型，整个社会已经把人工智能歪曲成就是大模型，或者就是算力，在已经堆了两年算力之后，现在我们的算力已经达到了800万个机架，这样庞大的算力，要用来干什么，是一个严峻的问题。我说科学界是找国家要钱，建智算中心，堆算力，到国际上去排名，然后去发论文。他们不会关心这些算力的用处。但是我们产业界是要把这些算力卖出去的。全场响起了今天唯一的一次掌声（因为大家都讲技术，中途不会有人鼓掌）。这个问题是产业界的大问题，2025年，众多的中小企业都得问一句，自己做了大模型，这个大模型除了折旧，还要消耗大量的能源，谁来出这个钱？我这个问题是自己担心的，也是当前政府和企业都需要考虑的，这个问题如果不解决，明后年的大模型就会雪崩。政府领导中午吃饭时过来和我交流，其实也是他们正在面临的大问题。如何解决这个问题，现在像我这样进行思考的人还不多，我明确的告诉政府领导，要解决人工智能应用的问题，绝不能靠科学界，必须靠产业。要研究产业各种解决问题的办法，研究产业各种人工智能的应用，把成功的企业给找出来，并且建立起走向成功的模式。在这个问题上我应该是想的早，也做了大量的案例分析，有很多产业的经验。（碰到不少老朋友，合影他们为了照顾我的身高，都微微弯了腰。[可爱]）

上下文预训练：让LLM更擅长处理长文本嘿，大家好！今天我们来聊聊一篇超酷的论文——《In-Context Pretraining: Language Modeling Beyond Document Boundaries》。这篇论文提出了一个超棒的方法，叫做“上下文预训练”，专门用来训练大型语言模型（LLMs）。什么是上下文预训练？现有的预训练方法通常是把一堆随机短文档拼在一起，然后让模型去预测下一个文档。但这种方法有个大问题：这些文档之间没啥联系，模型根本不知道它们之间的上下文关系。而“上下文预训练”则是把模型放在一系列相关的文档上进行预训练，这样模型就能学会如何跨越文档边界进行推理了。怎么实现上下文预训练？其实很简单，只需要改变一下文档的排序，让每个上下文包含相关的文档，然后直接用现有的预训练流程就行了。不过，这里有个大问题：文档排序！数据量巨大，我们希望每个上下文都尽可能相似，但又不能重复任何数据。为了解决这个问题，论文里引入了高效的近邻搜索和图遍历算法来寻找相关文档，并构建一致的输入上下文。实验结果怎么样？实验结果表明，“上下文预训练”能显著提高LLM的性能，特别是在需要复杂上下文推理的任务中。比如，阅读理解、对先前上下文的忠实度、长上下文推理和检索增强等任务中，都有明显的改进（+8%、+15%、+16%、+5%、+9%）。论文的主要目标是什么？这篇论文的主要目标是提出一种新的方法来解决预训练语言模型在处理长文本输入上下文时存在的问题。尤其是在处理复杂任务（如阅读理解、推理和检索）时。该方法基于图论和自然语言处理技术，通过构建一个有效的相似度度量来解决这些问题。

建模预测，文章就高大上？最近郑老师对机器学习方面的文章特别感兴趣，感觉只要把机器学习、SHAP建模和其他各种技术往上一堆，文章瞬间就显得高大上，特别有范儿。不过，单纯玩数据的关联性，不讲究实际意义，这也有点不太靠谱。比如，有一篇发表在《Ecotoxicology and Environmental Safety》上的研究论文，这个期刊可是环境科学与生态学的二区Top期刊，影响因子有6.2呢。文章旨在使用NHANES数据库开发一个可解释的机器学习模型，用基本人口统计数据和挥发性有机化合物（VOCs）来预测心血管疾病（CVD）的发生风险。研究团队纳入了NHANES 2011-2018数据库中的5,098名参与者，包括515例CVD患者和4583例对照。通过15项尿代谢物指标评估VOCs的暴露情况。研究者将数据集分成训练集（70%）和测试集（30%），并基于6种机器学习模型构建CVD风险预测模型。结果显示，将基本人口统计数据与VOCs暴露相结合的模型，在预测未来疾病风险方面具有巨大的潜力。文章还用了SHAP法计算每个变量对预测的贡献，用于解释最终模型的输出。不过，大家要明确，NHANES数据是横截面调查，心血管病的结局可能患者已经几十年前就有心血管病了，而尿液血样、VOCs暴露可都是现采现分析的，用它们来预测心血管病，靠谱吗？我还发现了一些有意思的指标，比如21个预测因素，用于训练和构建机器学习模型（包括高血压、年龄、SBP、DBP、性别、PIR、BMI、T2 MHA、T34_MHA、AAMA、AMCC、AT等）。SBP和DBP，收缩压和舒张压，高度相关性的东西凑在一起，似乎也不太合适。郑老师觉得，建模就得有目的，你要预测心血管病发生，病例对照的研究设计总得要吧，当然前瞻性设计更好。NHANES数据可以做预测，但它有死亡的数据，方法要为正确的设计方案服务，否则就玩偏了。不过话说回来，现在写文章好像也不太关注什么实际意义，尤其NHANES的文章。这篇文章还真的分析得非常不错，值得大家学习！！！

模型简单就一定不好吗？𐟤” 最近一直在琢磨一个问题：模型简单就真的不好吗？虽然我也只是个学术小白，但总觉得有些地方不太对劲。在国内的学术圈子里，论文评审时经常会听到“模型过于简单”这样的批评，但具体简单在哪里却从来不说。这让我有点摸不着头脑。其实，我和导师讨论过这个问题，发现那些发表在国际期刊上的论文，用的模型往往也不复杂。甚至有一次，我的外导直接把我的复杂模型给pass掉了。难道模型简单真的是个问题吗？简单真的不好吗？我觉得，只要能解决问题，方法简单点也没啥吧。毕竟，直接解决问题才是王道，不是吗？可能是我比较注重问题导向吧，或者也可能是我能力有限。总之，我觉得能用直接的方法解决问题，就别绕一大圈。把一堆变量堆砌在一起，中介、调节、相关不相关的都要验证一遍，不仅麻烦，还浪费资源。为了复杂而复杂，制造出一堆学术垃圾，真的没啥意义。你们觉得呢？模型简单就真的不好吗？欢迎大家讨论讨论！𐟒쀀

记得大模型去年最火的那段时间，有两个词特别流行，开悟和涌现。涌现的定义：涌现能力指的是在小模型中没有表现出来，但在大模型中表现出来的能力。这种能力是不可预测的，并且随着模型规模的增加而出现。具体来说，当系统的量变导致行为的质变时，我们称这种现象为“涌现”。在大模型的背景下，这指的是模型在达到一定规模后展现出之前小模型所没有的、意料之外的、能够综合分析和解决更深层次问题的复杂能力和特性开悟现象： “开悟”是一个比较抽象的概念，它指的是大模型在处理语言和知识时所展现出的类似人类智慧的能力。这种能力使得机器能够理解和生成自然语言，甚至在某些情况下，能够表现出创造性和深度思考的能力。更直白一点的解释就是大力出奇迹，而且这个奇迹的出现并不是预期的。人们并不知道模型变大之后就会变强，并没有什么非常严谨的论文、理论原理可以支撑这个观点。否则的话，像 GPT-3.5 /GPT-4 这样的东西早就被做出来了，根本没 OpenAI 什么事情。要知道人类可是早在 1969 年就登上月球了，那还是计算机算力十分匮乏的年代。要是你从现在穿越回到 30 年前，告诉人们疯狂堆算力把模型的参数搞得大大的，用深度学习的方法就可以搞出聪明的 AI，估计现在世界又是另一方光景了。 #多的是你不知道的事# #大模型# #人工智能# #人工智能AI# #OpenAI#

3D视觉新突破：一键去噪，秒速重建大家好，今天我要给大家介绍一项超级酷的3D视觉研究——一种能从嘈杂的点云数据中快速学习签名距离函数（SDFs）的新方法！𐟑€𐟔劊想象一下，你手里有一堆乱七八糟、充满噪音的3D点云数据，现在有一种神奇的技术，能够一键去除所有噪点，重建出干净、准确的3D模型！这不是梦，这就是最新发表在IEEE Transactions上的“Fast Learning of Signed Distance Functions from Noisy Point Clouds via Noise to Noise Mapping”论文带来的革新！ 𐟌Ÿ【创新点】无需干净数据：传统方法去噪、重建，都得依赖一些干净、准确的数据作为学习样本。但这篇论文的方法，完全不需要！它通过“噪声到噪声映射”，直接从嘈杂的观察中学习出高度准确的SDF。统计推理：利用统计学原理，即便在点云无序、无对应关系的情况下，也能推理出清洁的3D结构。多分辨率哈希编码：通过CUDA实现的多分辨率哈希编码，训练速度提升了一个数量级，一分钟之内就能收敛！ 𐟚€【新颖性】这项技术不仅在理论上突破了传统限制，实际应用中更是展现出了惊人的效果。无论是自动驾驶车辆上的激光雷达数据，还是我们日常使用的智能手机扫描的点云，都能用这个方法快速、准确地重建3D模型。 𐟏†【效果展示】论文中的实验结果证明了这种方法在点云去噪、上采样以及多视角重建方面，都达到了前所未有的水平。看图1，从含有10M点的单次真实扫描中，学习到的SDF，不仅去噪效果拔群，重建的表面也是光滑细腻，完全颠覆了我对3D重建的认知！ 𐟔—【项目链接】想了解更多细节？快去项目页面：源代码、实验数据、视频演示应有尽有！快来一起见证这场3D视觉的革命吧！𐟌ˆ𐟔尟š€ #点云去噪 #快速重建 #AI技术 #科研新发现 #数据科学 #机器学习 #深度学习 #创新技术

代码复现指南：从零开始到成功运行深度学习代码复现对于初学者来说，常常是一个挑战。尤其是在GitHub上看到满屏的英文代码、复杂的环境和各种报错时，即使按照配套的readme、论文或视频操作，也可能无法成功运行。经过一番摸索，我总结了一些经验，希望能帮到大家。 𐟓堧쬤𘀦�𜚤𘋨𝽤𛣧 首先，从GitHub上下载你需要的代码。如果下载速度慢，可以试试码云。一般来说，成熟的深度学习框架不会特别大。下载完成后，用PyCharm打开。 𐟔 第二步：理解代码结构打开PyCharm后，你会看到一个复杂的项目结构。这时，你需要打开翻译器，搞清楚各个文件名的意思。这一步非常重要，能帮助你初步理解代码的功能。 𐟓š 第三步：分析代码组成部分深度学习框架通常由以下几个部分组成：数据集（下载、划分、加载）、网络模型（一个网络会分成很多个不同的模块）、优化器和损失函数（有些框架喜欢把损失函数放在一堆文件中）、训练（定义迭代、打印参数）、测试（计算各项指标）、可视化、参数统计、跑分模块、许可证和自述文件。了解这些部分后，你可以看看训练文件分别调用了哪些文件。 𐟖寸第四步：配置环境运行pip install -r requirements.txt来配置环境。如果遇到库安装问题，可以考虑切换到清华源。阅读Readme文件，按照作者的思路一步步操作。如果遇到注释很少的代码，基于学习目的的初学者可以考虑换一个框架学习。希望这些步骤能帮助你顺利复现深度学习代码！如果你在复现过程中遇到任何问题，欢迎随时交流。

多模态大模型幻觉缓解新策略 𐟌Ÿ今天我们来探讨一篇八月底发表的MLLM论文，该论文从推理策略角度出发，旨在降低多模态大模型的幻觉。 𐟔姮€单来说，作者提出了一种基于“多视角和多路径”的推理方法，以减少幻觉。其中，“多视角”意味着通过不同的提示让模型从不同的角度感知图片；“多路径”则是指多次采样，选择答案token概率之和最高的答案选项。 𐟓š论文标题：Look, Compare, Decide: Alleviating Hallucination in Large Vision-Language Models via Multi-View Multi-Path Reasoning ⚙️方法：本文的方法简称MVP，是一种无需训练的推理策略。其主要思路是“多次采样推理-集成选择最合理的答案”，具体分为以下两个要素： 1️⃣多视角：通过修改提示，使模型从不同的角度感知图片。除了普通的提示，还有top-down和bottom-up两种视角对应的提示，见p2； 2️⃣多路径：每个视角都可以随机采样几次生成候选答案。有了一堆候选答案后，如何集成得到最终结果呢？这里不仅考虑了简单的投票，还引入了certainty score，用答案token处top-1 token的概率减去top-2 token的概率作为certainty score，取这个score的和最高的答案作为最终输出，见p3。 𐟒𛥮ž验效果：实验主要在POPE数据集上进行，结果显示LLaVA1.5、Qwen-VL、nstructBLIP、mPLUG-Owl2的幻觉都有所减缓，且效果优于经典方法OPERA。 𐟔通过这种方法，我们可以更有效地缓解多模态大模型的幻觉，提高模型的准确性和可靠性。

黑神话悟空与LLM的奇妙关系最近，黑神话悟空在全网火得不行，而我在研究OpenAI的o1模型时，偶然间重读了那篇《Large Language Monkeys: Scaling Inference Compute with Repeated Sampling》。没想到，这两个看似不相关的领域竟然有着奇妙的联系！这篇论文的灵感来源于著名的“无限猴子定理”：如果让无数只猴子在打字机上随机按键，理论上它们最终能打出莎士比亚的全部作品。这篇论文提出了“大语言猴子”方法，就像是给黑神话悟空开了个外挂！不是让猴子敲打键盘，而是让LLM疯狂生成答案。他们的核心思想是：与其让模型回答一次就完事，不如让它回答几百上千次，看看能不能像悟空的火眼金睛一样，找出正确答案。这个方法看起来简单粗暴，但效果出奇的好：写代码：让模型写250次，居然能解决56%的GitHub问题，比一些顶尖模型只试一次的表现还要好。数学题：让模型答10000次，能解95%以上的问题。形式化证明：用计算机辅助证明数学定理，模型在这方面的表现也很亮眼。不过，虽然模型能生成正确答案，但怎么从一大堆答案中找出正确的那个呢？对于代码和形式化证明，可以用测试用例或定理检查器来自动验证每个答案是否正确。但对于数学题这种没有自动验证工具的任务，尝试了多数投票、奖励模型打分等方法，但效果都不太理想。特别是当正确答案很罕见时（比如只占1%），方法就容易失效。有趣的是，作者发现了一个奇妙的规律：随着尝试次数的增加，找到正确答案的概率似乎遵循某种“幂律分布”。这就像是在玩“黑神话悟空”。刚开始升级时，孙悟空的能力提升很快；但越到后面，想要提高就越难，需要花更多时间去刷经验值。不过，这篇论文的研究只是告诉我们生成更多次，更容易找到正确答案。并没有完全解决LLM如何找到正确答案的问题。只是很有趣，所以分享给大家。话说回来，我们的大脑在思考问题时，是否也在不断地生成和筛选各种答案？

如何运行GitHub上的深度学习代码 𐟓‘ 初学者在接触GitHub上的深度学习代码时，可能会感到有些困难。代码中满是英文、复杂的环境和各种报错，即使按照配套的readme、论文或视频操作，也可能无法成功运行。经过一番摸索，我总结了一些经验，希望能帮到大家！第一步：下载代码 𐟓助斥…ˆ，从GitHub上下载你需要的代码。如果下载速度太慢，可以试试码云。下载完成后，用PyCharm打开代码。第二步：理解代码结构 𐟧 打开PyCharm后，你会看到一堆文件和文件夹。别担心，这只是个开始。你需要打开翻译器，搞清楚每个文件名的意思。这一步非常重要，能帮助你初步理解代码的模块和功能。第三步：分析代码组成 𐟔 深度学习框架通常由以下几个部分组成：数据集：包括数据下载、划分和加载。网络模型：一个网络会分成很多个不同的模块。优化器和损失：有些框架喜欢把损失放在一起。训练：定义迭代、打印参数。测试：计算各项指标。可视化：展示训练过程。参数统计：统计模型参数。跑分模块：测试模型的性能。许可证和自述：了解代码的使用权限和说明。了解这些部分后，你可以看看训练文件分别调用了哪些文件，逐步串联起整个代码。小结 𐟓 运行GitHub上的深度学习代码并不容易，但只要按照上述步骤一步步来，你一定能成功复现代码！希望这些经验对你有所帮助，如果有任何问题，欢迎指正和讨论！