当前位置：网站首页 » 导读 » 内容详情

知识蒸馏期刊论文新上映_期刊论文抄袭了很怕(2024年12月抢先看)

内容来源：这家有保障所属栏目：导读更新日期：2024-11-28

知识蒸馏期刊论文

深度学习创新点从哪里来？看这里！最近有不少朋友问我，深度学习模型的创新点到底该怎么找。其实这个问题我也曾经困扰过，不过经过一番摸索和总结，终于有了一些心得。今天就来跟大家分享一下，希望能帮到你们。从基础模型开始 𐟏—️ 首先，你得找一个比较新的、容易复现的模型代码。读懂它，跑通它，然后把它作为你的baseline。这样一来，你的起始指标就不会太差，至少能有个基础。魔改模型 𐟧™‍♂️ 接下来，就是在这个基础模型上进行各种魔改。你可以加入一些深度学习领域里比较火的模块，比如各种残差模块、注意力机制模块、循环模块，还有很火的transformer模块。或者用各种新型的深度卷积、可变形卷积代替普通卷积。再或者，你可以尝试一些比较火的概念，比如把有监督学习改成半监督学习、无监督学习，或者引入知识蒸馏、元学习、对比学习等等。总之，各种尝试魔改，没有思路就去看别人论文怎么做的。除了各种顶会大佬的文章，建议有空可以看一些比较水的期刊论文，国内硕士论文，看多了会发现普通人的创新点（套路）大多类似，可以从中找到很多灵感，也可以多看看其他相关领域的文章，不一定只看自己研究方向的。训练和优化 𐟒𛊊然后，就是把模型训练好。你可以尝试提高指标，或者提高计算速度，或者把网络轻量化。只要效果好的话，都可以作为你的创新工作。最后，就是要把故事逻辑讲好。网络学习都是黑盒子，说不清里面具体哪里起了哪些作用，只要能证明你做的工作是有效果的就可以是创新点啦。希望这些分享对你有帮助！如果还有什么需要了解的，可以随时找我，让我们一起加油！𐟒ꀀ

张林峰出生于1997年，2024年6月从清华大学交叉信息研究院获得博士学位，现已担任上海交通大学人工智能学院助理教授、博士生导师. 张林峰的研究方向为高效的人工智能，包括大模型、图像视频生成模型、人工智能数据集的压缩与加速等. 他在 CCF-A 等高水平学术会议与期刊上发表第一作者和通讯作者论文二十余篇，被引用2000余次，还担任 NeurIPS、ICLR、ICML、CVPR、ICCV 等多个学术会议的审稿人，并曾获北京市优秀毕业生、清华大学优秀博士论文、微软学者奖学金、清华大学蒋南翔奖学金等荣誉. 2019年，他提出自蒸馏算法，推动了无教师知识蒸馏领域的发展，其研究成果在多家公司得到应用.

深度学习创新点如何找？我的一些心得最近有不少朋友问我，深度学习模型的创新点到底该怎么找。其实这个问题挺有意思的，尤其是对于那些还在读研、想要水一篇毕业论文的同学来说。今天我就来分享一些我自己总结的经验，希望能帮到你们。第一步：找个基准模型 𐟓– 首先，你需要找到一个比较新的、容易复现的模型代码。读懂它，跑通它，把它作为你的基准模型。这样一来，你的起始指标就不会太差，至少不会让人觉得你在随便糊弄。第二步：魔改模型 𐟧™‍♂️ 接下来，在这个基准模型上进行各种魔改。你可以加入一些深度学习领域里比较火的模块，比如各种残差模块、注意力机制模块、循环模块，还有很火的transformer模块。你也可以尝试用各种新型的深度卷积、可变形卷积代替普通卷积。甚至还可以把一些有监督的任务改成半监督或无监督的任务，比如知识蒸馏、元学习、对比学习等等。总之，各种尝试魔改吧！没有思路的时候，就去看看别人的论文是怎么做的。除了各种顶会的文章，建议大家也可以看看一些比较水的中文期刊论文，国内硕士论文。看多了你会发现，普通人的创新点（套路）大多类似，但也能从中找到很多灵感。第三步：训练和优化模型 𐟒𛊦ŠŠ模型训练好，然后看看能不能把指标提高、计算速度提高，或者把网络轻量化。只要效果好，都可以作为你的创新点。最后，把故事逻辑讲好就行了。深度学习模型就像一个黑盒子，里面具体哪里起了哪些作用说不清，但只要能证明你做的工作是有效果的，那就是创新点！希望这些小建议能帮到你们，祝大家科研顺利！如果你们有其他问题或者经验分享，欢迎在评论区交流哦！

27岁清华博士张林峰已任上海交大人工智能学院博导。张林峰出生于1997年，于2024年6月在清华大学交叉信息研究院获得博士学位。他的研究方向是高效的人工智能，包括大模型、图像视频生成模型、人工智能数据集的压缩与加速等。他在CCF-A等高水平学术会议与期刊上发表第一作者和通讯作者论文二十余篇，被引用2000余次，并担任多个重要学术会议的审稿人。张林峰在学术领域取得了诸多荣誉，包括北京市优秀毕业生、清华大学优秀博士论文、微软学者奖学金、清华大学蒋南翔奖学金等。他提出的自蒸馏算法在知识蒸馏领域得到了业内人士的高度评价。今年7月，张林峰放弃多家企业给出的丰厚薪资，选择到上海交通大学人工智能学院任教，开展科研与教育工作。他的选择不仅展现了他的坚定信念，也期待他能在学术界取得更多成就，为国家培养更多优秀人才。

中国农业大学信息与电气工程学院网站上发布的学术报告揭示了一位年轻学者的职业新动向。张林峰，1997年出生，今年6月在清华大学交叉信息研究院完成了他的博士学位，目前已成为上海交通大学人工智能学院的助理教授及博士生导师。张林峰的研究领域集中在高效的人工智能（Efficient AI），涉及大模型、图像视频生成模型以及人工智能数据集的压缩与加速等方面。他在CCF-A级别的顶级学术会议和期刊上以第一作者或通讯作者身份发表了超过二十篇论文，这些论文被引用次数超过2000次。张林峰还担任了NeurIPS、ICLR、ICML、CVPR、ICCV等多个重要学术会议的审稿人，并荣获北京市优秀毕业生、清华大学优秀博士论文、微软学者奖学金（亚洲共十二名）、清华大学蒋南翔奖学金等多项荣誉。值得注意的是，张林峰放弃了多家企业提供的高薪职位，选择加入上海交通大学人工智能学院，致力于科研与教育工作。他曾获得清华大学毕业生“启航奖”金奖，其研究推动了人工智能基础研究的发展，特别是在2019年提出的自蒸馏算法，证明了知识蒸馏中教师模型的非必要性，促进了无教师知识蒸馏领域的发展。该算法被韩国科学技术院的Kuk-Jin Yoon教授评价为具有显著优势，并被麻省理工学院的韩松副教授在其课程中专门介绍。张林峰的研究成果不仅在理论上有所突破，也在实际应用中展现出价值。他将知识蒸馏与模型压缩技术应用于二维检测、三维检测、多视角图像检测、实例分割、图像生成、视频超分等多种任务，并在实际业务中得到部署，使人工智能技术更好地服务于人们的日常生活。张林峰加盟的上海交通大学人工智能学院，是学校为顺应发展趋势、对接国家战略、服务城市先导产业而成立的实体学院，致力于培养中国自主的人工智能卓越人才，为国家的科技自立自强提供支持。该学院汇聚了包括两院院士、外籍院士、IEEE Fellow、国家杰出青年基金获得者、长江学者奖励计划等高层次人才，以及“四青”人才，全校有700余位博士导师（含医学院）从事人工智能及相关领域的研究，覆盖多个专业方向。#中国农业大学#

27岁清华博士张林峰成为上海交大博导，呼吁大家不要年龄焦虑。张林峰，1997年出生于山东潍坊，今年6月在清华大学交叉信息研究院获得博士学位，现已担任上海交通大学人工智能学院助理教授、博士生导师。他的研究方向是高效的人工智能，包括大模型、图像视频生成模型等，曾在国际高水平学术会议与期刊上发表二十余篇论文，被引用2000余次。张林峰的研究成果推动了人工智能领域的发展，例如他提出的自蒸馏算法，首次证明了知识蒸馏中的教师模型并非必需，推动了无教师知识蒸馏领域的发展。他的研究成果也在实际业务中得到了应用。在接受采访时，张林峰表示，不希望因为自己的年龄给大家带来焦虑。他认为，高校中有很多像自己一样的年轻教师，年轻人是人工智能研究的主力军。他希望大家更多地关注他的科研成果，而不是他的年龄。#妻子遭黑熊袭击重伤丈夫持斧杀熊# #成都周末# #郭艾伦32分7助攻创赛季新高#

[27 岁清华博士任交大博导，引年龄与能力之思] 近日，“27 岁清华博士任上海交大博导” 登上微博热搜，引发网友热议。这位年轻博导张林峰 1997 年生于山东潍坊，今年 6 月于清华大学交叉信息研究院获博士学位，现任职上海交通大学人工智能学院助理教授、博导。其研究方向聚焦高效人工智能，涵盖大模型、图像视频生成模型等。他以主要作者身份在多高水平学术会议与期刊发表二十余篇论文，被引用 2000 余次，还担任诸多学术会议审稿人，荣获北京市优秀毕业生等多项荣誉。他在科研上成果斐然。2019 年提出自蒸馏算法，推动无教师知识蒸馏领域发展，获国外教授高度评价，相关课程也有专门介绍。其成果还应用于多种任务并实际部署，让人工智能服务生活。毕业时，张林峰放弃企业高薪，投身教育科研。他称科研有趣，受导师引导，也想为学生营造好环境。对于网络关注，他表示人工智能学科年轻，高校有很多年轻教师，不希望带来 “年龄焦虑”，还感谢交大创新体制。他希望未来人们因科研成果认识他，在人工智能大模型发展上探索高效路径。这一现象也让人们思考，年轻与能力在学术领域究竟该如何看待，是否应打破传统观念，给予年轻才俊更多机会与期待，还是应遵循传统的资历积累模式，引发诸多争议与思考。

「27岁上交博导说不想让大家年龄焦虑」【「27岁上海交大博导回应走红」：不希望给大家带来年龄焦虑】最近，“27岁清华博士任上海交大博导”登上了微博热搜，引起了很多网友的关注他是谁？为什么这么年轻就能做博导？这位年轻的博导名叫张林峰，1997年出生于山东潍坊，今年6月在清华大学交叉信息研究院获得博士学位，现已担任上海交通大学人工智能学院助理教授、博士生导师。张林峰的研究方向为高效的人工智能（Efficient AI），包括大模型、图像视频生成模型、人工智能数据集的压缩与加速等。他以主要作者身份在国际高水平学术会议与期刊上发表二十余篇论文，被引用2000余次，担任NeurIPS、ICLR、ICML、CVPR、ICCV等多个学术会议的审稿人，曾获北京市优秀毕业生、清华大学优秀博士论文、微软学者奖学金（亚洲共十二名）、清华大学蒋南翔奖学金等荣誉表彰。清华大学交叉信息研究院介绍称，张林峰的研究在一定程度上推动了人工智能领域中基础研究的发展。例如，他在2019年提出自蒸馏算法首次证明了知识蒸馏中的教师模型并非必需，推动了无教师知识蒸馏领域的发展。韩国科学技术院的Kuk-Jin Yoon教授表示“自蒸馏算法与序列性的算法相比，有显著优势，有更好的泛化性和更高的效率”。麻省理工学院的韩松副教授，在他的课程中专设列一小节介绍自蒸馏算法。张林峰的研究成果同样有着丰富的现实应用价值，他成功把知识蒸馏与模型压缩推广到了二维检测、三维检测、多视角图像检测、实例分割、图像生成、视频超分等多种应用任务中，并在实际业务中进行了部署应用，使得人工智能可以真正服务于人们的生活。毕业时，张林峰放弃了多家企业给出的百万薪资，选择到上海交通大学人工智能学院任教，开展科研与教育工作。在接受记者采访时，张林峰说：“我觉得做科研是一件很好玩儿的事，有一个好老师去引导是非常重要的。在清华时，我的导师就曾经很好地引导了我的科学之路，我也想为更多的同学营造一个有趣、有意义的科研环境。” 提及自己在网络上受到的关注，张林峰说：“人工智能是一门年轻的学科，年轻人是人工智能研究的主力军，其实高校中有很多像自己一样的年轻教师，不希望给大家带来‘年龄焦虑’，也感谢上海交大和学院在优秀青年人才引进和培育上的创新体制，让年轻人也有这样发展的机会。” “作为一个做科研的人。因为‘年轻’被大家关注到，会感到有些不安。未来，希望可以让更多人因为科研成果认识我。”张林峰表示，“之后我的研究，希望在人工智能大模型发展的道路上，探索出一条更加高效的发展方式”。（上海交通大学公众号）27岁成为上海交大博导！面对全网关注，他这样...

27岁张林峰，交大新宠！最近，学术界和科技界都被一位年轻的学者震惊了——张林峰，这位1997年出生的年轻人在今年6月从清华大学交叉信息研究院获得博士学位后，竟然直接跳槽到上海交通大学人工智能学院，担任助理教授和博士生导师！高效AI研究者 𐟌 张林峰的研究方向是高效的人工智能（Efficient AI），主要涉及大模型、图像视频生成模型以及人工智能数据集的压缩与加速。他的研究成果在学术界和工业界都引起了广泛关注。学术成就 𐟌Ÿ 张林峰在CCF-A等高水平学术会议与期刊上发表了二十余篇第一作者和通讯作者论文，被引用超过2000次。他还担任NeurIPS、ICLR、ICML、CVPR、ICCV等多个学术会议的审稿人。张林峰曾获得北京市优秀毕业生、清华大学优秀博士论文、微软学者奖学金（亚洲共十二名）、清华大学蒋南翔奖学金等荣誉表彰。自蒸馏算法的提出者 𐟒እ€𜥾—一提的是，张林峰在2019年提出了自蒸馏算法，首次证明了知识蒸馏中的教师模型并非必需，推动了无教师知识蒸馏领域的发展。韩国科学技术院的Kuk-Jin Yoon教授表示：“自蒸馏算法与序列性的算法相比有显著优势，有更好的泛化性和更高的效率。”麻省理工学院的韩松副教授也在他的课程中专设一小节介绍自蒸馏算法。实际应用的潜力 𐟏튥𜠦ž—峰的研究成果不仅在学术上有重要价值，在实际应用中也展现出了广阔的前景。他将知识蒸馏与模型压缩推广到了二维检测、三维检测、多视角图像检测、实例分割、图像生成、视频超分等多种应用任务中，并在实际业务中进行了部署应用，使得人工智能可以真正服务于人们的生活。上海交通大学人工智能学院 𐟏늤𘊦𕷤𚤩€š大学人工智能学院是学校顺应发展趋势、对接国家战略、服务城市先导产业而成立的实体学院，是举全校之力组建的特区学院。该学院创新人才引进培育机制，吸引汇聚了人工智能及交叉领域的国内外顶尖师资，包括两院院士2名，外籍院士1名，IEEE Fellow 14名，国家杰出青年基金获得者、长江学者奖励计划等高层次人才66人次，“四青”人才110人次。全校有700余位从事人工智能及相关领域研究的博士导师（含医学院），覆盖多个专业方向。张林峰的加入无疑为上海交通大学人工智能学院注入了新的活力，期待他在未来的科研与教育工作中取得更多突破性的成就！

### 清华博士任上海交大博导 2024年6月，张林峰在清华大学交叉信息研究院获得博士学位后，随即于同年担任上海交通大学人工智能学院助理教授及博士生导师。张林峰，1997年出生，其研究方向集中在高效的人工智能技术（EfficientAI），特别是大模型、图像视频生成模型以及人工智能数据集的压缩与加速等方面。在学术成就方面，张林峰已在多个高水平学术会议与期刊上以第一作者或通讯作者身份发表了超过二十篇论文，累计被引用次数超过2000次。他积极参与学术交流，担任NeurIPS、ICLR、ICML、CVPR、ICCV等多个重要国际学术会议的审稿人，并获得了包括北京市优秀毕业生、清华大学优秀博士论文、微软学者奖学金（亚洲共十二名获奖者之一）以及清华大学蒋南翔奖学金等多项荣誉。值得注意的是，张林峰在完成博士学位后，选择了放弃多家企业提供的优厚薪酬，转而加入上海交通大学，致力于科研与教育事业。他的这一决定得到了清华大学交叉信息研究院的高度评价，认为其研究工作在推动人工智能领域基础研究方面做出了重要贡献。例如，张林峰在2019年提出了自蒸馏算法，首次证明了知识蒸馏过程中教师模型的非必要性，这一发现对无教师知识蒸馏领域的进步产生了深远影响。此外，张林峰还荣获了清华大学毕业生“启航奖”金奖，这进一步体现了他在学术界和教育界的杰出表现与广泛认可。张林峰的选择不仅展现了年轻学者对于学术追求的热情，也反映了当前中国高等教育界对于高质量人才的高度重视和支持。

专栏内容推荐

2074 x 1296 · jpeg
【精读AI论文】知识蒸馏 - 哔哩哔哩
素材来自:bilibili.com
1920 x 1080 · png
【精读AI论文】知识蒸馏 - 知乎
素材来自:zhuanlan.zhihu.com

1434 x 775 · jpeg
知识蒸馏概述 - 知乎
素材来自:zhuanlan.zhihu.com

1482 x 670 · jpeg
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作 - 知乎
素材来自:zhuanlan.zhihu.com

720 x 364 · png
知识蒸馏论文分享｜CVPR 2020: Distilling Knowledge from Graph Convolutional ...
素材来自:zhuanlan.zhihu.com

1280 x 393 · png
知识蒸馏经典论文详解_知识蒸馏论文-CSDN博客
素材来自:blog.csdn.net

1864 x 1077 · png
知识蒸馏算法原理-CSDN博客
素材来自:blog.csdn.net
1000 x 750 · jpeg
【论文泛读】知识蒸馏：Distilling the knowledge in a neural network-阿里云开发者社区
素材来自:developer.aliyun.com

1910 x 843 · png
知识蒸馏算法原理-CSDN博客
素材来自:blog.csdn.net

724 x 638 · png
知识蒸馏原理与PVKD论文阅读_point-to-voxel knowledge distillation for lidar se-CSDN博客
素材来自:blog.csdn.net
1080 x 246 · jpeg
7 Papers | CVPR 2020获奖论文；知识蒸馏综述 - 知乎
素材来自:zhuanlan.zhihu.com