全日程公布!NeurIPS 2024线下论文分享会即将开启

NeurIPS 2024线下分享会将于12月7日举办,探讨即时交互多模态大模型和社会智能体等前沿话题。

原文标题:全日程公布!NeurIPS 2024线下论文分享会,这周六我们不见不散

原文作者:机器之心

冷月清谈:

机器之心、黄大年茶思屋和智源社区将于12月7日联合举办NeurIPS 2024线下论文分享会,为国内AI领域的研究者和从业者提供一个交流平台。本次分享会主题涵盖即时交互多模态大模型、大模型驱动的社会智能体等前沿方向。

上午的Keynote演讲将由中科院计算所研究员冯洋带来,主题为“即时交互多模态大模型初探”,探讨大模型在处理流式输入、跨模态理解和生成等方面的挑战和解决方案。下午的Keynote演讲由复旦大学大数据学院副教授魏忠钰主讲,主题为“大模型驱动的社会智能体”,探讨如何利用大模型模拟复杂人类行为和社会现象。

此外,分享会还将举办以“大模型技术拐点到了吗?”为主题的圆桌讨论,邀请多位专家学者共同探讨大模型技术的未来发展趋势。同时,现场还将有论文分享和Poster展示环节,为与会者提供更多深入交流的机会。

怜星夜思:

1、除了会上提到的语音和视觉模态,还有哪些模态可以与大语言模型结合?这些模态的结合会带来哪些新的应用场景?
2、大模型驱动的社会智能体真的能模拟复杂的社会现象吗?模拟结果的可靠性如何评估?
3、NeurIPS 2024 的接收率又降低了,这反映了AI领域的什么趋势?

原文内容


NeurIPS 是当前全球最负盛名的 AI 学术会议之一,近年来受到的关注度也不断攀升。伴随着大模型浪潮的兴起,这一会议的规模达到了有史以来的巅峰。

NeurIPS 2024 将于 12 月 10 日星期二至 12 月 15 日星期日在温哥华举办。本届共收到 15671 篇有效论文投稿,比去年又增长了 27%,但最终接收率低于 2023 年,仅有 25.8%。由于这一届 NeurIPS 宣布采用随机抽签注册系统,有些小伙伴可能无缘去现场参会。

为了给国内 AI 社区成员搭建一个自由轻松的学术交流平台,机器之心联合独家学术活动合作伙伴黄大年茶思屋、社区合作伙伴智源社区将在 12 月 7 日共同举办 NeurIPS 2024 线下论文分享会。

这是一场专为国内 AI 人才打造的盛会,设置了 Keynote、论文分享、圆桌讨论、Poster 交流等丰富环节,邀请顶级专家、论文作者与现场参会观众共同交流。

今天,本次论文分享会的全日程、Keynote 分享嘉宾及演讲主题正式公布。


Keynote 嘉宾及演讲主题

上午 Keynote :冯洋 即时交互多模态大模型初探


分享人介绍:冯洋,中国科学院计算技术研究所研究员、博士生导师、“新百星人才计划” 入选者,长期从事自然语言处理方向的研究,在本领域重要期刊和会议发表论文 100 多篇。担任 ARR Permanent Senior Action Editor、Artificial Intelligence 等期刊编委以及 ACL/EMNLP 等国际会议 (高级) 领域主席。主导研发了百聆大模型和 LLaMA-Omni 即时交互语音大模型,获得 ACL2019 最佳长文奖、中国人工智能学会 “杰出贡献奖”、CCF 自然言处理专委会 “青年新锐奖”、 中文信息学会 “钱伟长中文信息处理科学技术奖 - 汉王青年创新奖” 一等奖等。

分享摘要:大模型作为现在人工智能领域的主流范式,最初基于文本语料训练得到,由于人们获取信息的多样化,又融合了语音和视觉模态,然而文本仍然是大模型知识的主要来源,其他模态通常与文本模态进行对齐来共享知识。人类有借助于语音和视觉模态与大语言模型进行即时交互的需求,因此需要大模型能够处理流式输入并进行即时响应,发展出了即时交互多模态大模型。而即时交互多模态大模型需要解决以下挑战:首先,要针对用户指令进行快速响应,要求推理速度足够快;其次,针对流式输入,需要判断进行响应的合适时机;再次,需要将其他模态与文本模态对齐,进行跨模态理解和生成;最后,视觉模态信息处理资源消耗大,如何对其压缩保证能够读取更长历史,直接决定视觉模态交互的性能。本报告将围绕即时交互多模态大模型,介绍我们针对以上解码加速、流式输入、多模态对齐以及视觉压缩方面的探索。 

下午 Keynote :魏忠钰 大模型驱动的社会智能体


分享人介绍:魏忠钰,复旦大学大数据学院副教授、智能复杂体系实验室双聘研究员、博士生导师、数据智能与社会计算实验室(Fudan DISC)负责人,香港中文大学博士,美国德州大学达拉斯分校博士后。担任 CIPS 情感计算专委会副秘书长,CCF 自然语言处理专委会副秘书长,曾任 CIPS 青工委执委会副主任。主要研究领域包括多模态大模型和社会智能体,发表论文 100 余篇,担任 ACL 2023,EMNLP 2024 和 NAACL 2025 高级领域主席(SAC)。代表成果包括多模态多步推理大模型 Volcano,DISC-X 系列垂域大模型(覆盖医疗、司法、金融、网络治理四个领域)和大规模选举模拟框架 ElectionSim。曾获得 CIPS 社会媒体处理专委会新锐奖,上海市启明星计划,CCF 自然语言处理专委会新锐学者奖。

分享摘要:传统的社会科学研究依赖于人类参与,通过问卷调查和心理实验等方法来研究社会现象。然而,这些方法在可扩展性、成本和伦理风险方面存在一定局限性。大模型的发展使得模拟复杂人类行为成为可能,引出了面向社会活动的智能体建构的课题。随着对个体建模的多样化和规模化逐渐增加,大模型驱动的社会智能体建构可以分为三个层级:(1)个体模拟:模拟特定个体或人口属性群体;(2)任务模拟:模拟多智能体在特定场景的交互和协作;(3)社会模拟:模拟复杂的社会动态和社会现象。本次报告将探讨大模型社会智能体在这三个层级模拟中的关键要素、挑战以及未来发展方向。

圆桌对话

这场分享会中,我们特别设置了一场「大模型技术拐点到了吗?」主题圆桌,邀请了四位业内专家学者现场探讨。

主持人:张群英 ICT 产业观察家,茶思屋科技网站总编


对话嘉宾:


贺笛,北京大学智能学院助理教授,前微软亚洲研究院主管研究员。主要从事机器学习模型、算法与理论方向的研究工作,已发表 ICML、NeurIPS、ICLR 等重要期刊 / 会议论文 50 余篇,谷歌引用数一万。所设计的模型如 Pre-Norm 结构的 Transformer、GraphTransformer 等多次被 DeepMind、OpenAl、微软、Meta 等国际顶尖研究机构使用。相关工作分别获得机器学习顶级国际会议 ICLR2024 杰出论文奖提名和 ICLR 2023 杰出论文奖。


刘勇,中国人民大学,长聘副教授,博士生导师,国家级高层次青年人才。长期从事机器学习基础理论研究,共发表论文 100 余篇,其中以第一作者 / 通讯作者发表顶级期刊和会议论文近 50 篇,涵盖机器学习领域顶级期刊 JMLR、IEEE TPAMI、Artificial Intelligence 和顶级会议 ICML、NeurIPS 等。获中国人民大学 “杰出学者”、中国科学院 “青年创新促进会” 成员、中国科学院信息工程研究所 “引进优青” 等称号。主持 / 参与国家自然科学面上 / 基金青年、北京市科技计划中央引导地方专项、北京市面上项目、中科院基础前沿科学研究计划等项目。


苏航,清华大学计算机系副研究员,入选国家 “万人计划” 青年拔尖人才,主要研究鲁棒机器学习和具身决策等相关领域,发表 CCF 推荐 A 类会议和期刊论文 100 余篇,谷歌学术论文引用 15000 余次,受邀担任人工智能领域顶级期刊 IEEE TPAMI 和 Artificial Intelligence 的编委,IEEE 生成式大模型安全工作组主席,获得吴文俊人工智能自然科学一等奖,ICME 铂金最佳论文、MICCAI 青年学者奖和 AVSS 最佳论文等多个学术奖项,曾率队在 NeurIPS2017 对抗攻防等多个国际学术比赛中获得冠军。现任中国图像图形学会青工委执委、曾任 VALSE 执行 AC 委员会主席,NeurIPS21 的领域主席(Area Chair)、AAAI22 Workshop Co-Chair 等。


徐军,茶思屋科技网站内容总监,在 ICT 从业的 30 多年期间,从事多种技术和市场工作,服务于包括华为和思科等多家国际著名科技企业,对 ICT 和科技行业有着全面而深刻的理解。

Poster

在本次论文分享会中,将会有一批论文作者进行论文分享与 Poster 展示,感兴趣的读者可以通过下图了解具体信息:


参与方式

本次活动免费,感兴趣的读者可以扫描二维码报名,我们将在审核后反馈报名结果。线下场地空间有限,目前报名人数较多,请大家确认时间后报名。
同时本次分享会也将在线上直播,大家可在机器之心视频号、黄大年茶思屋、智源社区三个平台观看直播。

黄大年茶思屋直播间

智源社区直播间





合作伙伴介绍

关于黄大年茶思屋

茶思屋科技网站是致力于推动科学与技术交流的开放平台。我们汇聚全球科学家、研究人员和技术专家,共同探讨最前沿的学术话题,分享最新的科研成果,激发创新思维的火花。在这里,您可以看到学术热点、精选论文、学术峰会、技术难题、专利、开源和科技赛事等内容。茶思屋科技网站,汇聚全球科研智慧,推动科技创新,让科技百花园更加繁荣。

网址:https://www.chaspark.com

关于智源社区
 
智源社区⽬前有约 19 万注册成员,我们希望将领域中有国际影响⼒的原创新⼯作介绍给同⾏,也为从事智能及交叉领域的青年学者建⽴交流和连接的平台。Llama、Sora 等重要海外⼯作作者都曾参与社区交流活动。目前智源社区产品推出「AI 热门论文」和「风云人物」两大核心功能,扫码注册智源社区,试用新功能!

 

接收率降低很正常吧,现在搞AI的人越来越多,投稿量肯定也暴涨,僧多粥少,竞争越来越激烈了。

除了语音和视觉,我觉得嗅觉、触觉、甚至脑电波等模态未来都有可能与大语言模型结合。想象一下,以后的智能家居可以通过嗅觉识别空气质量,提醒你开窗通风;或者通过脑电波识别你的情绪,为你推荐合适的音乐。想想就觉得很酷!

我觉得结合生物信号很有潜力,比如用于辅助医疗诊断,或者帮助残障人士更好地与外界交互。当然,这方面也存在很多挑战,比如如何有效地采集和处理这些信号,如何保证数据的隐私和安全等等。

关于“大模型驱动的社会智能体真的能模拟复杂的社会现象吗?”这个问题,我认为目前来看,大模型可以模拟某些社会现象的某些方面,但要完全模拟复杂的社会现象还面临很多挑战。主要在于如何建立有效的评估指标体系。可以考虑从模拟结果的准确性、稳定性、可解释性等多个维度进行评估。

我觉得可以参考一些社会学、心理学等领域的指标进行评估,比如社会网络结构、群体行为模式等等。也可以设计一些实验,将模拟结果与真实数据进行对比,看看模型的表现如何。

这个问题很有意思。从学术的角度来看,除了语音和视觉,触觉、嗅觉、味觉,以及一些生理信号比如心率、脑电波等都可以作为模态与大语言模型结合。这些模态的结合可以带来很多新的应用场景,比如在医疗领域,可以结合患者的生理信号和病史进行更精准的诊断;在教育领域,可以结合学生的脑电波信号来判断学生的学习状态,进而调整教学方案。

我觉得这说明AI领域的研究质量在不断提高,评审标准也越来越严格了。这对于整个领域的发展来说是件好事,可以避免低质量研究的泛滥。

我觉得用大模型模拟社会现象这个想法很牛,但实际操作起来肯定有很多难点。社会现象太复杂了,影响因素太多了,模型能不能捕捉到这些因素,模拟结果准不准,都很难说。