大模型·大未来｜大模型“2024年度十大突破技术和进展”评出

大模型·大未来｜大模型“2024年度十大突破技术和进展”评出

红星资本局12月25日消息，12月25日、26日，以“大模型·大未来”为主题的“2024人工智能大模型基准测试科创发展大会”在成都高新区举办。

随着人工智能大模型快速发展，各项前沿技术不断推陈出新，诸多高校学者正通过跨学科研究推动产学研用深度融合，促进大模型技术的创新和应用落地。

为了更好地整合高校在大模型领域的优势资源，在此次大会上，红星新闻发起成立了“高校大模型创新发展联盟”（下称“联盟”），为大模型产业发展提供技术赋能和人才培养。

红星资本局了解到，联盟成员长期跟踪全球的大模型前沿技术和进展，并根据这些技术和进展的突破性、影响力投票筛选出“2024年度十大突破技术和进展”。

以下是“2024年度十大突破技术和进展”：

1. 大模型推理技术

典型代表：OpenAI o1

突破点：将大模型从“聊天机器人”提升至“推理者”新层级。

产业影响：使大模型能够进行多步问题求解，处理复杂推理问题。

2. 多模态生成式AI

典型代表：GPT-4V、Sora

突破点：将多模态理解和生成提升至更高水平。

产业影响：丰富和扩展了生成式AI内涵（文生图、文生视频）。

3. 具身智能和大模型的进化

典型代表：RoboPoint、Manipulate Anything、PaLM-E、MOKA、ReKep、D3fields

突破点：大模型通过操作物理设备、感知环境变化调整策略，以实现自我进化。

产业影响：与环境交互可以让大模型从真实世界获得奖励反馈，在开放决策空间实现自我学习和进化，有望构建更加强大的智能体，媲美乃至在部分场景超过人类表现。

4. 推理时扩展法则

表现：性能随推理时长提升

突破点：将扩展法则（Scaling Laws）从预训练、后训练延伸至推理时，补齐了扩展法则重要的一环，同时给大模型扩展开辟了新的方向。

产业影响：推动大模型从“快思考”进入“慢思考”，显著提升了大模型求解复杂问题的能力。

5. 小语言模型

典型代表：Phi-4、MobileLLM、Mistral NeMo、Qwen2.5-3B、ALLaVA

突破点：均衡模型规模与性能。

产业影响：使大模型可在端侧、资源受限场景下使用，有利于保护用户隐私、减少云端推理成本，拓宽了大模型的应用场景。

6. AI合成数据

典型代表：Hugging Face Cosmopedia v0.1、UltraFeedback

突破点：为“人类数据很快耗尽”难题提供了有效解决方案。

产业影响：从数据角度支撑大模型“Self-Improve”能力。

7. 基于大模型智能体的大规模社会模拟

典型代表：Oasis

突破点：将开放agent模拟数量拓展至一百万个。

产业影响：将对社会模拟、数字孪生带来深远影响。

8. 机械可解释性

典型代表：稀疏自编码器（Sparse Autoencoders）

突破点：将大模型内部组件分解成可解释特征。

产业影响：透明化大模型“黑盒子”，增强大模型可信度和安全性。

9. 长窗口大语言模型

典型代表：YaRN、LongRoPE、KimiChat

突破点：将大模型的窗口拓宽至百万甚至千万词元，使其可以处理更长输入。

产业影响：智能体的多模态记忆可以更长，可以处理更复杂的任务，开发者可以更好地定制个性化模型。

10. 新型模型架构

典型代表：Mamba、RWKV、Hyena、RetNet

突破点：基于参数化状态空间模型设计，在长序列建模效率上相比Transformer架构取得了显著提升。

产业影响：为自然语言处理、语音识别、图像建模等领域提供了更加灵活且高效的选择，为未来模型的设计开辟了新的方向。

据介绍，未来，联盟将会持续跟进和发布大模型领域的年度十大突破性技术和进展，这有利于国内大模型企业和产业相关方对全球大模型技术的发展形成整体观，借此制定研发策略，提前进行产业布局和规划，也将推动国内大模型原创性技术研发和突破。

红星新闻记者 杨佩雯

编辑 杨程

（下载红星新闻，报料有奖！）