人大高瓴人工智能学院执行院长文继荣教授、小米集团技术委员会 AI 实验室王斌主任出席会议并致辞。哈尔滨工业大学社会计算与信息检索研究中心准聘副教授冯骁骋，小米集团技术委员会 AI 实验室大模型算法负责人刘伟，北京智源人工智能研究院王业全，北京大学王选计算所长聘副教授穆亚东，北京大学助理教授王奕森，中国科学院计算技术研究所副研究员敖翔，小米集团技术委员会邓巍、栾剑、周珏嘉，中国人民大学高瓴人工智能学院准聘副教授陈旭、李崇轩、准聘助理教授林衍凯等专家学者受邀参会。会议由人大高瓴人工智能学院长聘副教授严睿、准聘副教授陈旭、准聘助理教授林衍凯和小米集团技术委员会秘书长周珏嘉分别主持。

中国人民大学高瓴人工智能学院执行院长文继荣教授向莅临的各位专家表示感谢。他表示，大模型是人工智能当下非常火爆的研究技术，学院非常重视大模型相关研究，目前高瓴人工智能学院也有多位教师在大模型领域进行科研探索，且陆续产出了技术成果。小米集团技术委员会AI实验室王斌主任强调了大模型在工业界应用和落地的重要性。小米集团在大模型方面也投入了大量资源，同时也积极寻求与高校的合作及共同发展。

   会上，小米集团技术委员会 AI 实验室大模型算法负责人刘伟、高级算法工程师邓巍分别发表《小米大模型思考与实践》和《端侧视觉大模型的探索与实践》的主题演讲。两位专家就小米对于大模型的思考与产品实践、现有的视觉模型结合小米的业务应用落地情况进行了分享，介绍了小米目前在“轻量化、本地部署”的大模型助力突破方向下，取得的进展以及对未来的展望。同时，小米技术委员会 AI 实验室大模型团队负责人栾剑参与了会议圆桌讨论，与扎根大模型技术前沿的青年学者们就大模型的应用场景、应用中的问题以及未来发展方向等进行了深入交流，探讨在新的技术浪潮下，应该如何看待大模型时代带来的挑战与机遇。

小米大模型思考与实践

小米大模型算法负责人刘伟，以《小米大模型思考与实践》为主题，分享了“大语言模型是什么？”以及“小米大模型的实践”。

在第一个部分“大语言模型是什么？”中，刘伟从技术和用户两个视角展开了分享。在技术视角中，他认为：大语言模型= 大模型 + 语言模型，其中大模型代表的是模型的参数规模，语言模型代表的是学习任务。

    在语言模型方面，他介绍了语言模型的分类与特点，并探讨了“为什么建模语言模型能够让模型获得智能？”。在大模型方面，他提到了人工智能三要素：算法、算力和数据，这三者是相辅相成，缺一不可。然后针对“为什么要搞更大参数规模的模型？”进行了深入分析，是因为而随着模型参数规模的变大，在知识密集型任务上符合伸缩法则，在多步构成的任务上产生了能力涌现，并针对涌现的来源做了猜测性的分析：大数据和大模型导致学习模型发生了一定的转变，通过泛化机制能够实现高内聚和低耦合。

   用户视角中，他表示：到底应该如何把大语言模型应用到小米自身的产品当中，为用户带去真正的价值，这是我们在企业界认真思考的问题。在思考这个问题的时候，一个很重要的视角是“人机交互”。刘伟总结人机交互主要是做信息获取和任务完成这两件事情，比较典型的场景分别是搜索引擎和手机app。在搜索引擎场景，大语言模型代表了新的信息存储和调用的方式，通过自然语言的方式进行交互获得聚合的信息，使得交互更自然，信息获取效率更高。

在手机app场景，任务完成一般分成三步：规划（要干什么）、决策（要怎么干）和执行（完成任务）。大语言模型之前规划和决策是由人的大脑完成，执行的部分由app完成；刘伟认为大语言模型涌现了强大的规划，推理和决策能力，使得未来规划、决策和执行三步都可以交给大语言模型来执行，这样能够使得交互门槛更低，任务执行效率更高。总结来说，大语言模型会是人机交互的革命，拥有更低的交互门槛、更高的信息获取/任务完成效率。这也是为什么我们小米要去投身至大语言模型的研究的原因。

   

    第二个部分“小米大模型的实践”中，刘伟首先分享了小米的科技战略和大模型的主力突破方向。雷总在今年8月的年度演讲中发布了小米科技战略升级，并深度阐释了这次科技战略升级的具体内容，总结成了公式 （软件×硬件）ᴬᴵ。

小米是首家把AI放在次方地位的科技公司，小米将包括大模型在内的AI技术看作一种生产力，将AI真正镶嵌在业务与产品中，为生产和生活赋能。小米拥有三个大类的 AI 业务：终端业务、互联网业务、销售和服务体系，也是世界上最大的 AIoT 设备厂商，有丰富的物联网场景。基于小米实际业务的考虑，小米大模型的主力突破方向为：“轻量化、本地部署”。

 随后，刘伟分享了小米 1.3B 和 6B 的成果和训练方法，包括 1.3B 和 6B 的端侧落地情况，训练数据分布、训练方法等。目前，1.3B 和 6B 的模型已经在端侧跑通。在近期的2023高通骁龙峰会上，小米总裁卢伟冰总首次对外展示了我们端侧 6B 大模型的又一技术进展。在全新高通骁龙 8 Gen 3 终端上，基于 NPU 运行了小米自研60亿参数语言大模型，在首词响应、生成速度等几项关键指标上均处于行业领先水平。我们还将持续投入，努力为用户提供更加安全、便捷的 AI 产品和服务。

   02

小米 AI 实验室的高级算法工程师邓巍，就《端侧视觉大模型的探索与实践》进行演讲分享。他表示此次主题分享是从现有的视觉模型结合小米的业务应用落地展开。主要分享视觉大模型的现状、小米为什么做端侧视觉大模型，遇到的问题和如何解决的、具体的落地应用以及展望这四个方面。

   邓巍表示，视觉大模型在图像生成上有很好的应用效果，根据相关前期调研，用户感兴趣程度占比数较高。而手机作为一个天然的终端入口，在拍照、相册等 app 上，会有大量的算法应用。比如说图像生成、图像编辑以及画质增强，因此我们也更重点关注端侧图像生成类大模型的探索和应用。在探索如何做的时候，也面临了端侧 Stable Diffusion 的挑战，在手机端需要解决参数量大，内存占用高；高分辨图在图生图应用时有画面信息损失，生成瑕疵图；扩散模型的迭代次数多，时间长的三大问题。并针对此展开了解决方法的分享。

小米端侧视觉大模型的落地应用，有搭载在最新旗舰小米14系列上的“智能扩图技术”和“魔法消除Pro技术”。前者可以在用户输入一张图后，通过结合大模型图像生成和传统的图像感知融合算法，自动扩充它周边的环境使其变得更协调，也满足大家个性化的需求。后者通过智能分割或者手动涂抹的方式选出需要消除的范围，再调用图像生成大模型生成消除的范围内容，得到一张满意的照片。最后，邓巍表示未来期望是能够基于大模型实现端到端的图像理解、生成和编辑。

会议还组织了一场关于“大模型：前沿技术与未来应用”的圆桌讨论，由小米技术委员会秘书长周珏嘉主持，小米技术委员会 AI 实验室大模型团队负责人栾剑以及其他5位技术专家共同参与。

讨论首先聚焦于：大模型时代的未来技术发展趋势和新的技术挑战。栾剑提出，大模型不应该只片面地追求“大”，毕竟就当下而言，大模型的训练数据量已经远远超出了人类一生能够阅读的文字总数。那么在如何精炼地压缩训练数据，提升训练效率上还有很多工作需要做。延续这一话题，他认为加入更多模态，进行多模态联合训练可能是大模型智能水平实现下一次飞跃的重要突破点。

同时，栾剑也表达了对大模型技术助力具身智能（即机器人领域）快速发展的期待。他认为，大模型时代的到来会让机器人在任务理解、规划控制、人机协同上都迎来巨大的进步。其他与会专家也在优化模型结构、使用工具提升大模型外围能力等方面提出了进一步发展大模型技术的思路，并对融合其他模态、大模型的具身化、轻量化等方向进行了展望。

他认为，培养大模型的人才与训练大模型本身有共通之处：大模型在指令微调阶段的监督学习与传统监督学习的最大不同，并不在于指令数据的总量有多大，而在于指令的多样性。类似地，如果学生能在科研生涯里接触更多样的任务，做更多样的项目，可能视野更加开阔，对未来新技术和新任务的适应性会更好。其次，栾剑提到，学校跟企业之间应该有更多的合作。企业在市场导向下会对前沿技术的应用更加敏感，对用户的真实需求更加了解，也能提供更多的数据和算力完成实验。小米也有很多校企合作的项目，非常欢迎高校的老师和同学与我们一同探索大模型的未来。

在技术与人才的基础上，会议进一步就大模型的应用场景进行了探讨。栾剑认为，目前的大模型的应用形态主要是对话模式，在娱乐场景的互动效果最好。对未来的应用场景，他比较看好数据分析与设备控制。近日小米发布了Xiaomi HyperOS，提出了「人车家全生态」的概念。

  未来，用户在随身、驾车、居家三大场景都有多种智能设备和传感器。我们可以将其理解为一个能感知和获取大量环境和用户数据的离散机器人。基于对这些数据的充分理解和思考，大模型可以操控所有设备联动，实现很多目前看来不可思议的功能，为大家的生活带来真正的便利。

大模型是未来科技的发展趋势，更是下一个人工智能的高地。小米会基于对产业和时代的思考与理解，选择对人类文明有长期价值的战略方向，并坚持长期持续的投入，不断探索更多可能性，让全球每个人都能享受大模型带来的美好生活。