讨论生成式AI时代RTE的展开与退步 第十届RTE大会开幕 (生成式方法和判别式方法)

10月25日，由声网和RTE开发者社区结合主办的RTE2024第十届实时互联网大会在北京正式开幕，本届大会主题为“AI 爱”，掩盖AI、出海、社交泛文娱、IoT、Voice AI、空间计算等20+行业及技术分论坛。往年是声网成立的十周年，也是RTE大会的第十届。十年间，实时互动从“理念”展开成一个“行业”。实时互动技术不只助力社交泛文娱、在线教育、IoT、企业服务等几十个行业、数百个场景成功了逾越式生长，也支撑了诸多互联网风口的退步，从过去的电商直播、互联网医疗、秀场直播到如今的大模型，都离不开RTE才干的介入和赋能。

在全新的生成式AI时代，RTE与AI也将迎来更多或许性。25日上午的RTE2024主论坛中，声网开创人兼CEO赵斌、Lepton AI开创人兼CEO贾扬清、声网首席迷信家、CTO钟声区分带来主题演讲。赵斌分享了声网十年以来专注实时互动行业的深化洞察，以及他对RTE在生成式AI时代下未来展开的趋向判别。贾扬清则站在AI基础设备的视角下，分享了他对AI运转、云、和GPU算力云技术的独到观念。钟声的主题演讲聚焦在对实时AI基础设备的讨论上，并分享了AI与 RTE结合的前沿技术通常。

赵斌：生成式AI将驱动IT行业四大革新

生成式AI正在驱动IT行业出现大革新，赵斌以为，这一趋向关键体如今四个层面：终端、软件、云和人机界面。在终端上，大模型才干将驱动PC和Phone往AI PC和AI Phone的方向退步。在软件上，一切的软件都可以、也将会经过大模型重新成功，并从Software with AI展开至AI Native Software。在云的层面，一切云都要求具有对大模型训练和推理的才干，AINativeCloud将成为支流。此外，人机界面的支流交互方式也将从键盘、鼠标、触屏变成天然言语对话界面（LUI）。

随着生成式AI成为下个时代IT行业退步的主题，RTE也成为了多模态运转和基础设备中一个关键的部分。10月初，声网的兄弟公司Agora作为语音API协作者，出如今了OpenAI公布的Realtime API地下测试版中。

在此次大会中，赵斌表示，声网与 MiniMax 正在打磨中国第一个Realtime API。赵斌也展现了声网基于MiniMax Realtime API 打造的人工智能体。在演示视频中，人与智能体轻松流利的启动实时语音对话。当人类打断智能体并提出新的疑问时，智能体也能够十分灵敏的加快反响，成功了与人类天然流利的对话。

在生成式 AI 的大潮下，RTE 将会提供更为广阔的空间。赵斌也在分享中宣布，声网正式公布了 RTE+AI 才干全景图。在全景图中，声网从实时 AI 基础设备、RTE+AI 生态才干、声网 AI Agent、实时多模态对话式 AI 处置方案、RTE+AI 运转场景五个维度，明晰出现了当下 RTE 与 AI 相结合的技术才干与运转方案。生成式 AI 与RTE 结合带来的场景创新，将成为下一个十年的主题。

过去十年，声网不只见证并推进了 RTE 从一个理念变成一个行业的环节，更身体力行的打破了国际实时音视频范围的三有外形。赵斌称，10年前行业内没有行业会议、专业书籍、以及专业媒体和社区。如今，RTE 大会迈入第10年，声网也于往年8月正式出版行业首本系统引见实时互动的技术型科普图书《读懂实时互动》，同时，RTE开发者社区也继续兴盛，减速推进。

贾扬清：AI 是云的第三次浪潮

随着 AI 技术的展开，AI 时代的大模型运转开发、AI 云、以及 GPU 等基础设备树立逐渐成为抢手话题，也成为了支撑整个行业展开、催生新运转降生、新商业价值成功的基本底座。Lepton AI 开创人兼 CEO 贾扬清在 RTE2024 主论坛上区分从 AI 运转、云、GPU 算力云技术以及企业大模型自主性等层面带来了他对 AI 基础设备退步的解读。

针对 AI 运转，贾扬清指出，今天是最容易树立 AI 运转的时代，越是繁复的 AI 模型思绪越容易出现优良的效果。AI 才干加持后，运转自身的开发范式也在从数据、模型、运转构建三个维度出现变化，未来的运转开发将从“以流程为中心”转化为“以模型为中心”。

除了 AI 运转层面，传统的云架构也在大模型、GPU 优化等需求的催化下出现了天翻地覆的变化。贾扬清以为，AI 是云的第三次浪潮，继 Web 云、数据云之后，AI 将成为第三朵云。AI 云有以下三个特征：算力会成为智能的基础、AI 云要求大批计算与大规模的异构集群，以及大批但高质量的通讯。总体而言，云的产品外形，实质是计算和传输的平衡。贾扬清指出，在 AI 云的外形下，实时的交流和智能的结合在用户体验环节十分关键。毫不夸张的说，实时将直接与消费力划上等号。

企业在构建自己的大模型自主性上，终究该如何决策？贾扬清强调，企业应该将开源和闭源大模型都归入思索范围。采纳开源模型+定制化的优点不只仅是具有更强的可定制性，还有更低的本钱以及更高的速度，开源+定制化能够抵达比闭源模型更好的效果。

钟声：散布式端边云结合的AI系统将成为现代基础设备的基本外形

在曾经到来的 AI 时代，现代化基础设备应该是什么样？声网首席迷信家、CTO钟声提到，大批用户设备往往会先接入边缘节点、并在要求的时辰再接入云端，数据将在端设备、边缘节点和云之间往复传递。AI 时代的数据中心会包括以大批异构算力组成的超级计算集群（SuperScaler）。但是，逗留在仅依赖超级计算集群的系统是远远不够的，万亿参数、多模态引入所构成的高昂计算本钱、缺乏机制束缚的数据隐私维护、几秒钟的延时都将阻碍大模型的普惠，极大地限制其在很多场景下的运转。

钟声以为，散布式端边云结合的 AI 系统将有效处置这些痛点。这个系统将把计算和传输在各节点做合理地性能，系统会智能地以自顺应的方式把义务编排到端与边上行动，十分有效地降低了本钱，同时提供了更低延时（低于1秒级的照应速度）、更高网络哆嗦容忍度、优良的抗噪声才干，并且完整的用户数据只会保管在端上。

分享环节中，钟声还在大会现场演示了一个由STT、LLM、TTS 、RTC四个模块组成的端边结合实时对话AI智能体，这也是全球初次有厂商在比日常通常场景更具应战的环境下展理想时AI 对话才干。大会现场观众规模逾越千人，面临复杂的噪声、回声、麦克风提早等艰难，但智能体与钟声的互动依然表现出了优良的对话才干，在普通5G网络环境下成功了流利、天然、幽默的双向实时对话，对话模型的极快照应速度、及时打断与被打断的天然水平、对立噪声才干、遵照语音指令做等候才干都十分突出。

正如钟声在最后分享的，随着端设备的多样化以及才干的优化，AI 基础设备会变得更优化合理，使得 AI 无处不在，AI助理、AI分身协助我们有效缓解时期稀缺性，改善任务效率和生活体验。

圆桌：AI 的6000亿难题，从基础设备到商业化落地

AI 的6000亿美元难题，不时都是整个行业十分关心的话题，在圆桌讨论环节中， Lepton AI 开创人兼 CEO 贾扬清、 合伙人魏伟、面壁智能结合开创人＆CTO 曾国洋、Hugging Face 工程师王铁震、Agora 结合开创人 Tony Wang 五位嘉宾一同讨论了从 AI 基础设备到 AI 商业化落地的机遇与应战。

针对商用大模型和开源大模型未来的展开趋向，贾扬清分享了两个中心观念：其一，同等质量模型的Size会变得越来越小，计算效率会越来越高，模型架构也会变得愈加开通和规范。其二，除了极少数头部公司之外，越来越多的企业会采纳开源架构来做下一代模型。因此，开源架构的运转会变的越来越普遍，经过开源架构训练出来的模型也都会有各自不同的品格。

王铁震则表示，我们将在未来看到越来越多 Infra 和 Realtime 的任务，大家不只要求关注开源模型自身，还要求注重开源模型的基础设备和数据闭环，才干把开源模型跑得更好、更快。Realtime 要求TTS、也要求大模型，假定能够经过一些方式放在一同，放在边缘侧、离用户更近的中央，才干出现十分好的效果。

关于如何看待音视频多模态模型的通常运转潜力，魏伟表示，随着多模态的出现，生成式人工智能的边界肯定会被继续拓展，并减速这一产业的革新。从产品和用户服务环节中魏伟发现，文本、语音、音乐、视频这些模型可以很好的协助艺术、影视、音乐等范围的创作者极大地提高效率，并为他们提供新的思绪和方法。

针对大模型技术微小的本钱经常经常使用疑问，曾国洋分享到，随着技术的行进，算力肯定会变得越来越廉价，相反才干的模型规模也会变得越来越小，但算力本钱优化会最终转化为训练更弱小的模型。真正抵达 AGI 水平之前，我们只能感遭到模型在变得越来越强，很难感遭到本钱的变化。他还提到，由于面壁智能是做端侧模型的，所以很关注如何让模型在端上跑得更快，在通常部署环节中，他们会用各种量化紧缩甚至是稀疏化方法去优化通常部署的开支。

总结来说，Tony Wang 以为想要推进 AI Infra 到模型、再到商业化落地，技术驱动和本钱是最中心的两个点。此外，在产品真正走向市场的环节中，流量和口碑也是关键。

过去十年，声网不只见证并推进了 RTE 从一个理念变成一个行业的环节，更身体力行的打破了国际实时音视频范围无行业会议、无专业书籍、无专业媒体及社区的三有外形。自此，RTE 大会迈入第10年，行业首本系统引见实时互动的技术型科普图书《读懂实时互动》于往年8月正式出版，RTE开发者社区也正在秉持着“开通、衔接、共创” 的理念减速实时互动和 AI 的共生。

未来，声网将继续和大家一同，站在全新的终点、拥抱兴盛且充溢应战的 AI + RTE 新时代。