2024年9月23日

据国际数据公司（IDC）于2024年8月发布的报告《中国数据治理市场份额 2023：为GenAI做好准备》（Doc#CHC51598024）显示，腾讯大数据旗下的“腾讯云”凭借一站式数据开发与治理平台WeData在中国的数据治理平台市场上占据第二大市场份额，其市场增长率更达至67.1%，位居行业第一。

作为腾讯软硬件协同设计团队负责人以及分布式云存储领域的技术专家，刘强先生向我们分享了腾讯大数据在软硬件协同领域的发展成果和未来方向。他介绍说，腾讯大数据平台不断创新，致力于提供高性能的数据服务，以满足多样化的应用场景和客户需求。通过构建全面的产品线，使以天穹硬件为底座的大数据平台为企业提供了坚实的数据基础设施，支持企业实现数据驱动的业务战略。

WeData作为云端一站式数据开发治理平台，凭借其全链路数据治理能力，于2023年以67.1% 的高增长率夺得市场第二大份额。WeData不仅融合了数据集成、数据开发、任务运维等全链路DataOps数据开发能力，还提供了数据资产、数据质量、数据安全等一系列数据治理和运营能力，帮助企业应对日益复杂的数据环境，提高企业的数据就绪度，为GenAI做好准备。而构筑WeData强大能力的基础设施便是我们的天穹硬件底座。经过在计算、存储和网络方面持续多年的优化和软硬件协同设计，天穹硬件底座为腾讯大数据提供了可靠的基础设施服务，支持企业利用数据驱动业务发展。

腾讯大数据在软硬件协同领域的多个方面均处于市场领先地位：

Kona JDK，作为大数据领域最流行的开发语言，腾讯大数据JVM团队在保障业务极致性能的同时，积极贡献开源社区，将SVML向量加速能力提升3倍，并连续四年蝉联JDK18贡献度国内第一； 在2024年中国大数据产业博览会上，我们以“数据要素自适应流通技术创新及合规应用”荣获优秀科技成果奖。这一成果不仅是对腾讯大数据技术的肯定，也是对天穹平台在保证数据要素流通安全与合规方面努力的认可； 面向AB（AI & Big Data）场景的DOP存换一体解决方案，将分布式存储HDFS、Ceph、高密机型等，冷、热分级分层存储管理，提供兼具性能、低成本和高可用的持久化存储； 大数据高性能网络通信框架将RDMA技术在数据中心规模化落地，将用户作业完成时间缩短10～15%，延迟降低20%，并节省15%的CPU使用率。

此外，腾讯大数据的软硬件协同能力丰富，能有效应对当下生成式AI和大模型的发展趋势和挑战。我们AB一体的软硬协同设计将大数据场景和AI场景结合，从编译和数据流的视角去优化大数据编排和高密计算，以弥合底层异构硬件的差异，如英伟达的GPU和各种NPU带来的硬件适配和性能问题。通过AB结合、软硬件协同设计等手段，我们为业务部门提供了开箱即用的极致体验，使公司不同部门能够聚焦在各自的业务场景，依托先进技术驱动战略成功。

对于业务部门的定制化需求，我们通过与硬件供应商的深度合作，在偏业务侧的框架层采用自研模式，融入业务的定制化业务逻辑，在硬件侧提供统一的硬件中间表示层，将业务算法翻译到统一的中间表示层后，再通过后端编译器翻译成实际执行的机器码。

刘先生举例说：“比如我们的广告模型团队利用我们的ABO协同框架，可以在无感知底层硬件的变动下，充分聚焦算法改进，而ABO框架则通过对后端厂商的适配和优化，保证业务部门在降低硬件成本的前提下，保持甚至提升相关性能”。

再比如我们在DPU领域的尝试和创新极大地丰富了大数据业务的应用场景，通过对DPU硬件加解密部件在Spark、Flink等大数据组件中的功能实现，以及CRC校验功能和RDMA通信时延的优化，为金融相关业务，如支付等，提供了安全、可靠且稳定的端到端链路保证。

这些年我们紧密跟随乃至引领云服务的最新发展，在软硬件协同设计和实施上采取了软件预研、小规模硬件验证，规模化落地和迭代创新的小步快走策略，在实现技术创新的同时充分保证了业务上的成功。

“展望未来，随着自动驾驶、大模型等新兴业态的发展，腾讯大数据将继续快速迭代，提供定制化的软硬一体的解决方案，帮助更多业务从大数据技术的进步中获益，”刘强先生表示，“腾讯大数据将持续推动软硬件协同技术创新，以满足不断变化的市场需求，确保企业能够充分利用数据的力量，用数据创造价值”。（田歌）