2025年被视为人工智能应用大规模落地的元年,AI技术在带来革命性便利的同时,所带来的负面影响和安全风险也越来越受到关注。但另一方面,AI幻觉的存在让公众对大模型的应用造成了“信任误区”。调研数据显示,公众在使用AI应用过程中最突出的问题是“内容不准确,或含虚假信息”,这一问题的反馈占比高达42.2%。
该如何应对AI幻觉带来的挑战?在环球时报研究院举办的“环球前沿科技论坛之AI治理系列”AI幻觉专题研讨会上,多位业内专家就相关话题展开讨论。与会专家表示,AI幻觉的危害程度与应用场景密切相关。在非关键场景AI幻觉的影响相对较小;然而在医疗、司法等高风险领域,AI幻觉可能会导致严重后果。
面对这些挑战和安全风险,如何尽可能地激发人工智能技术的发展潜力并有效降低大模型幻觉所带来的风险,已成为当下关注的焦点。
在此背景下,作为国内领先的互联网医疗平台,方舟云康控股有限公司(下简称:方舟云康)近年来持续探索AI在互联网医疗领域应用的落地实践,并将数据管理能力转化为技术优势。
在垂类大模型研发及应用过程中,方舟云康技术团队意识到互联网医疗领域垂类大模型应用的核心挑战,就是如何确保其准确性、专业性。如在具体服务应用场景中,AI大模型可能会生成看似合理但实则错误的症状分析,甚至还会虚构药物信息等,这一系列的医疗决策风险关乎生命安全,在研发应用时就需格外严谨。
深耕互联网医疗领域多年,方舟云康技术团队敏锐洞察到大模型应用可能潜藏的“幻觉风险”,对此采取了包括知识库优化、模型优化、大模型监督等一系列措施,以最小化AI大模型幻觉,树立了行业标杆。如在技术层面构建“精准知识库+多模型协同+严格安全管控”安全模式,从数据源头、模型训练、输出结果验证三个层面抑制大模型幻觉,降低使用风险。
值得注意的是,方舟云康在数据管理方面的卓越表现,为其AI技术创新与场景落地奠定了坚实的数据基石。2024年,方舟云康旗下公司通过中国电子信息行业联合会的评审,获得数据管理能力成熟度评估(DCMM)稳健级认证。
从创新性幻觉抑制方案的提出到数据管理能力受到行业认可,方舟云康通过科技创新与生态协同,持续拓展“AI+互联网医疗”的新边界。展望未来,方舟云康将继续深化AI技术在互联网医疗等领域的应用,为其提供更多创新性解决方案,助力“健康中国2030”战略下的互联网医疗数智化升级。