12月21日,由中国信息通信研究院、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)主办的可信隐私计算高峰论坛暨数据安全产业峰会顺利举行。
人工智能的发展与大数据息息相关。陈凯表示,AI的成功建立在大量的数据基础之上。在学术界,正是由于ImageNet等优质而理想的大数据,人工智能、计算机视觉才得以迅速发展。然而,产业上由于数据安全相关法律法规的相继出台与落地,数据的管理和使用日趋严格,类似于医疗、政务、金融等高质量、规模化的数据通常以数据孤岛的形式分散于不同机构、不同行业,难以汇集进行人工智能建模。
在严监管的情况下,解决数据供给与数据安全防护双重诉求逐渐是各行业的普遍问题。因此,联邦学习“数据可用不可见,数据不动模型动”的特性使其快速“出圈”,备受产业界关注。“就像小溪积流为江海,借助联邦学习技术把分属于不同机构的数据汇集到一起,分离数据所有权与使用权,安全合规的将小数据聚合为大数据进行建模训练,是企业数字化转型的重要支撑。”陈凯表示。
从技术角度而言,联邦学习在原始数据不出域的前提下实现了数据价值高效流转,不仅满足了监管对数据安全防护要求,使数据的生产要素作用得以高效流转,同时也释放了人工智能、机器学习产业应用的增量需求。
作为人工智能与大数据的重要关键技术延伸,联邦学习大规模应用于政务、金融、医疗等领域渐成重要趋势。但由于联邦学习引入大量密码学算法,效率问题是大规模联邦学习系统的关键挑战。
“不解决算力和通信问题,隐私计算的大规模应用将无从谈起”。面对隐私计算的算力及通信压力,陈凯表示,通过对隐私计算进行大量的实验和分析研究,联邦学习的算力挑战主要来自于两方面:
首先是计算压力,联邦学习采用大量密文计算,加密后的数据计算将会产生大量的算力开销,单次模型训练与迭代的耗时将会呈现指数级增长。即使使用最小位数加密计算,比如1024bit秘钥位宽,相较于明文计算也将慢上数十倍。随着秘钥位宽的增加,隐私计算的实际运算效率将会存在指数级差异。
其次是通信压力。相较于传统分布式学习技术,联邦学习的模型分布于不同机构、不同行业的参与方。因此,联邦学习的实际应用往往需要频繁通信以交换中间结果,加之以密态来传递中间结果,进一步降低了数据传递效率。
立足联邦学习算力及通信挑战,结合产业对于隐私计算的应用需求,星云Clustar研发团队基于其在高性能数据中心网络和系统研究成果,分别针对联邦学习的计算和通信进行了大幅优化。
一方面,星云Clustar团队基于联邦学习不同应用的分析,归纳总结出了十数种影响计算效率的密码学计算算子,并创新性的将算子中公共部分组成核心模幂引擎,可根据实时任务需求将模幂引擎拼装成不同算子,为联邦学习带来全周期的性能提速。
另一方面,针对分布式的通信开销,星云Clustar首先以高性能网络通信协议(GPU direct RDMA)提升两点间的数据传输性能;其次以依据分布式AI学习特性优化多点间的参数同步性能与流调机制;第三设计了AI专用网络通信协议。“目前,我们的高性能网络加速技术已开源至谷歌TensorFlow社区,过去几年中已经广泛应用于工业界。”
星云Clustar也基于上述研究,推出了业界首款FPGA算力加速卡。通过创新的算力加速架构,加速卡可支持多达16个任务并行计算,支持多达300余个模幂计算引擎,同时支持4096 bit位宽的数据密态运算,为联邦学习的实际作业实现50-70倍的单点性能提升。
“算力作为隐私计算未来大规模落地的核心基础设施,星云Clustar不断加大研发投入,并携手市场头部企业、云厂商,推动隐私计算加速迈向大规模落地,实现对金融、政务等不同业务场景的快速赋能。”陈凯说道。
本次大会还重磅揭晓了由工信部中国信息通信研究院、中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)共同组织开展的2021大数据“星河”案例,星云Clustar与招商银行联合申报的“基于隐私计算的大数据智能风控”项目自300余申报项目中脱颖而出,入选2021年度“星河”隐私计算优秀案例。