GPT 3

跨越计算鸿沟:如何靠软硬件协同突破算力瓶颈?



Michael Wang

跨越计算鸿沟:如何靠软硬件协同突破算力瓶颈?
Crossing the computing divide: How to break through computing power bottlenecks with hardware and software collaboration?

数据、算法、算力被称作深度学习的三架马车,共同驱动了第三轮人工智能浪潮的兴起。一方面,硬件计算能力的发展确实快速推动深度学习技术在各个领域取得巨大进展,但另一方面,深度学习模型升级的频率显著高于过去,模型的计算力需求呈爆炸式增长,已经将过去多年来累积的计算力成本下降的红利迅速蚕食。

近几年,许多给人留下深刻印象的技术突破都是“大力出奇迹”类型,即算法的新鲜度不强 ,但是通过使用更多的数据、更多的算力,实现更惊艳的效果 。以最近火爆全球的 GPT-3 模型为例,其参数量高达 1700 亿,有行业人士估计训练这一份模型需要 1200 万美金,别说普通人玩不起,就是一般的公司也难以承担。人工智能要真正实现全面落地,还面临着巨大的鸿沟。

但万物智联的时代就在眼前,数据的增长、算法的发展将会给算力带来越来越大的挑战,提高整个计算系统的性能与效率迫在眉睫。面对算力瓶颈,软件层面能做些什么?如何进一步通过软件释放硬件的最大性能?如何更好地满足对海量数据进行实时处理和分析的需求?实现“计算普惠”还有哪些途径?

本期 InfoQ《大咖说》邀请到了来自英特尔、南京大学、清华大学、中科院的五位技术大咖针对上述问题展开讨论,快来围观大佬们的观点碰撞吧!

直播大纲
议题一:智能互联时代,算力面临哪些挑战?
在全球疫情大流行的背景下,互联网、数字经济、人工智能加速发展,数字鸿沟的问题进一步加剧,这背后反映的是什么问题?计算力面临着哪些方面的挑战?

议题二: 如何通过软硬件结合,实现算力的指数级提升?
现在业界已形成共识,要实现算力的指数级提升需通过软硬结合,大家觉得实现软硬件结合的最好方式是什么?有哪些必备的特点?

议题三:如何进一步通过软件释放硬件的最大性能?
在软硬件结合的基础之上,软件方面还有什么创新思路,能够进一步释放硬件计算性能?如何通过软件快速提升算力,满足对海量数据进行实时处理和分析的需求?

议题四:实现“计算普惠”还有哪些新路径?
应对日益增长的计算需求,还有哪些路径 / 方法能让计算力变得人人可用?

嘉宾介绍
宋继强/ 英特尔中国研究院院长
谢晓清/ 英特尔架构、图形和软件集团副总裁兼中国区总经理
张贺/ 南京大学软件工程教授
崔慧敏/ 中国科学院计算技术研究所研究员
翟季冬/ 清华大学计算机系长聘副教授、博士生导师