文斐：研究解决大型语言模型的存储瓶颈问题

原文地址：http://news.sciencenet.cn/htmlnews/2023/4/497858.shtm

“由于半导体器件的物理限制，摩尔定律已经难以为继；今后计算机芯片的效率提升将主要来源于体系架构的创新。”华南理工大学计算机科学与工程学院原院长、广东省计算机学会理事长韩国强对《中国科学报》表示，文博士的工作是该方向的成功案例之一。他的工作对未来内存及存储系统，高效率计算系统的研发都有较大的指导和借鉴意义。

记者了解到，韩国强提到的文博士是指文斐。他本科毕业于华南理工大学，2020年在美国德克萨斯农工大学（Texas A&M University）获得计算机工程博士学位。他曾于2015年在惠普实验室（HP Labs）任研究员，目前在美国高通公司研究中心担任高级机器学习工程师一职，主要从事下一代机器学习的硬件架构及设计。他的研究兴趣包括AI芯片架构设计、内存及存储系统、以及FPGA（现场可编程逻辑门阵列，一种可以灵活载入新逻辑功能的大规模数字集成电路）加速等。

  ?

文斐就读于美国德克萨斯农工大学期间留影。受访者 供图

开发出混合内存系统仿真平台

去年11月诞生的ChatGPT，在今年2月一路“狂飙”，爆火“出圈”，成为目前为止最为强大的通用人机对话系统。作为由OpenAI训练的对话式大规模语言模型，ChatGPT不仅引爆了打工人的焦虑，也搅动了人们对AI产业期望的一池春水。

ChatGPT属于大型语言模型，其他的模型还有BERT、T5等。“大型语言模型通常包含百亿级别的神经元（或参数），因此对计算机系统的内存构成重大挑战。决定大型语言模型运行的性能瓶颈也通常在于存储系统。”文斐对《中国科学报》表示。

据他介绍，最近几年涌现的新型非易失性存储器（Non-volatile Memory，简称NVM），如PCM、Memristor、MRAM、ReRAM有望解决该性能瓶颈问题。NVM提供了更高的存储密度及容量。同时，NVM不需要一直通电，因此有更好的静态功耗。

此外，NVM可以用于发展新型的存内计算架构，从根本上减少数据从CPU到内存之间的传输，降低延时及能耗。“然而，NVM也有其劣势。对比传统的DRAM内存，其读写速度较慢，而且NVM设备的寿命有写入次数限制。因而，混合型内存系统可以较好地同时利用这两种内存设备的优点。”文斐说。

在研究混合内存问题的过程中，文斐开创性地搭建了基于FPGA的硬件仿真平台。传统的计算机体系研究通常使用基于软件的仿真器，例如gem5。然而，这种仿真器通常只能仿真CPU内部结构，而缺乏对外部IO及总线互连的支持，同时仿真速度极为缓慢。

而文斐所提出的基于FPGA的混合内存硬件仿真平台，相对于此前的软件仿真实现了9280倍的加速，使研究人员能够轻松研究和评估新的内存结构设计，从而大大加速类似的存储系统研究课题。

研究成果具有价值和独创性

近年来，文斐在计算机硬件类的国际期刊DAC、IEEE-TCAD、FPL等发表了多篇文章，首次较为系统地解决了混合型内存系统的数据管理问题。

据韩国强介绍，文斐通过智能识别程序内存的访问模式，动态管理数据在混合内存设备上的空间分配以及移动；在此基础上结合软硬一体设计优化，能在极少影响性能的前提下大幅节省功耗。同时他提出的基于FPGA的模拟实验方法也较传统软件仿真更为精确可信。

实验数据表明，文斐设计的智能混合内存在系统闲置时，只需传统内存系统1/8的能耗，即使在负载时，平均也可以降低约40%的内存系统功耗。而内存系统的功耗通常占到超算系统中14%左右。以中国最新的神威太湖超算系统为例，其一年的利用率为50%，电费高达6千万。如果使用智能混合内存，则电费一项可预计节省530万元。

“我相信文博士的工作已经在推动新型计算机技术的发展。”美国科罗拉多州立大学电子与计算机工程学院院长Sudeep Pasricha认为，“文博士的研究工作已在业内具有相当影响力。DAC、IEEE-TCAD及FPL等著名学术会议及期刊发表文博士的论文也彰显了其研究成果的价值和独创性。”

据了解，文斐设计的智能内存管理硬件模块（hardware memory management unit，简称HMMU），可以自动识别模型中每片数据的访问模式（access patterns），从而优化其在混合内存（hybrid memory）中的分配位置。比如，频繁访问的数据会自动分配到DRAM以获取更快的读取响应；而体积巨大且访问较少的数据则会被分配到NVM中以节省能耗。

在HMMU的基础上，文斐进一步开发了OpenMem系统，可以从软件代码的分析结果中得到全局和更长期的数据访问模型，同时兼顾HMMU探测到的短期数据访问模型，从而更进一步优化混合内存的性能、功耗以及设备寿命。

“文斐的工作提供了巧妙而创造性的方法来改善计算设备的功能，以规避芯片的物理限制。由于这一点，他在该领域的持续参与对于下一代计算系统的发展很关键。”加州大学河滨分校电子与计算机工程学院教授曾泓玮说。