MIT缓存管理方案新研究:选择性存储器Banshee


在传统计算机中,微处理器安装在底部有电线的小电路板上。 芯片将嵌入计算机主板,允许数据在处理器和计算机主存储体之间传输。

随着处理器晶体管数量的增加,处理器和主存储器之间相对较慢的连接已经成为提高计算机性能的主要障碍 因此,在过去的几年里,芯片制造商已经开始将传统上是主存储器的动态随机存取存储器封装在芯片上。

这种内存是一种高容量缓存,可以快速存储常用的本地数据 然而,动态随机存取存储器(DRAM)从根本上不同于芯片缓存常用的存储器类型,现有的缓存管理计划并没有有效地使用它。

在最近的IEEE/ACM微结构国际研讨会上,麻省理工学院、英特尔和苏黎世联邦理工学院的研究人员提出了一种新的高速缓存管理方案,将封装内动态随机存取存储器高速缓存的数据率提高了33%至50%

湘瑶于,麻省理工学院计算机科学与人工智能实验室博士后研究员,论文的第一作者,说:“这种封装的动态随机存取存储器的带宽可能比非封装的动态随机存取存储器高五倍。” 事实证明,以前的缓存管理计划花费了太多的流量来访问元数据或移动数据,但它们并不是他们真正想要的数据,而且浪费了大量带宽。 "

在现代计算机芯片中,当一个处理器需要一个特定的数据块时,它会检查它的本地缓存,看看数据是否已经存在。 这些缓存的数据将被标记为它们来源的数据的地址,即元数据

一个典型的芯片缓存可能有足够的空用于64,000个数据项,并且每个数据都将被标记元数据转换 显然,处理器不想每次都在64,000个项目中搜索自己感兴趣的数据。 因此,缓存系统经常使用所谓的“哈希表”来组织数据 当处理器使用特定的标签来查找数据时,它首先将标签反馈给哈希函数,哈希函数以规定的方式处理该标签并生成新的数字,该数字用于指定在数据表中找到的数据的位置

hash函数的意思是非常相似的输入产生非常不同的输出。 这样,即使处理器严重依赖于来自窄地址范围的数据,例如对大图像的一部分执行复杂的操作,数据也会在高速缓存中被隔开,从而不会在单个位置造成数据阻塞

此外,散列函数还可以为不同的输入产生相同的输出,即如果用户想要处理各种可能的输入,就像缓存方案一样,那么它更有可能产生相同的输出 因此,缓存的哈希表通常在同一哈希索引下存储两三个数据项,为给定标签搜索两三个数据项比搜索64000个数据项容易得多

标准高速缓存中使用的动态随机存取存储器和静态随机存取存储器技术有什么不同?静态随机存取存储器对它存储的每个数据使用6个晶体管,而动态随机存取存储器只使用一个晶体管,这意味着它的效率在空之间更高 然而,静态随机存取存储器有一些内置的处理能力,而动态随机存取存储器没有 如果处理器想要在静态随机存取存储器高速缓存中搜索数据项,处理器将标签发送到高速缓存,然后静态随机存取存储器电路本身将标签与存储在响应的散列位置中的数据项标签进行比较,如果匹配,则返回相关数据

相比之下,动态随机存取存储器支持请求传输的数据 因此,处理器将请求存储在给定散列位置的第一标签中,并且如果匹配,则发送第二请求以获得相关数据。 如果不匹配,它将请求第二个存储标记。如果没有匹配,它将把它发送到第三个,直到找到它想要的数据,否则它将放弃并进入主存储器。

封装动态随机存取存储器可能有很多带宽,但是这个过程占用了它的带宽 向耀玉和他的同事通过对芯片上大多数现有的内存管理系统做一些小的修改来避免所有元数据的传输。

运行在计算机芯片上的任何程序都必须管理自己的内存使用,并且通常会使程序像拥有专门的内存存储来应对攻击一样方便。 但事实上,多个程序通常同时在同一个芯片上运行,并且它们同时向主存储器发送数据。 因此,芯片中的每个核心或处理单元通常都有一个表,该表将单个程序使用的虚拟地址映射到主存储器中存储的数据的实际地址。

新系统被称为女妖,表中的每个条目都增加了3位数据 其中一个指示虚拟地址中的数据是否可以在动态随机存取存储器高速缓存中找到,而另外两个指示其相对于具有相同散列索引的任何其他数据项的位置。

向耀玉说:“在一个条目中,你需要一个物理地址、一个虚拟地址和一些其他数据。” 这些加起来差不多有100位 所以这三个额外的比特已经很小了 “

但是这种方法有一个问题,这也是女妖必须解决的问题。 如果一个芯片的核心将一个数据项拖放到动态随机存取存储器缓存中,其他核心就不知道了 每次向芯片内核发送消息时,更新缓存都会消耗大量时间和带宽。 因此,女妖引入了另一个叫做标记缓冲区的小电路,任何给定的内核都可以记录它缓存的数据项的新位置。

来自任何内核的请求通过标签缓冲区发送到动态随机存取存储器高速缓存或主存储器,标签缓冲区检查所请求的标签是否已被重新映射。 女妖只会通知所有芯片内核,当缓冲区满了时,它们需要更新虚拟内存表。 然后它清除缓冲区并再次启动

buffer非常小,只有5kb,所以它的增加不会占用太多芯片内存。 研究人员的模拟结果表明,与女妖节省的带宽相比,每次存储器访问所需的额外地址查找时间可以忽略不计。

人工智能2017年最热门的标签 对于许多人工智能水测试员来说,你知道如何平衡技术和需求吗?你知道如何利用这项政策事半功倍吗?你知道如何找到公司的投资机会吗?12月14日,“2017亿欧洲创新者年会人工智能产业应用峰会”,我们将邀请众多投资者、企业家和人工智能精英共同探讨。它不仅是人工智能+行业+应用,也是需求者和技术提供者的沟通平台、政策专家和企业的沟通平台、投资者和企业的相互追逐平台、应届毕业生和企业的对接平台。 多维,更深,到这里来实现你的人工智能!

版权通知

本文来源于1亿欧元,并在1亿欧元的授权下发行。版权属于原作者。 请点击重印说明进行重印或内容合作。任何非法翻印都将受到起诉