大规模计算的突破：“分解”成为现实的记忆

几十年来，云计算和高性能计算社区中大型计算机集群的运营商一直在寻找一种共享服务器内存的有效方法，以加快应用程序的性能。

现在密歇根大学工程师开发的一种新的开源软件，使实用。

该软件被称为infiniswap，它可以帮助组织利用远程直接内存访问网络省钱和节约资源的稳定记忆负荷之间的机。与它的前辈不同，它不需要新的硬件，也不需要改变现有的应用程序或操作系统。

infiniswap可以提高内存的利用集群中高达百分之47，这可能导致百分之27的金融储蓄，研究人员说。更有效地利用内存集群已经意味着更少的钱花在额外的内存。

“infiniswap是分级实现集群宽记忆解体的第一个系统，即在计算集群中的所有服务器的内存是透明的暴露为一个单一的内存池，集群中的所有应用程序，“infiniswap项目负责人Mosharaf Chowdhury说，计算机科学和工程研究助理教授。

“记忆的解体是大规模计算的皇冠上的明珠，因为在现代集群内存不足。”

该软件允许服务器在集群运行时立即从集群中的其他服务器借用内存，而不是写入较慢的存储介质（如磁盘）。当服务器内存不足时，写入磁盘被称为“分页输出”或“交换”。磁盘的数量级要比内存慢，而数据密集型应用程序经常在服务器需要分页时崩溃或停止。

以前的方法对记忆分类从计算机体系结构、高性能计算和系统的社区，以及行业并不总是实用。除了新的硬件或修改现有的应用程序，许多依赖于集中控制，成为系统扩展的瓶颈。如果失败，整个系统就会崩溃。

为避免瓶颈，密歇根团队设计了一个完全分散的结构。由于没有集中的实体跟踪所有服务器的内存状态，所以不管计算机集群有多大都不重要。此外，infiniswap不需要任何新的硬件或修改现有的应用程序设计。

“我们已经重新考虑知名远程存储分页问题在RDMA的背景下，”乔杜里说。

研究小组测试了infiniswap在从数据密集型应用，范围从内存数据库比如VoltDB和memcached的流行的大数据软件Apache Spark工作量32机RDMA集群，PowerGraph和该。

他们发现，infiniswap提高了一个数量级的“吞吐量”-进行每秒操作数和“尾潜伏期”最慢的操作速度。吞吐率提高到4倍和16倍infiniswap，尾潜伏期由61个因素。

乔杜里说：“自上个世纪90年代以来，如果磁盘慢了，那么在网络上借用内存的想法已经存在，但网络连接速度不够快。”现在，我们已经达到的地步，大多数数据中心部署在超级计算环境以前只能型低延迟RDMA网络。”

infiniswap正在积极开发由密西根大学计算机科学与工程的研究生俊丞谷、Youngmoon Lee、易文章、乔杜里和Kang Shin的指导下，电气工程和计算机科学教授。

这项研究导致infiniswap是由美国国家科学基金会资助，海军研究办公室和英特尔。在最近的一infiniswap论文，题为“与infiniswap内存的有效分解，“在网络系统的设计与实现在三月的USENIX研讨会。

原文：Sue Carney