基于可配置逻辑的优化KV存储性能的硬件及其实施方法与流程

本发明涉及优化存储性能的硬件，尤其涉及基于可配置逻辑的优化kv存储性能的硬件及其实施方法。
背景技术：
：：1、目前kv存储的实现主要有lsm-tree（log-structured merge-tree，一种数据结构，常用于磁盘存储系统中，特别是在键值存储和数据库管理系统中）和hash（hashfunction，即散列函数，一种从任何一种数据中创建小的数字“指纹”的方法）两种。基于hash的kv-ssd（key-value store solid state drive，一种专门为键值存储数据结构设计的固态存储设备）作为一种新型存储器件在键值存储系统中被广泛应用。2、在实际的存储读写应用中，软件的实现会产生对cpu的高占用率；而在硬件的实现中，hash类型预先设定，实际应用后想要再调整则不支持或是操作复杂，造成了hash冲突几率的增加或者读写性能的下降，给实际的应用带来了不便。技术实现思路1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。2、鉴于上述现有kv-ssd读写存储硬件实现存在的问题，提出了本发明。3、因此，本发明解决的技术问题是：解决现有kv-ssd读写存储硬件在实际应用后想要再调整则不支持或是操作复杂，造成了hash冲突几率增加或者读写性能下降的问题。4、为解决上述技术问题，本发明提供如下技术方案：基于可配置逻辑的优化kv存储性能的硬件，包括如下硬件实现流程：采用crc作为hash函数，并且支持17种选择，即crc16~crc32；采用链地址法解决hash冲突问题，并且同一条链按照key的大小从小到大排列；通过调整hash函数来调节head zone的entry个数；其中，key_info_buf为包含key和指向value指针的单元。5、作为本发明所述的基于可配置逻辑的优化kv存储性能的硬件的一种优选方案，其中：随时调整hash类型，以此来调整每条链的长度，从而随时调整读写性能。6、为解决上述技术问题，本发明还提供如下技术方案：基于可配置逻辑的优化kv存储性能的硬件实施方法，采用上述基于可配置逻辑的优化kv存储性能的硬件，包括如下实施步骤：s1：依据namespace的kv的总量和预期性能初步预估一个hash类型；s2：选择hash类型；s3：随着实际kv数据填入kv_hash_table，比对此时实际计算出的性能和空间与步骤s1中预估的性能和空间；s4：依据性能和空间的选择规则选择具体的crc类型，重新进行步骤s2，直至性能和空间达到最优。7、作为本发明所述的基于可配置逻辑的优化kv存储性能的硬件实施方法的一种优选方案，其中：依据性能和空间的选择规则选择具体的crc类型时，当步骤s1中预估的性能和空间高于步骤s3中实际计算出的性能和空间时，选择相较步骤s1更小的crc类型，当步骤s1中预估的性能和空间低于步骤s3中实际计算出的性能和空间时，选择相较步骤s1更大的crc类型。8、本发明的有益效果如下：9、1、通过硬件实现减少对cpu的依赖；10、2、通过硬件的加速提升了读写性能；11、3、多种可选hash类型，根据实际应用减少了空间浪费；12、4、多种可选hash类型，可以保证性能的可控；13、5、 随时根据实际应用后台硬件实现hash类型的调整，保证性能的最佳。技术特征：1.基于可配置逻辑的优化kv存储性能的硬件，其特征在于，包括如下硬件实现流程：2.根据权利要求1所述的基于可配置逻辑的优化kv存储性能的硬件，其特征在于：随时调整hash类型，以此来调整每条链的长度，从而随时调整读写性能。3.基于可配置逻辑的优化kv存储性能的硬件实施方法，其特征在于，采用如权利要求1或2任一项所述的基于可配置逻辑的优化kv存储性能的硬件，包括如下实施步骤：4.根据权利要求3所述的基于可配置逻辑的优化kv存储性能的硬件实施方法，其特征在于：依据性能和空间的选择规则选择具体的crc类型时，当步骤s1中预估的性能和空间高于步骤s3中实际计算出的性能和空间时，选择相较步骤s1更小的crc类型，当步骤s1中预估的性能和空间低于步骤s3中实际计算出的性能和空间时，选择相较步骤s1更大的crc类型。技术总结本发明公开了基于可配置逻辑的优化KV存储性能的硬件及其实施方法，包括如下硬件实现流程：采用CRC作为HASH函数，并且支持17种选择，即CRC16~CRC32；采用链地址法解决HASH冲突问题，并且同一条链按照key的大小从小到大排列；通过调整HASH函数来调节HEAD ZONE的Entry个数；其中，Key_info_buf为包含key和指向value指针的单元。本发明是基于一种新的KV存储形式的KV‑SSD开展的研究，基于HASH的实现，通过一种可配置的逻辑实现硬件加速，并且根据实际应用可以实时调整读写性能。技术研发人员：王明轩,王晓寄,杨凡受保护的技术使用者：鹏钛存储技术（南京）有限公司技术研发日：技术公布日：2024/11/26