• / 18

存储数据对象的方法及装置

关 键  词:
存储 数据 对象 方法 装置
资源描述:

《存储数据对象的方法及装置》文档由会员分享,可在线阅读,更多相关《存储数据对象的方法及装置(18页珍藏版)》请在白瓜网上搜索。

1、第二部分数据从所述第二 外部存储设备加载到内存的缓存区。 0014 可选地, 所述第一部分数据在所述, 当接收到对所述数据对象的读请求时, 将所 述第一部分数据在所述第一外部存储设备中的位置信息和所述存储到所 述第一外部存储设备或所述第二外部存储设备。 0013 可选地, 所述装置还包括: 加载单元存储设备中的位置信息和所 述第二部分数据写入文件系统的日志文件; 日志文件存储单元, 将所述日志文件和所述第二部分数据写入存储于第二外部存储设 备的第二数据文件之前, 将所述第一部分数据在所述第一外部存储设备的第一数据文件之后, 且在第二写入单元将所述第一部分数据 在所述第一外部存储设备中的位置信息。

2、2 可选地, 所述装置还包括: 第三写入单元, 在第一写入单元将所述第一部分数据写 入存储于第一外部长度大于预定阈值; 所述第二部分 数据还包括: 所述数据对象中长度不大于预定阈值的数据字段。 001储设备为同一外部存储设备或不同的外部存储设备。 0011 可选地, 所述第一部分数据包括的数据字段的二部分数据写入存储于第二外部存储设备的第二数据文件, 其中, 所述 第一外部存储设备和所述第二外部存设备的第一数据文件; 第二写入单元, 将所述第一部分数据在所述第一外部存储设备中的 位置信息和所述第部分数据包 括: 所述数据对象的元数据; 第一写入单元, 将所述第一部分数据写入存储于第一外部存储 。

3、为第一部分数据和第二 部分数据, 其中, 所述第一部分数据包括: 所述数据对象的数据字段, 所述第二存储数据对象的装置, 包括: 拆分单 元, 当接收到对数据对象的写请求时, 将所述数据对象的数据拆分别在所述第一外部存储设备中的位置信息和长度信息。 0010 根据本发明的另一示例性实施例, 提供一种或者, 所述第一部分数据在所述第一外部存储设备中的位置信息为: 所述第一部分数据 包括的各数据字段分结构描述信 息包括: 所述第一部分数据包括的各数据字段在所述第一数据文件中的位置信息和长度信 息; 中的位置信息为: 所述第一 部分数据的结构描述信息在所述第一外部存储设备中的位置信息, 其中, 所述。

4、述第二外部存储设 备加载到内存的缓存区。 0009 可选地, 所述第一部分数据在所述第一外部存储设备述数据对象的读请求时, 将所述第一部分 数据在所述第一外部存储设备中的位置信息和所述第二部分数据从所储到所述第一外部存储设备或所述第二外部存储设备。 0008 可选地, 所述方法还包括: 当接收到对所数 据在所述第一外部存储设备中的位置信息和所述第二部分数据写入文件系统的日志文件; 将所述日志文件存91523 A 4 写入存储于第二外部存储设备的第二数据文件之前, 所述方法还包括: 将所述第一部分分数据在所述第一外部存储设备中的位置信息和所述第二部分数据 说明书 1/10 页 4 CN 1074。

5、7 可选地, 在将所述第一部分数据写入存储于第一外部存储设备的第一数据文件之 后, 且在将所述第一部长度大于预定阈值; 所述第二部分 数据还包括: 所述数据对象中长度不大于预定阈值的数据字段。 000设备为同 一外部存储设备或不同的外部存储设备。 0006 可选地, 所述第一部分数据包括的数据字段的部分数据写入存储于第二外 部存储设备的第二数据文件, 其中, 所述第一外部存储设备和所述第二外部存储于第一外部存储设备的第一数据文件; 将所述第一 部分数据在所述第一外部存储设备中的位置信息和所述第二述数据对象的数据字段, 所述第二部分数据包括: 所述数据对象的 元数据; 将所述第一部分数据写入存储。

6、求时, 将所述数据对象的数据拆分为第一部分数据和第二部分数据, 其中, 所 述第一部分数据包括: 所005 根据本发明的示例性实施例, 提供一种存储数据对象的方法, 包括: 当接收到对数 据对象的写请用的缓存空间的同时, 保证数据检索的速度, 从而解决因数据对象占用较多 的内存所导致的各种问题。 0从 而便于仅将数据对象的检索所需、 访问频率较高的数据加载到缓存区, 能够在有效缩减各 数据对象所占置, 其能够将数据 对象的检索所需及访问频率较高的数据、 与检索相关度较低的大数据块进行分离存储, 数据库或文件系统的性能。 发明内容 0004 本发明的示例性实施例在于提供一种存储数据对象的方法及装。

7、求无法得到及时处理。 并且, 还导致了需要 数据库或文件系统在缓存管理上进行复杂耗时的操作, 降低了入换出、 内存结构被频繁地调整、 系统花费大量CPU 时间处理页面置换工作, 使得客户请求及I/O请过大, 从而吞噬很大一部分内存, 而内存不足则导致: 数据检索 出现较多的缓存缺失、 页面被频繁地换有的存储数据对象的方式, 使得加载到缓存区的数据对象(例如: B/B+树的 叶子节点)对缓存空间消耗结构 发生变化, 此时也需要进行树的调整。 哈希表和跳表中也存在类似的操作方式。 0003 即, 现弃数据进 行B树或B+树的调整, 保证B树或B+树的平衡性。 在新的数据被载入内存时, B树或B+树。

8、y Used, 近 期最少使用)算法)废弃内存数据页面, 在内存页被废弃之后, B树或B+树会根据废导致内 存不足, 此时数据库或文件系统需根据相关置换算法(例如, LRU(Least Recentl用来存储相关 Key值范围。 由于数据节点较大, 通常会占用很多内存, 在进行大数据分析时, 常常会数据对象将被分别存储 在各个树节点中, 在B+树中, 数据信息被移至叶子节点, B+树的内部节点只被、 跳表等作为其缓存管理的方 式, 数据通常以对象的形式与这些结构相关联。 以B/B+树为例, 各个存储数据对象的方法及装 置。 背景技术 0002 现有数据库或文件系统中通常使用B/B+树、 哈希表。

9、 存储数据对象的方法及装置 技术领域 0001 本发明涉及数据存储技术领域, 更具体地讲, 涉及一种一外部存储设备或不同的 外部存储设备。 权利要求书 2/2 页 3 CN 107491523 A 3写 入存储于第二外部存储设备的第二数据文件, 其中, 所述第一外部存储设备和所述第二外部存储设备为同外部存储设备的第一数据文件; 将所述第一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据对象的数据字段, 所述第二部分数据包 括: 所述数据对象的元数据; 将所述第一部分数据写入存储于第一 将所述数据对象的数据拆分为第一部分数据和第二 部分数据, 其中, 所述第一部分数据包括: 所述数据。

10、序, 其中, 所述计算机程序被配置为使 计算机的处理器执行下述步骤: 当接收到对数据对象的写请求时,部分数据从所述第二外部存储设备加载到内存的缓 存区。 10.一种计算机可读存储介质, 存储有计算机程当接收到对所述数据对象的读请求时, 将所述第一部分数据在所述第一外 部存储设备中的位置信息和所述第二述第一外部存储设备或所述第二外部存 储设备。 9.根据权利要求6所述的装置, 还包括: 加载单元, 中的位置信息和所述第二部分数据写入文件系统 的日志文件; 日志文件存储单元, 将所述日志文件存储到所二部分数据写入存储于第二外部存储设备的第二数据文件之前, 将所述 第一部分数据在所述第一外部存储设备。

11、 第一数据文件之后, 且在第二写入单元将所述第一部分数据在所述第一外部存储设备中的 位置信息和所述第所述的装置, 还包括: 第三写入单元, 在第一写入单元将所述第一部分数据写入存储于第一外部存储设备的 A 2 所述第二部分数据还包括: 所述数据对象中长度不大于预定阈值的数据字段。 8.根据权利要求6第一部分数据包括的数据字段的长度大于预定阈值; 权利要求书 1/2 页 2 CN 107491523外部存储设备为同一外部存储设备或不同的 外部存储设备。 7.根据权利要求6所述的装置, 其中, 所述所述第 二部分数据写入存储于第二外部存储设备的第二数据文件, 其中, 所述第一外部存储设备和所述第二。

12、外部存储设备的第一数据文件; 第二写入单元, 将所述第一部分数据在所述第一外部存储设备中的位置信息和 所述第二 部分数据包括: 所述数据对象的元数据; 第一写入单元, 将所述第一部分数据写入存储于第一的数据拆分为第一部分 数据和第二部分数据, 其中, 所述第一部分数据包括: 所述数据对象的数据字段,。 6.一种存储数据对象的装置, 包括: 拆分单元, 当接收到对数据对象的写请求时, 将所述数据对象中的位置信息为: 所述第一部分数 据包括的各数据字段分别在所述第一外部存储设备中的位置信息和长度信息各数据字段在所述第一数据文件中的位置信息和长度信息; 或者, 所述第一部分数据在所述第一外部存储设备。

13、述信息在所述第一外部存储设备中的位置信息, 其中, 所述结构描述信息包括: 所述第 一部分数据包括的的方法, 其中, 所述第一部分数据在所述第一外部存储设备中的位置信息为: 所述第一部分数据的结 构描备 中的位置信息和所述第二部分数据从所述第二外部存储设备加载到内存的缓存区。 5.根据权利要求1所述1所述的方法, 还包括: 当接收到对所述数据对象的读请求时, 将所述第一部分数据在所述第一外部存储设系统的日志文件; 将所述日志文件存储到所述第一外部存储设备或所述第二外部存储设备。 4.根据权利要求所述方法还包 括: 将所述第一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据写 入文件。

14、所述第一外部存储设备中的位置信 息和所述第二部分数据写入存储于第二外部存储设备的第二数据文件之前, 中, 在将所述第一部分数据写入存储于第一外部存储 设备的第一数据文件之后, 且在将所述第一部分数据在二部分数据还包括: 所述数据对象中长度不大于预定阈值的数据字段。 3.根据权利要求1所述的方法, 其 2.根据权利要求1所述的方法, 其中, 所述第一部分数据包括的数据字段的长度大于预定阈值; 所述第文件, 其中, 所述第一外部存储设备和所述第二外部存储设备为同一外部存储设备或不同的 外部存储设备。一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据写 入存储于第二外部存储设备的第二数据。

15、括: 所述数据对象的元数据; 将所述第一部分数据写入存储于第一外部存储设备的第一数据文件; 将所述第据和第二 部分数据, 其中, 所述第一部分数据包括: 所述数据对象的数据字段, 所述第二部分数据包 种存储数据对象的方法, 包括: 当接收到对数据对象的写请求时, 将所述数据对象的数据拆分为第一部分数 附图5页 CN 107491523 A 2017.12.19 CN 107491523 A 1.一在有效缩 减各数据对象所占用的缓存空间的同时, 保证数 据检索的速度。 权利要求书2页 说明书10页 根据所述方法 及装置, 便于仅将数据对象的检索所需、 访问频 率较高的数据加载到缓存区, 从而能够。

16、据在所述第一外部存储设备中 的位置信息和所述第二部分数据写入存储于第 二外部存储设备的第二数据文件。据对象的元数据; 将所述第一部分数据写 入存储于第一外部存储设备的第一数据文件; 将 所述第一部分数分数据, 其中, 所述第一部分数据包括: 所述 数据对象的数据字段, 所述第二部分数据包括: 所述数所述 方法包括: 当接收到对数据对象的写请求时, 将 所述数据对象的数据拆分为第一部分数据和第 二部1) (54)发明名称 存储数据对象的方法及装置 (57)摘要 提供一种存储数据对象的方法及装置。 公司 11286 代理人 徐璐璐曾世骁 (51)Int.Cl. G06F 17/30(2006.0三星电子株式会社 (72)发明人 解锋涛邵海珠戴月华 (74)专利代理机构 北京铭硕知识产权代理有限三星 (中国) 半导体有限公司 地址 710000 陕西省西安市高新区洨河北 路1999号 申请人 (21)申请号 201710706073.6 (22)申请日 2017.08.17 (71)申请人 (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日。

展开阅读全文
  白瓜网所有资源均用户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:存储数据对象的方法及装置
链接地址:https://www.baigua.net/doc/836587.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 20018-2021 白瓜网版权所有

经营许可证编号:粤ICP备20005300号-1