`

大规模文件删除的策略

    博客分类:
  • JAVA
 
阅读更多

关于过期文件删除处理:

a)写文件的时候记录相关的日志,日志文件格式为:文件ID(这个时间上是分布式文件的ID);时间戳

b)使用日志文件删除策略如下:

1、读取一条记录,根据当前的ID读取fastDts中的文件,判断时间戳,如果满足有效期,删除;要不的话不变

2、如果日志不集中,每个服务器上都按照这个策略来处理也没有问题

c)可以采用日志集中框架:Facebook Scribe ; flume

 

如果文件不是特别多的情况下,将:文件ID(这个时间上是分布式文件的ID);时间戳保存在数据库中,然后从数据库中读取然后进行删除也没有任何问题。

分享到:
评论

相关推荐

    基于文件路径的重复数据删除集群的数据路由策略 (2014年)

    重复数据删除集群是解决不断增长的海量数据备份...但是,当集群规模较大时,它的存储使用量远远劣于单节点重复数据删除。为了降低重复数据删除集群的存储使用量,提出一种基于路径的重复数据删除集群的数据路由策略,称作D

    数据库系统安全策略.doc

    数据库按照应用的规模分为大、中、小三种。 我们最常用的就是中型数据库,例如SQL Sever数据库,这种数据库只能对数据量不是非常大的数据进行操作和管理。 但是要想操作存储量非常大的数据,中型数据库就已经实现...

    HuCart免费开源建站系统

    分类,属性筛选)、添加新闻、删除新闻、搜索新闻、添加分类,删除分类,修改分类、分类排名、新闻属性列表,、添加属性、删除属性、修改属性(无限添加文章数量,支持千万级数据负载,满足大规模部署能力)。...

    智伟CMS免费开源企业建站系统 v5.6.4 繁体版.zip

    分类,属性筛选)、添加新闻、删除新闻、搜索新闻、添加分类,删除分类,修改分类、分类排名、新闻属性列表,、添加属性、删除属性、修改属性(无限添加文章数量,支持千万级数据负载,满足大规模部署能力)。...

    您可能没有权限使用网络资源。请与这台服务器的管理员联系以查明您是否有访问权限。拒绝访问解决方法

    二、控制面板→管理工具→本地安全策略→本地策略→用户权利指派里,“从网络访问此计算机”中加入guest帐户,而“拒绝从网络访问这台计算机”中删除guest帐户; 三、我的电脑→工具→文件夹选项→查看→去掉“使用...

    HuCart(虎卡)免费开源建站系统 v5.7.2 繁体中文版.zip

    分类,属性筛选)、添加新闻、删除新闻、搜索新闻、添加分类,删除分类,修改分类、分类排名、新闻属性列表,、添加属性、删除属性、修改属性(无限添加文章数量,支持千万级数据负载,满足大规模部署能力)。...

    论实用的 P2p 激励机制对用户行为的影响-研究论文

    在本文中,我们报告了对两个流行的点对点系统(即 BitTorrent 和 eMule)的大规模测量研究的结果,它们使用实用且轻量级的激励机制来鼓励用户之间的合作。 我们专注于识别用户响应这些激励机制的战略行为。 我们的...

    服务器管理规划方案.doc

    2) 由于使用者的防范意识普遍偏低,防毒措施往往不到位,一旦发生病毒感染,往往扩散 到全网络,令网络陷于瘫痪状态,部分致命的蠕虫病毒利用TCP/IP 协议的各种漏洞,使得木马、病毒传播迅速,影响规模大,导致网络...

    easySFS:有效选择人口规模投影以构建站点频谱。 将VCF转换为dadifastsimcoal样式SFS以进行人口统计分析

    数据丢失是类似于RADSeq的数据集的显着特征,仅删除缺失的站点将彻底丢弃大部分数据。 一个人也可以估算缺失的值,有些人这样做,但是如果您有很多缺失的数据,则估算将是不可靠的。 向下投影方法是这两个极端之间...

    网络爬虫调研报告.docx

    累积式抓取一般用于数据集合的整体建立或大规模更新阶段;而增量式抓取则主要针对数据集合的日常维护与即时更新。 网络爬虫调研报告全文共11页,当前为第1页。 网络爬虫调研报告全文共11页,当前为第1页。 在确定了...

    研究院HPC建设方案

    7.4 PBS在全球实施的大规模计算案例 72 8 平台架构与软硬件配置建议 72 8.1 硬件平台选型常见误区 72 8.2 cpu架构的选择 73 8.3 计算网络的选择 76 8.4 存储系统的选择 79 8.5 GPU的选择 80 8.6 节点类型的选择 87 ...

    会计理论考试题

    A、文件占用的空间变大 B、发生异常蜂鸣声 C、屏幕显示异常图形 D、机内的电扇不转 2. Windows98支持下面___C__网络协议。 A、Net BEUI B、IPX/SPX C、TCP/IP D、Banyan VINES 3.为了方便人们记忆;阅读和编程,...

    [数据库设计]超市管理系统设计

     本软件作为超市管理辅助设备,它的规模比较小,不需要保密技术;限定一个程序中某些区域的规约,给不同的模块分配不同的功能。 3.6.3 可维护性  本软件的组成程序为汉语成语设计语言,组构均较简单,直观意义上的...

    如何让你的XP系统更加安全

    最新、最流行的病毒、木马、蠕虫等通常都利用了操作系统的最新的漏洞,如果在它们大规模发作之前,就能升级好最新的补丁,那么计算机受到攻击导致瘫陷的几率将大大降低。 3、对重要信息进行加密 为防止其他人在...

    智伟CMS免费开源企业建站系统最新官方版

    分类,属性筛选)、添加新闻、删除新闻、搜索新闻、添加分类,删除分类,修改分类、分类排名、新闻属性列表,、添加属性、删除属性、修改属性(无限添加文章数量,支持千万级数据负载,满足大规模部署能力)。...

    SharePoint Server2007宝典.part02

    文件较大,所以分卷。SharePoint.Server.2007宝典.part02 目录 第1部分 开始使用SharePoint 第1章 SharePoint产品和技术简介 3 1.1 探索Microsoft Office SharePoint Server 2007 3 1.2 比较Microsoft SharePoint ...

    HuCart免费开源企业建站系统-PHP

    分类,属性筛选)、添加新闻、删除新闻、搜索新闻、添加分类,删除分类,修改分类、分类排名、新闻属性列表,、添加属性、删除属性、修改属性(无限添加文章数量,支持千万级数据负载,满足大规模部署能力)。...

    数据库系统实现

    2.4.5 预取和大规模缓冲 2.4.6 各种策略及其优缺点 习题 2.5 磁盘故障 2.5.1间断性故障 2.5.2 校验和 2.5.3 稳定存储 2.5.4 稳定存储的错误处理能力 习题 2.6 从磁盘崩溃中恢复 2.6.1 磁盘的...

    网络安全体系结构(2).pptx

    在一个大规模的网络中,响应这个工作都是由一个特殊部门负责,那就是计算机响应小组。 入侵事件的报警可以是入侵检测系统的报警,也可以是通过其他方式的汇报。 响应的主要工作也可以分为两种。第一种是紧急响应;第...

Global site tag (gtag.js) - Google Analytics