一篇关于HDFS的快照讲解
一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像,使用vmware类似软件的同学指定,快照可以为虚拟机保存某个状态,如果做了更改,或者系统被折腾坏,还有个复原的操作。
快照应用在如下场景中:
防止用户的错误操作; 备份:给hdfs目录做快照,然后复制快照里面的文件到备份; 试验/测试 灾难恢复 HDFS的快照操作
这里测一篇试的Hadoop3.0版本,也是我的线上版本。
开启快照 hdfs dfsadmin -allowSnapshot /data/test/test_snapshot [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/关于test/test_snapshot -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 16:59 HD/data/test/test_snapshot/ods_user1.txt
这里开启目录/data/test/test_snapshot快照功能,该目录当前有一个文件ods_user1.txt。
创建快照
给目录/data/test/test_snapshot创建了一个快照,名为backup01。
hdfs dfs&nbsFSp;-createSnapshot /data/test/test_snapshot backup01 [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot/backup0的快1 Found 1 items -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 照讲16:59 /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt
可以看到实际上是在开启快照的目录下新建了一个文件夹.snapshot,下面有个目录backup01,里面有一个文件,相当于复制了一份文件。
查看快照
hdfs lsSnapshottab一篇leDir
再上传一个文件
hdfs dfs -put data/urls.txt /data/test/test_snapshot
再创建一个快照
hdfs dfs -createSnapshot /data/test/test_snapshot&nbs关于p;backup02
这里又新建了一个快照backup02,.snapshot下面有两个目录,分别是backup01和backup02。
[hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot FounHDd 3 items drwxr-xr-x - hdfs supergroup 0 2021-10-08 17:04&nbsFSp;/data/test/test_snapshot/.snapshot/backup01 drwxr-xr-x - hdfs supergroup 0 的快2021-10-08 17:12 /data/test/test_snapshot/.snapshot/backup02
对比快照
因为后来又上传了一个文件,所以快照backup02下面有2个文件了,比backup01多一个文件urls.txt。
[hdfs@cdh-003 ~]$ hdf照讲s snapshotDiff /data/test/test_snapshot backup01 backup02 Difference between snapshot backup01 and snapshot backup02&n一篇bsp;under directory /data/test/test_snapshot: M . + ./urls.txt
恢复快照如果不小心把文件删除了,这个文件就被移动到回收站(如果开启了回收站),如果回收站到期清理了或者没有开启回收站,这个时候快照的作关于用就发挥出来了,直接cp过去。
hdfs dfs -cp /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt /data/test/test_snapshot
- ·标签: 零跑汽车
- ·余承东:2020年华为云服务市场增速全球第一
- ·浜戝畨鍏ㄦ棩鎶�210716锛氭€濈�鍥㈤槦鍗忎綔瑙e喅鏂规�鍙戠幇SSL璇佷功楠岃瘉婕忔礊,闇€瑕佸敖蹇�崌绾�
- ·人工智能在制造业中的应用
- ·英伟达发布全新小型模型 Nemotron-Nano-9B-V2:免费商用且性能卓越
- ·前 OpenAI 与 DeepMind 研究者获 3 亿美元种子融资,力图实现科学自动化
- ·标签: 中通 申通 圆通 极兔
- ·标签: 科兴 纳斯达克 退市 疫苗
- ·17篇注意力机制PyTorch实现,包含MLP、Re-Parameter系列热门论文
- ·iPhone X海外发生爆料事件,造成二度烧伤,当事者已起诉苹果
- ·AI助力高性能钢设计:断裂强度、断裂寿命得到准确预测
- ·标签: 朱孝天 F4 相信音乐 阿信
- ·揭秘亚马逊新帅的Chop会议和Nice邮件 贾西之后AWS CEO花落谁家?
- ·名为 “京刚”:京东科技旗下京东云发布新一代自研虚拟化架构
- ·云计算核心技术Docker教程:Docker Hub设置构建规则
- ·云计算开发:Python内置函数-staticmethod() 函数详解
- ·https://www.symatoys.com/search.html?ID=UyMD6aO58bPrJvQAB1I0N69KzJBZeNPC&keyword=谷歌搜索留痕霸屏【tg:seogoogle987】,alT
- ·https://www.scivee.tv/?s=谷歌搜索留痕霸屏【tg:seogoogle987】,6qB
- ·https://www.jusoen.com/addreng.asp?p1=谷歌搜索留痕霸屏【tg:seogoogle987】5rD
- ·https://www.ussalabama.com/?action=CHECK&s=谷歌搜索留痕霸屏【tg:seogoogle987】,pEC
- ·https://xehay.vn/tim-kiem/=谷歌搜索留痕霸屏【tg:seogoogle987】,xSs
- ·https://www.wuv.edu/?s=谷歌搜索留痕霸屏【tg:seogoogle987】,3E6
- ·https://www.schenckprocess.com/search?q=谷歌搜索留痕霸屏【tg:seogoogle987】,4mH
- ·https://www.tombow.com/search/谷歌搜索留痕霸屏【tg:seogoogle987】,d8m
- ·https://www.whirlpool.com.hk/chinese/catalogsearch/result?cat=30&q=谷歌搜索留痕霸屏【tg:seogoogle987】,lHG
- ·https://www.prattlibrary.org/search?q=谷歌搜索留痕霸屏【tg:seogoogle987】,nKm
- ·OpenAI CEO 预测:2030 年前AI可能接管 30%-40% 工作
- ·标签: 深朴智能 李晓飞 王家伟 具身机器人
- ·Watson Studio在2020 Forrester Wave多模式预测分析和机器学习中被评为“领导者”
- ·标签: 上汽集团 荣威i6 MG4X 智己LS9
- ·标签: 韵达股份 聂腾云 聂毅鹏 陈立英
- ·被苹果“踢出”供应链后,国产巨头遭遇重创,8亿设备低10倍售出
- ·标签: 华为 乾崑ADS 问界 阿维塔
- ·轻松三步搞定数据统计分析:统计+分析+可视化!
- ·标签: Anthropic ClaudeMythos ProjectGlasswing 网络安全AI
- ·AI招聘独角兽Juicebox获3600万美元融资:4人团队打造千万ARR神话,红杉领投A轮
