Wangyoucun的个人博客分享 http://blog.sciencenet.cn/u/Wangyoucun

博文

wget实现文件批量下载

已有 6213 次阅读 2022-2-15 16:51 |个人分类:基础编程|系统分类:科研笔记

wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载,并可以使用 HTTP 代理。这里给出使用wget进行单个文件,和批量指定文件下载语法。

  • 单个文件下载

wget --tries=1 -N  -P ./cod ftp://igs.gnsswhu.cn/pub/gps/products/2192/cod21920.eph.Z 

该命令行包括3个附加选项和一个下载地址,三个附件选项依次为

【--tries=1】代表下载次数最多为一次,可以防止程序僵死;

【-N】为进行文件时间戳比对;

【-P ./cod 】指定下载路径;最后一项为下载的地址。

  • 指定文件的批量下载

wget -m -nH -t 0 -P ./whu --accept=.sp3.Z,.clk.Z --cut-dirs=0 ftp://igs.gnsswhu.cn/pub/gps/products/2192/ 

该命令行包括6个附件选项和一个下载地址,其中

【-m】代表镜像地址, 与【-r -l inf -N】 三个附件选项效果一致,依次为递归下载,递归深度是最底层,文件时间戳比较;

【-nH】代表不创建以主机名命名的目录(这里为:igs.gnsswhu.cn);

【-t 0】代表下载次数是无限制;

【--accept=.sp3.Z,.clk.Z】代表只接受符合关键词的文件下载;

【--cut-dirs=0】代表忽略主机上的目录层数

wget的具体使用方法,可以使用wget -h,作为参考。



https://m.sciencenet.cn/blog-3462592-1325428.html

上一篇:python工具包--实现关键词搜索文件功能
下一篇:2022年中科院文献情报中心SCI期刊分区表,测绘遥感领域期刊小节和投稿指南

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-19 02:38

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部