python中shutil文件操作模块, shutil用法, shutil代码示例, shutil 高阶文件操作, shutil库详解, python文件操作库
前言
什么算是高层的文件操作呢?
普通的文件操作,我们一般只涉及创建文件,文件夹以及写入文件等等。假如我现在需要复制一个文件的内容到另一个文件之中,用pathlib等都只能先打开复制文件,然后进行将其读出来保存,然后再写入新的文件,这种普通的复制操作,无形之中增加了许多步骤。
而shutil库可以直接完成复制符间的操作,同时还支持归档。本篇,将详细介绍文件的高层次操作。
shutil.copyfile( src, dst) 从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉 shutil.move( src, dst) 移动文件或重命名 shutil.copymode( src, dst) 只是会复制其权限其他的东西是不会被复制的 shutil.copystat( src, dst) 复制权限、最后访问时间、最后修改时间 shutil.copy( src, dst) 复制一个文件到一个文件或一个目录 shutil.copy2( src, dst) 在copy上的基础上再复制文件最后访问时间与修改时间也复制过来了,类似于cp –p的东西 shutil.copy2( src, dst) 如果两个位置的文件系统是一样的话相当于是rename操作,只是改名;如果是不在相同的文件系统的话就是做move操作 shutil.copytree( olddir, newdir, True/Flase) 把olddir拷贝一份newdir,如果第3个参数是True,则复制目录时将保持文件夹下的符号连接,如果第3个参数是False,则将在复制的目录下生成物理副本来替代符号连接 shutil.rmtree( src ) 递归删除一个目录以及目录内的所有内容
#加载包 import shutil #查看包中的所有方法 print(dir(shutil)) [ 'chown', 'collections', 'copy', 'copy2', 'copyfile', 'copyfileobj', 'copymode', 'copystat', 'copytree', 'disk_usage', 'errno', 'fnmatch', 'get_archive_formats', 'get_terminal_size', 'get_unpack_formats', 'getgrnam', 'getpwnam', 'ignore_patterns', 'make_archive', 'move', 'nt', 'os', 'register_archive_format', 'register_unpack_format', 'rmtree', 'stat', 'sys', 'unpack_archive', 'unregister_archive_format', 'unregister_unpack_format', 'which']
一、copyfile()
copyfile()函数用于将一个文件的内容复制到另一个文件之中,准确的来说,它不是copy内容,而是直接copy文件,并重命名。
描述:复制文件
语法:shutil.copy(fsrc,path),返回值:返回复制之后的路径
- fsrc:源文件
- path:目标地址
示例如下:
import shutil shutil.copyfile('week.csv', 'week_copy.csv')
很简单,就一行代码,第1个参数是需要copy的源文件,第2个参数是需要复制的新文件。运行之后,效果如下:
二、copy()与copy2()
不过,copyfile()函数用于复制文件有一个缺陷,该函数的原理是通过打开源文件进行读取。所以,如果是某些特殊的文件,比如是UNIX设备节点,没有权限会报IOERROR错误。
还需要注意的是,通过copyfile()函数复制的文件是一个新文件,它不包括旧文件的访问时间与修改时间。
描述:复制文件和状态信息
语法:shutil.copy(fsrc,path),返回值:返回复制之后的路径
- fsrc:源文件
- path:目标地址
而copy2()函数可以复制文件后保留访问时间,修改时间。示例如下:
import shutil
import os
import time
shutil.copy2('week.csv', 'week_copy.csv')
stat_info1 = os.stat('week.csv')
stat_info2 = os.stat('week_copy.csv')
print("源文件信息")
print(oct(stat_info1.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime)))
print("复制文件信息")
print(oct(stat_info2.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))
运行之后,效果如下:
而copy()与copyfile()一样都是复制文件的函数,不过copy()你给它一个文件夹名或者文件都可以复制,如果给文件夹名称,它会复制到文件夹下的目录中,当然复制的文件同名。而copyfile()如果给的是一个文件夹名称会报错。
示例如下:
import shutil import os os.mkdir('data') shutil.copy('week.csv', 'data')
运行之后,效果如下:
三、copymode()与copystat()
通过copy2()函数,我们知道了如何复制文件内容和文件信息等操作。但是其复制并不包含文件的权限,比如我们的Win10系统C盘中,有些文件只能读不能写,那么如果将权限也复制过去呢?
答案是:copymode()函数,示例如下:
import shutil import os, stat with open("temp.txt", 'wt') as file: file.write("11111111111111111") os.chmod("temp.txt", stat.S_IREAD) shutil.copymode('temp_copymode.txt', 'temp.txt') print(oct(os.stat('temp.txt').st_mode)) print(oct(os.stat('temp_copymode.txt').st_mode))
需要注意的是,copymode()复制的只是文件权限,不是文件,也就是被赋予权限的文件名必须存在后才能将某个文件的权限复制给它。比如这里temp_copymode.txt获取temp.txt权限,那么temp_copymode.txt必须存在后才能操作。而且这只是复制权限,并没有复制内容。(stat.S_IXGRP组用户组执行权限)
至于copystat()函数,不仅复制权限,而且也复制了文件的信息。具体代码如下:
import shutil import os, stat import time with open("temp.txt", 'wt') as file: file.write("11111111111111111") os.chmod("temp.txt", stat.S_IXGRP) shutil.copystat('temp_copymode.txt', 'temp.txt') stat_info1 = os.stat('temp.txt') stat_info2 = os.stat('temp_copymode.txt') print("源文件信息") print(oct(stat_info1.st_mode)) print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime))) print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime))) print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime))) print("复制文件信息") print(oct(stat_info2.st_mode)) print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime))) print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime))) print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))
运行之后,效果如下:
copyfileobj()
描述:将一个文件的内容拷贝到另一个文件中,如果目标文件本身就有内容,来源文件的内容会把目标文件的内容覆盖掉。如果文件不存在它会自动创建一个。
语法:shutil.copyfileobj(fsrc, fdst[, length=16*1024])
- fsrc:源文件
- fdst:复制至fdst文件
- length:缓冲区大小,即fsrc每次读取的长度
import shutil f1 = open('file.txt','r') f2 = open('file_copy.txt','w+') shutil.copyfileobj(f1,f2,length=16*1024)
copyfile()
描述:将一个文件的内容拷贝到另一个文件中,目标文件无需存在
语法:shutil.copyfile(src, dst,follow_symlinks)
- src:源文件路径
- dst:复制至dst文件,若dst文件不存在,将会生成一个dst文件;若存在将会被覆盖
- follow_symlinks:设置为True时,若src为软连接,则当成文件复制;如果设置为False,复制软连接。默认为True。
#file_1不存在,会产生一个 shutil.copyfile('file_0.csv','file_1.csv') 'file_1.csv' #file_2存在,直接复制 shutil.copyfile('file_0.csv','file_2.csv') 'file_2.csv'
四、copytree() 复制整个文件夹
上面的所有复制都是针对单个文件的操作,但其实我们还会在实际的项目中,将整个文件夹复制到另一个位置。而且复制整个文件夹肯定会用到递归,不过shutil库有一个更简单的函数用于实现该操作:copytree()。
描述:复制整个目录文件,不需要的文件类型可以不复制
语法:shutil.copytree(oripath, despath, ignore= shutil.ignore_patterns(“*.xls”, “*.doc”))
参数:
- oripath : “来源路径”
- despath : “目标路径”
- ignore : shutil.ignore_patterns() 是对内容进行忽略筛选,将对应的内容进行忽略。
示例如下:
import shutil shutil.copytree('./text', './text_copy')
这里一行代码就可以完成整个文件夹的实现。需要注意的是,第2个参数为需要复制到的目录,但该文件夹不能存在,copytree()函数会自动创建的,如果存在会报错。
参数copy_function
有时候,我们复制文件夹并不是需要将整个文件夹都复制过来,而是只需要指定的符合规则的文件,比如我们只需要某个文件夹下的所有后缀为py的文件,那么怎么筛选呢?
示例如下:
import shutil def verbose_copy(src, dst): if src.endswith(".py"): return shutil.copy2(src, dst) shutil.copytree('./text', './text_copy', copy_function=verbose_copy)
这里,我们通过copytree()函数的参数copy_function进行参数,该参数提供一个函数用于筛选符合规则的文件进行复制,比如这里,我们提供了一个函数,并判断后缀是否是.py然后再创建,当然,它会保存目录结构,但只复制.py后缀的文件。
参数ignore
copytree()不仅只有copy_function参数,还有一个ignore参数,它可以过滤掉某些文件,比如还是如上面一样,但是我们不需要.py后缀的文件,其他文件都复制,那么可以这样实现。
import shutil shutil.copytree('./text', './text_copy', ignore=shutil.ignore_patterns('*.py'))
这样,就不会复制*.py规则的文件。
import shutil,os path1 = os.path.join(os.getcwd(),"kaggle") path1 'C:\\Users\\wuzhengxiang\\Desktop\\Python知识点总结\\kaggle' #bbb与ccc文件夹都可以不存在,会自动创建 path2 = os.path.join(os.getcwd(),"bbb","ccc") path2 'C:\\Users\\wuzhengxiang\\Desktop\\Python知识点总结\\bbb\\ccc' # 将"abc.txt","bcd.txt"忽略,不复制 shutil.copytree(path1,path2,ignore=shutil.ignore_patterns("abc.txt","bcd.txt"))
copymode()
描述:拷贝权限,前提是目标文件存在,不然会报错。将src文件权限复制至dst文件。文件内容,所有者和组不受影响
语法:shutil.copymode(src,dst)
- src:源文件路径
- dst:将权限复制至dst文件,dst路径必须是真实的路径,并且文件必须存在,否则将会报文件找不到错误
- follow_symlinks:设置为False时,src, dst皆为软连接,可以复制软连接权限,如果设置为True,则当成普通文件复制权限。默认为True。Python3新增参数
shutil.copymode("file_0.csv","file_1.csv")
五、rmtree() 删除整个文件夹
既然有复制整个文件夹,那么肯定shutil库也会提供反向的操作用于删除整个文件夹。删除整个文件夹的函数为:rmtree()。
描述:递归的去删除文件
语法:shutil.rmtree(path[, ignore_errors[, onerror]])
import shutil shutil.rmtree('./text_copy')
这样,我们就删除了上面复制的文件夹内容。
六、move() 移动文件夹或文件
除了复制文件与文件夹之外,我们在实际的项目中,还会移动整个某个文件或某个目录到另一个位置,shutil库提供了move()函数用于移动文件或文件夹。
描述:移动文件或文件夹
语法:shutil.move(src, dst)
示例如下:
import shutil shutil.move('week.csv', './text')
这里,我们将csv文件移动到了刚才用于复制的text源文件目录。(移动文件夹一样操作,只是将文件名改为文件夹名)
七、which() 查找文件
在更多的文件操作中,我们往往还需要查找某个文件。而shutil库提供了which()函数用于搜索查找目标文件。它有3个参数:mode可以设置查找文件的权限,path为需要查找的路径,cmd为要查找的文件。
示例如下:
import shutil filename = shutil.which('python') print(filename)
运行之后,效果如下:
八、归档
shutil库提供了更多高层函数来创建和解压归档文件。我们先来看看shutil库支持哪些格式,示例如下:
get_archive_formats()
描述: 获取支持的压缩文件格式。目前支持的有:tar、zip、gztar、bztar。在Python3还多支持一种格式xztar
语法:unpack_archive(filename, extract_dir=None, format=None)
- filename:文件路径
- extract_dir:解压至的文件夹路径。文件夹可以不存在,会自动生成
- format:解压格式,默认为None,会根据扩展名自动选择解压格式
import shutil for format,desc in shutil.get_archive_formats(): print('{:<5}:{}'.format(format,desc))
运行之后,效果如下:
简单的理解就是支持的压缩格式。
import shutil,os zip_path = os.path.join(os.getcwd(),"file_1.csv.tar") extract_dir = os.path.join(os.getcwd(),"aaa") shutil.unpack_archive(zip_path, extract_dir)
8.1 make_archive() 压缩文件
我们先来看一个简单的例子,将某个文件夹进行压缩,代码如下:
描述:压缩打包
语法:make_archive(base_name, format, root_dir=None, base_dir=None, verbose=0,dry_run=0, owner=None, group=None, logger=None)
压缩打包:
- base_name:要创建的归档文件的名称,可以包含路径表示归档文件的目标位置;
- format:归档文件的格式(zip、tar、 gztar、bztar、xztar);
- root_dir:归档文件的根目录(默认当前目录);
- base_dir:归档文件中所有文件和目录的前缀路径(默认当前目录);
- dry_run:如果为 True,不创建归档文件。
- owner/group:归档文件中所有文件和目录的所属用户和组,如果 format 为 zip,owner 和 group 的配置不生效;
- logger:通常使用 logging.Logger 对象;
- verbose:已弃用。
import shutil shutil.make_archive('text','gztar',root_dir='..',base_dir='base_demo')
这里我们将text文件夹,压缩格式为gztar。运行之后,效果如下:
其中,root_dir指定要压缩的路径根目录(默认当前目录),只能指定路径,优先级低于base_dir。base_dir指定要压缩文件的路径,可以指定路径下的文件名,也可以指定路径。
8.2 解压缩
既然有压缩,肯定也就有解压缩。shutil库提供了unpack_archive()进行解压缩文件。示例如下:
import shutil shutil.unpack_archive('text.tar.gz',extract_dir='text_un')
unpack_archive()函数的第1个参数为需要解压的文件,第2个参数为需要解压到哪里。
8.3 disk_usage() 文件系统空间
完成一个长时间运行的可能耗尽可用空间的操作之前,最好先检查本地文件系统,来看看有多少可用的空间。shutil库提供了disk_usage()函数来返回包括总空间,当前正在使用的空间以及未使用的空间。
描述:查看磁盘使用信息,计算磁盘总存储,已用存储,剩余存储信息。
语法:shutil.disk_usage(‘盘符’)
返回值:元组
示例如下
import shutil (total, used, free) = shutil.disk_usage("E:/") BytesPerGB = 1024 * 1024 * 1024 print ("Total: %.2fGB" % (float(total)/BytesPerGB)) print ("Used: %.2fGB" % (float(used)/BytesPerGB)) print ("Free: %.2fGB" % (float(free)/BytesPerGB))
运行之后,效果如下:
这里博主是获取电脑E盘的信息,比如这里获取到E盘总大小total为238G,已使用Used为43G,未使用Free:194G。一个健壮的程序必然很严谨,所以在操作文件时,特别是比较大的文件时,一定要判断磁盘的大小之后再操作。
到此这篇关于Python高级文件操作之shutil库详解的文章就介绍到这了,更多相关Python shutil库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
本文:python中shutil文件操作模块, shutil用法, shutil代码示例, shutil 高阶文件操作, shutil库详解, python文件操作库