超全!python的檔案和目錄操作總結

檔案的基本讀寫

path = r'C:\Users\Brady\Documents\tmp'
with open(path + r'\demo.txt', 'r', encoding='utf-8') as f:
    content = f.read()
print(content)

open()函式

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None) Open file and return a corresponding file object. If the file cannot be opened, an OSError is raised.

open函式用于打開一個檔案,并回傳檔案句柄.

檔案打開的mode主要有以下幾種方式:

這里關于newline做一個解釋. newline是換行符,windows系統的換行符和類unix系統的換行符是不一樣的. windows默認使用\r\n做為換行符. 而類unix系統使用\n作為換行符.

關于換行符的使用,檔案給出了如下解釋:

• 如果newline為None,則\r \n \r\n都會被識別為換行符,并統一翻譯為\n.
• 如果newline為'',則直接回傳源檔案中的換行符

關于換行符\r\n 和\n 的歷史要追溯到計算機出現之前的電傳列印機. \r的意思代表回車,也就是列印頭回到初始位置. \n的意思表示換行,也就是紙張往上卷一行. 在windows中保留了這種老傳統. 真正的換行符需要\r\n 而類unix中則選擇使用\n作為換行符

write()函式

with open(path+r'\demo2.txt','w',encoding='utf-8') as f:
    content = 'this is a demo for write function'
    res=f.write(content)
print(res)

file對應的方法

• file.close(): 關閉檔案
• file.flush():講緩沖區的內容立即寫入檔案
• file.readline():讀取整行
• file.readlines():按行讀取,并回傳串列.可以設定讀取的位元組數
• file.seek()設定游標位置
• file.tell()顯式當前游標位置
• file.truncate()截取檔案

目錄相關操作

獲取目錄串列

with os.scandir(path2) as entries:
    for item in entries:
        print(item.name)

scandir()回傳的是一個生成器.

同樣也可以使用pathlib庫.

enties = Path(path2)
for entry in enties.iterdir():
    print(entry.name)

獲取目錄下的檔案

for entry in os.listdir(basepath):
    if os.path.isfile(os.path.join(basepath,entry)):
        print(entry)
with os.scandir(basepath) as entries:

for entry in entries:

if entry.is_file():

print(entry.name)
base_path = Path(basepath)

for entry in base_path.iterdir():

if entry.is_file():

print(entry.name)
base_path = Path(basepath)

files_in_basepath = (entry for entry in base_path.iterdir() if entry.is_file())

for item in files_in_basepath:

print(item.name)

以上四種辦法都可以.

獲取子目錄

for entry in os.listdir(basepath):
    if os.path.isdir(os.path.join(basepath,entry)):
        print(entry)
with os.scandir(basepath) as entries:

for entry in entries:

if entry.is_dir():

print(entry.name)
base_path = Path(basepath)
for entry in base_path.iterdir():

if entry.is_dir():

print(entry.name)

獲取檔案屬性

with os.scandir(basepath) as entries:
    for entry in entries:
        info = entry.stat()
        print(entry.name,timestamp2datetime(info.st_mtime))
base_path = Path(basepath)
for entry in base_path.iterdir():

info = entry.stat()

print(entry.name,timestamp2datetime(info.st_mtime))

os.scandir()回傳一個os.dirEntry物件. os.dirEntry物件大概有以下屬性和方法:

• name:檔案(目錄)名
• path:檔案(目錄)路徑
• is_file()
• is_dir()
• stat()回傳一個stat_result物件.

而stat_result物件又有N多關于檔案的屬性,比如時間戳相關的屬性:

• st_atime:最近訪問時間
• st_mtime:最近修改時間
• st_ctime:創建時間

創建目錄

在os和pathlib的模塊中都包含了創建目錄的函式.

• os.mkdir() 創建單個子目錄
• os.makedirs() 創建多個目錄,包括中間目錄
• Pathlib.Path.mkdir() 創建單個或者多個目錄

創建單個目錄

os.chdir(basepath)
if not os.path.exists(os.path.join(basepath,'c')):
    os.mkdir('c')
base_path = Path(basepath+r'\d')
try:

base_path.mkdir()

except FileExistsError :

pass

通過os.mkdir()和Path.mkdir()都可以創建單個目錄. 如果目錄已經存在,則會報FileExistsError例外. 也可以使用exist_ok=True 引數來忽略這個例外

創建多個目錄

可以使用os.makedirs()來創建包含中間目錄在內的所有目錄,類似mkdir -p

os.makedirs('2020/3/2')

也可以使用Path.mkdir()方法來創建多層目錄.只需要指定parents=True比如

from pathlib import Path 
p = Path('2018/10/05') 
p.mkdir(parents=True, exist_ok=True)

檔案名的模式匹配

使用字串方法

python有一些內置的修改和操作字串的方法,在操作檔案名的時候,可以先遍歷拿到檔案名,然后使用字串的方式進行匹配.

for item in os.listdir(basepath):
    if item.endswith('.txt'):
        print(item)

使用fnmatch庫

另外還可以使用fnmatch庫,fnmatch庫支持類unix的通配符.

import fnmatch
for item in os.listdir(basepath):
    if fnmatch.fnmatch(item,"*.txt"):
        print(item)

使用glob庫

總的來說,glob庫和fnmatch庫差不多,但是glob庫提供了遞回功能,可以查詢目錄下子目錄的檔案名. glob.glob(pathname, *, recursive=False)

另外在pathlib中也提供了類似glob的方法.

總結:

遍歷和處理檔案

os.walk(top, topdown=True, onerror=None, followlinks=False)

os.chdir(basepath)
for dirpath,dirname,files in os.walk('.'):
    print(f'found directory:{dirpath}')
    for filename in files:
        print(filename)

walk()方法回傳一個三元組(dirpath,dirnames,filenames)

• dirpath:當前目錄的名稱
• dirnames:當前目錄中子目錄的串列
• 當前目錄中檔案的串列

創建臨時檔案和目錄

臨時檔案和臨時目錄就是程式運行時創建,在程式運行結束之后會自動洗掉的檔案和目錄. 可以使用tempfile模塊來進行操作.

from tempfile import TemporaryFile
from tempfile import TemporaryDirectory
fp = TemporaryFile('w+t')

fp.write('hello world')

fp.seek(0)

data = https://www.cnblogs.com/thecatcher/p/fp.read()

print(data)

fp.close()
with TemporaryFile('w+t',encoding='utf-8') as tf:

tf.write('hello world')

tf.seek(0)

print(tf.read())
tmp=''

with TemporaryDirectory() as tmpdir:

print("create a temp directory{0}".format(tmpdir))

tmp = tmpdir

print(os.path.exists(tmp))
print(os.path.exists(tmp))

臨時檔案作為一個臨時的硬碟上的快取,一般不需要命名. 但是如果需要使用帶檔案名的臨時檔案時,可以使用tempfile.NamedTemporaryFile()

在windows平臺下,臨時檔案一般存放在C:/TEMP或者C:/TMP. 其他平臺上,一般存放順序為/tmp,/var/tmp,/usr/tmp 如果以上路徑都找不到的話,python會默認在當前目錄中存放臨時檔案和臨時目錄.

注意,TemporaryFile()等方法也是支持with..in這種背景關系管理器的.

洗掉檔案和目錄

洗掉檔案

要洗掉單個檔案有三種辦法:pathlib.Path.unlink() , os.remove() 還有 os.unlink()方法

這里需要注意的是,os.remove()和os.unlink()沒有什么區別. unlink是類unix系統中的早期叫法.

os.remove(os.path.join(basepath,'demo.txt'))
os.unlink(os.path.join(basepath,'demo2.txt'))

或者使用pathlink.Path.unlink()方法

from pathlib import Path
p = Path(basepath+r'\1-demo.txt')
p.unlink()

注意,以上方法只能洗掉檔案,如果洗掉的不是檔案而是目錄的話,會報IsADirectoryError例外

洗掉目錄或目錄樹

三個方法:

• os.rmdir()
• pathlib.Path.rmdir()
• shutil.rmtree()

在os.rmdir()和pathlib.Path.rmdir()中,如果洗掉的是非空目錄,會報OSError例外.

os.rmdir(os.path.join(basepath,'a'))
p = Path(basepath+r'\b')
p.rmdir()

如果想洗掉非空目錄或者目錄樹的話,可以是用shutil.rmtree()方法

shutil.rmtree(os.path.join(basepath,'2020'))

復制,移動和重命名檔案和目錄

這里我們要使用到shutil模塊,shutil模塊提供了類似shell的一些功能.

復制檔案

import os
import shutil
src = https://www.cnblogs.com/thecatcher/p/os.path.join(basepath,'0-demo.txt')
dst = os.path.join(basepath,'c')
shutil.copy(src,dst)

這個不需要多講了,類似cp命令. 如果dst是檔案,則覆寫原檔案,如果dst是目錄的話,則拷貝到該目錄下.

copy()方法不會復制元資料. 如果要連檔案資訊等元資料一起復制的話,則需要使用copy2()方法.

復制目錄

import os
import shutil
src = https://www.cnblogs.com/thecatcher/p/os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')
shutil.copytree(src,dst)

這里需要注意的是,目標目錄不能是已存在的目錄. 而且在復制的時候,不帶原目標目錄的父目錄. 說人話就是上面這段代碼在執行的時候,只會講c目錄內的內容復制到bak目錄里去.

移動檔案和目錄

import os
import shutil
src = https://www.cnblogs.com/thecatcher/p/os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')
shutil.move(src,dst)

跟shell中的mv用法一樣一樣一樣的. 如果目的目錄存在,則會將源目錄移動到目的目錄中去. 如果目的目錄不存在,那就是源目錄的重命名.

重命名檔案和目錄

可是使用os模塊中的rename()方法,也可以使用pathlib.Path.rename()方法.

os.chdir(basepath)
os.rename('3-demo.txt','demo3.txt')
p = Path('0-demo.txt')
p.rename('demo0.txt')

歸檔

所謂歸檔就是打包. 最常見的兩種打包方式就是zip和tar.(嗯...不要說rar...)

讀取zip檔案

python提供了zipfile的內置模塊用來處理zip檔案.

import os
import zipfile
os.chdir(basepath)
with zipfile.ZipFile('d.zip','r') as zf:

filelist=zf.namelist()

bar_file_info = zf.getinfo('d/bak/0-demo.txt')

print(type(bar_file_info))

print(bar_file_info.file_size)

print(filelist)

提取zip檔案

通過zipfile.extract()和zipfile.extractall()可以從zip檔案中提取一個或多個檔案.

with zipfile.ZipFile('d.zip','r') as zipobj:
    zipobj.extract('d/bak/0-demo.txt')    
    zipobj.extractall(path=r'./zip/')

創建新的zip檔案

直接使用write()方法就可以了.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)
with zipfile.ZipFile('demo.zip','w') as zipobj:

for txt_file in file_list:

zipobj.write(txt_file)

tarfile庫的操作

tar檔案在linux中比較常用,可以使用gzip,bzip2和lzma等壓縮方法進行壓縮. python同樣內置了tarfile庫用于處理tar檔案.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)
# 創建一個tar包
with tarfile.open('demo.tar.gz',mode='w:gz') as tf:
    for file_name in file_list:
        tf.add(file_name)
# 讀取tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    for member in tf.getmembers():
        print(member.name)
# 解壓縮tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    tf.extract('2-demo.txt',path=r'./d/demo')
    tf.extractall(path=r'./d/extractall')

關于打開模式的解釋,懶得翻譯了.

shutil庫創建存檔

shutil庫的make_archive()方法同樣可以創建歸檔. shutil.make_archive(base_name, format[, root_dir[, base_dir[, verbose[, dry_run[, owner[, group[, logger]]]]]]])

shutil.unpack_archive(filename[, extract_dir[, format]])

shutil.make_archive(r'.\d\backup','tar',r'.\d')
shutil.unpack_archive(r'.\d\backup.tar')