如題，很簡單，就是先用chardet 庫識別檔案編碼，解碼之后再輸出成目標編碼，算是個偶爾能用上的小工具，要用的時候萬一沒有就很難受的那種，比如，網上下載了別人的專案檔案，一打開全是亂碼……

代碼

加了比較詳細的注釋~~ 看懂的要求應該不高，平時用過Python，知道幾個常用庫就行，

from pathlib import Path
import chardet
import re

def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float):
    ''' 轉換單個檔案到目標編碼
    @param  f                   檔案路徑
    @param  target_encoding     目標編碼，比如urf-8
    @param  dry_run             為True 時不實際修改源檔案

    @return  回傳三個值分別為（是否成功，估計的源檔案編碼，估計的把握）
    '''
    target_encoding = target_encoding.lower()    # python 的標準編碼名稱都是小寫
    raw = f.read_bytes()
    result = chardet.detect(raw)
    encoding = result["encoding"].lower()     # chardet 估計出來的編碼名稱
    confidence = result["confidence"]    # 估計的把握
    flag = True

    # 下面的單次for 回圈用來避免重復寫return 陳述句，break 后統一跳到最后return
    # Python學習交流裙 872937351

    for _d（￣_￣）b_ in (1,):
        if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8":
            # 目標編碼和源編碼相同時不用做處理，utf-8 編碼和ASCII 兼容，原編碼為ASCII 時轉換到utf-8 不會有變化，所以也跳過
            print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]")
            break

        try:
            text = raw.decode(encoding)
        except:
            print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.")
            flag = False
            break

        if dry_run:
            print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]")
        else:
            # 必須先用目標編碼轉換成位元組陣列，然后按位元組寫入源檔案
            # 如果按文本方式寫入，就會遇到喜聞樂見的CR LF 換行問題，
            # 源檔案中的CR LF 換行會被自動變成CR CR LF，也就是多了一堆空行，
            out = text.encode(target_encoding)
            f.write_bytes(out)
            print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]")

    return (flag, encoding, confidence)


def text_file_encoding_batch_convert(
    folder: Path,
    target_encoding: str,
    *,
    dry_run=True,
    recursive=False,
    pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$",
    skip_when_error=True,
):
    ''' 批量轉換一個目錄下文本檔案的編碼
    Python學習交流群 872937351
    @param  folder             目標目錄
    @param  target_encoding    目標編碼
    @param  dry_run            不實際修改源檔案，避免手滑寫錯
    @param  recursive          包括所有子檔案夾下的檔案
    @param  pattern            基于檔案名篩選文本檔案的正則運算式，默認根據后綴篩選幾種文本型別
    @param  skip_when_error    默認True，單個檔案轉換出錯時提示并跳過，否則終止
    '''
    if recursive:
        flist = folder.rglob("*")
    else:
        flist = folder.glob("*")

    p = re.compile(pattern)   # 把正則編譯了，之后應該能快一點
    for f in flist:
        if not (f.is_file() and p.match(f.name)):
            continue

        ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run)
        if not ok:
            if skip_when_error:
                print("!> SKIP.")
            else:
                print("!> ABORT.")
                return

用法

既然是批量轉換檔案，只呼叫第二個函式就好了，如下：

folder = Path(r"D:\Downloads\Some shit\\")
text_file_encoding_batch_convert(folder, "utf-8", recursive=True)

目標目錄為D:\Downloads\Some shit\，放進一個Path 物件里，作為第一個引數傳進去，第二個引數是目標編碼，第三個引數必須寫明引數名稱recursive，用來指定要不要遍歷子檔案夾，默認是False，為了避免意外情況，直接這么運行的話，輸出的資訊應該類似這樣：

-> [NO WET] main.c : gb2312 ? utf-8

[NO WET] 意思就是DRY [doge]，也就是沒有實際修改源檔案，只是讓你大致看看輸出資訊對不對勁，實際運行的話再加一個引數：

text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)

順便一說，輸出資訊都是英文的，因為大伙應該都遇到過控制臺輸出中文亂碼的問題，反正也沒幾個單詞，剩下兩個引數，skip_when_error 放著別管就行，沒什么用；pattern 是匹配檔案名的正則運算式，只有匹配的檔案會被處理，可以自己設定；默認的正則只匹配了幾種容易遇到亂碼問題的文本檔案，匹配的太多了也可能錯殺，需要的話往括號里加就行，

對了，上面的代碼和這篇文章一樣，使用 CC - BY SA 4.0 協議，

標籤：其他

上一篇：執行緒池

下一篇：springBoot，springCode專案 java 讀取Excel 檔案操作