主頁 > 後端開發 > 一文了解 io.Copy 函式

一文了解 io.Copy 函式

2023-07-10 07:46:36 後端開發

1. 引言

io.Copy 函式是一個非常好用的函式,能夠非常方便得將資料進行拷貝,本文我們將從io.Copy 函式的基本定義出發,講述其基本使用和實作原理,以及一些注意事項,基于此完成對io.Copy 函式的介紹,

2. 基本說明

2.1 基本定義

Copy函式用于將資料從源(io.Reader)復制到目標(io.Writer),它會持續復制直到源中的資料全部讀取完畢或發生錯誤,并回傳復制的位元組數和可能的錯誤,函式定義如下:

func Copy(dst io.Writer, src io.Reader) (written int64, err error)

其中dst 為目標寫入器,用于接收源資料;src則是源讀取器,用于提供資料,

2.2 使用示例

下面提供一個使用 io.Copy 實作資料拷貝的代碼示例,比便更好得理解和使用Copy函式,代碼示例如下:

package main

import (
        "fmt"
        "io"
        "os"
)

func main() {
        fmt.Print("請輸入一個字串:")
        src := readString()
        // 通過io.Copy 函式能夠將 src 的全部資料 拷貝到 控制臺上輸出
        written, err := io.Copy(os.Stdout, src)
        if err != nil {
                fmt.Println("復制程序中發生錯誤:", err)
                return
        }

        fmt.Printf("\n成功復制了 %d 個位元組,\n", written)
}

func readString() io.Reader {
   buffer := make([]byte, 1024)
   n, _ := os.Stdin.Read(buffer)
   // 如果實際讀取的位元組數少于切片長度,則截取切片
   if n < len(buffer) {
      buffer = buffer[:n]
   }
   return strings.NewReader(string(buffer))
}

在這個例子中,我們首先使用readString函式從標準輸入中讀取字串,然后使用strings.NewReader將其包裝為io.Reader回傳,

然后,我們呼叫io.Copy函式,將讀取到資料全部復制到標準輸出(os.Stdout),最后,我們列印復制的位元組數,可以運行這個程式并在終端輸入一個字串,通過Copy函式,程式最侄訓將字串列印到終端上,

3. 實作原理

在了解了io.Copy 函式的基本定義和使用后,這里我們來對 io.Copy 函式的實作來進行基本的說明,加深對 io.Copy 函式的理解,

io.Copy基本實作原理如下,首先創建一個緩沖區,用于暫存從源Reader讀取到的資料,然后進入一個回圈,每次回圈從源Reader讀取資料,然后存盤到之前創建的緩沖區,之后再寫入到目標Writer中,不斷重復這個程序,直到源Reader回傳EOF,此時代表資料已經全部讀取完成,io.Copy也完成了從源Reader往目標Writer拷貝全部資料的作業,

在這個程序中,如果往目標Writer寫入資料程序中發生錯誤,亦或者從源Reader讀取資料發生錯誤,此時io.Copy函式將會中斷,然后回傳對應的錯誤,下面我們來看io.Copy的實作:

func Copy(dst Writer, src Reader) (written int64, err error) {
   // Copy 函式 呼叫了 copyBuffer 函式來實作
   return copyBuffer(dst, src, nil)
}

func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
   // 如果 源Reader 實作了 WriterTo 介面,直接呼叫該方法 將資料寫入到 目標Writer 當中
   if wt, ok := src.(WriterTo); ok {
      return wt.WriteTo(dst)
   }
   // 同理,如果 目標Writer 實作了 ReaderFrom 介面,直接呼叫ReadFrom方法
   if rt, ok := dst.(ReaderFrom); ok {
      return rt.ReadFrom(src)
   }
   // 如果沒有傳入緩沖區,此時默認 創建一個 緩沖區
   if buf == nil {
      // 默認緩沖區 大小為 32kb
      size := 32 * 1024
      // 如果源Reader 為LimitedReader, 此時比較 可讀資料數 和 默認緩沖區,取較小那個
      if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {
         if l.N < 1 {
            size = 1
         } else {
            size = int(l.N)
         }
      }
      buf = make([]byte, size)
   }
   for {
      // 呼叫Read方法 讀取資料
      nr, er := src.Read(buf)
      if nr > 0 {
         // 將資料寫入到 目標Writer 當中
         nw, ew := dst.Write(buf[0:nr])
         // 判斷寫入是否 出現了 錯誤
         if nw < 0 || nr < nw {
            nw = 0
            if ew == nil {
               ew = errInvalidWrite
            }
         }
         // 累加 總寫入資料
         written += int64(nw)
         if ew != nil {
            err = ew
            break
         }
         // 寫入位元組數 小于 讀取位元組數,此時報錯
         if nr != nw {
            err = ErrShortWrite
            break
         }
      }
      if er != nil {
         if er != EOF {
            err = er
         }
         break
      }
   }
   return written, err
}

從上述基本原理和代碼實作來看,io.Copy 函式的實作還是非常簡單的,就是申請一個緩沖區,然后從源Reader讀取一些資料放到緩沖區中,然后再將緩沖區的資料寫入到 目標Writer, 如此往復,直到資料全部讀取完成,

4. 注意事項

4.1 注意關閉源Reader和目標Writer

在使用io.Copy 進行資料拷貝時,需要指定源Reader 和 目標Writer,當io.Copy 完成資料拷貝作業后,我們需要呼叫Close 方法關閉 源Reader 和 目標Writer,如果沒有適時關閉資源,可能會導致一些不可預料情況的出現,

下面展示一個使用 io.Copy 進行檔案復制的代碼示例,同時簡單說明不適時關閉資源可能導致的問題:

package main

import (
        "fmt"
        "io"
        "os"
)

func main() {
        sourceFile := "source.txt"
        destinationFile := "destination.txt"

        // 打開源檔案
        src, err := os.Open(sourceFile)
        if err != nil {
                fmt.Println("無法打開源檔案:", err)
                return
        }
        // 呼叫Close方法
        defer src.Close()

        // 創建目標檔案
        dst, err := os.Create(destinationFile)
        if err != nil {
                fmt.Println("無法創建目標檔案:", err)
                return
        }
        // 呼叫Close 方法
        defer dst.Close()

        // 執行檔案復制
        _, err = io.Copy(dst, src)
        if err != nil {
                fmt.Println("復制檔案出錯:", err)
                return
        }

        fmt.Println("檔案復制成功!")
}

使用 io.Copy 函式將源檔案的內容復制到目標檔案中,在結束代碼之前,我們需要適時地關閉源文件和目標檔案,以上面使用io.Copy 實作檔案復制功能為例,如果我們沒有適時關閉資源,首先是可能會導致檔案句柄泄漏,資料不完整等一系列問題的出現,

因此我們在io.Copy函式之后,需要在適當的地方呼叫Close關閉系統資源,

4.2 考慮性能問題

io.Copy 函式默認使用一個32KB大小的緩沖區來復制資料,如果我們處理的是大型檔案,亦或者是高性能要求的場景,此時是可以考慮直接使用io.CopyBuffer 函式,自定義緩沖區大小,以優化復制性能,而io.Copyio.CopyBuffer 底層其實都是呼叫io.copyBuffer 函式的,二者底層實作其實沒有太大的區別,

下面通過一個基準測驗,展示不同緩沖區大小對資料拷貝性能的影響:

func BenchmarkCopyWithBufferSize(b *testing.B) {
   // 本地運行時, 檔案大小為 100 M
   filePath := "largefile.txt"
   bufferSizes := []int{32 * 1024, 64 * 1024, 128 * 1024} // 不同的緩沖區大小

   for _, bufferSize := range bufferSizes {
      b.Run(fmt.Sprintf("BufferSize-%d", bufferSize), func(b *testing.B) {
         for n := 0; n < b.N; n++ {
            src, _ := os.Open(filePath)
            dst, _ := os.Create("destination.txt")

            buffer := make([]byte, bufferSize)
            _, _ = io.CopyBuffer(dst, src, buffer)

            _ = src.Close()
            _ = dst.Close()
            _ = os.Remove("destination.txt")
         }
      })
   }
}

這里我們定義的緩沖區大小分別是32KB, 64KB和128KB,然后使用該緩沖區來拷貝資料,下面我們看基準測驗的結果:

BenchmarkCopyWithBufferSize/BufferSize-32768-4                        12         116494592 ns/op
BenchmarkCopyWithBufferSize/BufferSize-65536-4                        10         110496584 ns/op
BenchmarkCopyWithBufferSize/BufferSize-131072-4                       12          87667712 ns/op

從這里看來,32KB大小的緩沖區拷貝一個100M的檔案,需要116494592 ns/op, 而128KB大小的緩沖區拷貝一個100M的檔案,需要87667712 ns/op,不同緩沖區的大小,確實是會對拷貝的性能有一定的影響,

在實際使用中,根據檔案大小、系統資源和性能需求,可以根據需求進行緩沖區大小的調整,較小的檔案通常可以直接使用io.Copy 函式默認的 32KB 緩沖區,而較大的檔案可能需要更大的緩沖區來提高性能,通過合理選擇緩沖區大小,可以獲得更高效的檔案復制操作,

5. 總結

io.Copy 函式是Go語言標準庫提供的一個工具函式,能夠將資料從源Reader復制到目標Writer, 我們先從io.Copy 函式的基本定義出發,之后通過一個簡單的示例,展示如何使用io.Copy 函式實作資料拷貝,

接著我們講述了io.Copy 函式的實作原理,其實就是定義了一個緩沖區,將源Reader資料寫入到緩沖區中,然后再將緩沖區的資料寫入到目標Writer,不斷重復這個程序,實作了資料的拷貝,

在注意事項方面,則強調了及時關閉源Reader和目標Writer的重要性,以及用戶在使用時,需要考慮io.Copy函式的性能是否能夠滿足要求,之后通過基準測驗展示了不同緩沖區大小可能帶來的性能差距,

基于此,完成了對io.Copy 函式的介紹,希望對你有所幫助,

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/556871.html

標籤:其他

上一篇:使用 Sa-Token 實作不同的登錄模式:單地登錄、多地登錄、同端互斥登錄

下一篇:返回列表

標籤雲
其他(162275) Python(38272) JavaScript(25528) Java(18293) C(15239) 區塊鏈(8275) C#(7972) AI(7469) 爪哇(7425) MySQL(7292) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5876) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4615) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2438) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) HtmlCss(1993) .NET技术(1986) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1882) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 一文了解 io.Copy 函式

    # 1. 引言 `io.Copy` 函式是一個非常好用的函式,能夠非常方便得將資料進行拷貝。本文我們將從`io.Copy` 函式的基本定義出發,講述其基本使用和實作原理,以及一些注意事項,基于此完成對`io.Copy` 函式的介紹。 # 2. 基本說明 ### 2.1 基本定義 `Copy`函式用于 ......

    uj5u.com 2023-07-10 07:46:36 more
  • 使用 Sa-Token 實作不同的登錄模式:單地登錄、多地登錄、同端互斥

    ### 一、需求分析 如果你經常使用騰訊QQ,就會發現它的登錄有如下特點:它可以手機電腦同時在線,但是不能在兩個手機上同時登錄一個賬號。 同端互斥登錄,指的就是:像騰訊QQ一樣,在同一型別設備上只允許單地點登錄,在不同型別設備上允許同時在線。 動態演示圖: ![同端互斥登錄](https://oss ......

    uj5u.com 2023-07-10 07:46:29 more
  • Java擴展Nginx之二:編譯nginx-clojure原始碼

    ### 歡迎訪問我的GitHub > 這里分類和匯總了欣宸的全部原創(含配套原始碼):[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) ### 為什么要編譯nginx-clojure原始碼 - 作為《 ......

    uj5u.com 2023-07-10 07:41:03 more
  • Spring 中 Bean 的配置細節

    大家好,我是 god23bin,今天繼續說 Spring 的內容,關于 Spring 中 Bean 的配置的,通過上一篇文章的學習,我們知道了 Spring 中的依賴注入,其中有兩種主要的方式,分別是基于構造方法的 DI 和 基于 Setter 的 DI。 ......

    uj5u.com 2023-07-10 07:40:54 more
  • 暗黑2能用Java開發?還能生成APP?

    > 最近燒哥發現個寶藏專案,竟然用Java開發了暗黑2出來。 眾所周知,暗黑2是暴雪開發的一款經典游戲,距今雖有20多年,仍然有很多粉絲。 粉絲延續熱情的方式有很多,一種是做Mod,比如[魔電](https://www.median-xl.com/),對怪物、技能、物品、場景、甚至游戲機制都有大改, ......

    uj5u.com 2023-07-10 07:39:57 more
  • Object.equals 和 String.equals的區別

    一. 原始碼展示: 1. Object.equals: ①參考型別地址值比較,直接回傳結果:true || false public class Object { public boolean equals(Object obj) { return (this == obj); } } 2. Stri ......

    uj5u.com 2023-07-09 07:49:47 more
  • python筆記:第四章使用字典

    ## 1.1 概述 > 說白了就是鍵值對的映射關系 > > 不會丟失資料本身關聯的結構,但不關注資料的順序 > > 是一種可變型別 ```py 格式:dic = {鍵:值, 鍵:值} ``` * 鍵的型別:字典的鍵可以是任何不可變的型別,如浮點數,字串,元組 ## 1.2 函式dict 可以從其他 ......

    uj5u.com 2023-07-09 07:49:44 more
  • Java中AQS的原理與實作

    ### 目錄 *1:什么是AQS?* *2:AQS都有那些用途?* *3:我們如何使用AQS* *4:AQS的實作原理* *5:對AQS的設計與實作的一些思考* ### 1:什么是AQS ? 隨著計算機的算力越來越強大,各種各樣的并行編程模型也隨即踴躍而來,但當我們要在并行計算中使用共享資源的時候, ......

    uj5u.com 2023-07-09 07:49:30 more
  • 計算機COM口資料測驗

    計算機COM口資料測驗一、基本使用流程 程式需要以管理員身份運行,COM口回路測驗需短接2,3pin,測驗時候使用控制臺,配置測驗相關路徑,并在測驗完成后 1.測驗配置路徑D:\bigdata\INI\FWCOM.ini 2.測驗完成后需要在路徑D:\bigdata\LOG\生成測驗FWCOM.lo ......

    uj5u.com 2023-07-09 07:49:18 more
  • Python潮流周刊#10:Twitter 的強敵 Threads 是用 Python 開發的!

    你好,我是貓哥。這里每周分享優質的 Python 及通用技術內容,大部分為英文,已在小標題注明。(標題取自其中一則分享,不代表全部內容都是該主題,特此宣告。) 首發于我的博客:[https://pythoncat.top/posts/2023-07-08-weekly](https://python ......

    uj5u.com 2023-07-09 07:48:59 more