我有大約 150 個 CSV 檔案，格式如下：
| 產品名稱 | 成本 | 制造商 | 國家 |
|---|---|---|---|
| P_0 | 5 | 輝瑞 | 芬蘭 |
| P_1 | 10 | 生物科技 | 瑞典 |
| P_2 | 12 | 輝瑞 | 丹麥 |
| P_3 | 11 | 強生 | 芬蘭 |
每個 CSV 代表每日資料。所以前一個日期的檔案看起來像：
| 產品名稱 | 成本 | 制造商 | 國家 |
|---|---|---|---|
| P_0 | 7 | 輝瑞 | 芬蘭 |
| P_1 | 15 | 生物科技 | 瑞典 |
| P_2 | 17 | 輝瑞 | 丹麥 |
| P_3 | 10 | 強生 | 芬蘭 |
我想創建一個時間序列資料集，我可以在其中跟蹤給定國家/地區制造商的產品價格。
因此，例如，我希望能夠將瑞典 BioNTech 制造的產品 P_1 的價格發展顯示為：
| 日期 | 價格 |
|---|---|
| 17/10/2022 | 15 |
| 2022 年 10 月 18 日 | 10 |
我的嘗試：
每個 CSV 都將日期作為其名稱的一部分（例如，“data_17-10_2022”）。所以我創建了一個串列，其中包含所有 CSV 檔案的路徑，然后我遍歷這個串列，將每個 CSV 轉換為 pandas 資料框，將它們中的每一個添加到一個串列中，然后將其連接起來，然后我執行一些 groupby 操作.
def create_ts(data):
df_list = []
for file in data:
match = re.search(r'\d{2}-\d{2}-\d{4}', file) # get date from file name
date = datetime.strptime(match.group(), '%d-%m-%Y').date()
df = pd.read_csv(file, sep = ";")
df["date"] = date # create a new column in each df that contains the date
df_list.append(df)
return df_list
df_concat = pd.concat(create_ts(my_files))
df_group = df_concat.groupby(["Manufacturer", "Country", "Product Name"])
這將回傳我所追求的。但是，它非常慢（當我針對一個隨機國家、制造商和產品名稱進行嘗試時，它需要將近 10 分鐘才能運行）。
問題（我認為）是每個 CSV 大約為 40MB（180000 行和 20 列，其中我洗掉了大約 10 個不相關的列）。
我能做些什么來加快速度嗎？我嘗試安裝 modin，但我收到一條錯誤訊息，提示我需要 VS C v.14，而且我的作業計算機不允許我安裝程式，而無需與 IT 部門進行很長的程序。
uj5u.com熱心網友回復：
從根本上說，您的閱讀方法很好：據我所知，閱讀然后連接資料框是最好的方法。usecols如果您使用anddtype引數，您可以獲得一些邊際改進，read_csv但這取決于您的資料的樣子：
| 方法 | 時間 | 相對的 |
|---|---|---|
| 原來的 | 0.1512130000628531 | 1.5909069397118787 |
| 僅加載您需要的列 | 0.09676750004291534 | 1.0180876465175188 |
| 使用 dtype 引數 | 0.09504829999059439 | 1.0 |
我認為要獲得顯著的性能改進，您可能希望在 dankal444 提到的程序中的某個時刻查看快取。
您快取的內容取決于資料的變化方式，但假設檔案在您收到它們后不會更改，我可能會使用一組包含的檔案快取加載的資料幀，例如：
import pickle
dst = './fastreading.pkl'
contained_files = set()
with open(dst, 'wb') as f:
pickle.dump((contained_files, df), f)
with open(dst, 'rb') as f:
contained_files2, df2 = pickle.load(f)
然后，您可以檢查該檔案是否在加載程序中包含的檔案串列中。我在這里使用pickle，但還有其他更快的加載/保存資料幀的方法，這里有一些基準資料。
如果您擔心檔案可能會出現，您可以在包含的檔案串列中包含時間戳或校驗和。
我推薦的另一件事是運行分析器。這應該讓您很好地了解時間花在哪里。
read_csv測驗代碼：
import pandas as pd
import numpy as np
import timeit
iterations = 10
item_count = 5000
path = './fasterreading.csv'
data = {c: [i/2 for i in range(item_count)] for c in [chr(c) for c in range(ord('a'), ord('z') 1)]}
dtypes = {c: np.float64 for c in data.keys()}
df = pd.DataFrame(data)
df.to_csv(path)
# attempt to negate file system caching effect
timeit.timeit(lambda: pd.read_csv(path), number=5)
t0 = timeit.timeit(lambda: pd.read_csv(path), number=iterations)
t1 = timeit.timeit(lambda: pd.read_csv(path, usecols=['a', 'b', 'c']), number=iterations)
t2 = timeit.timeit(lambda: pd.read_csv(path, usecols=['a', 'b', 'c'], dtype=dtypes), number=iterations)
tmin = min(t0, t1, t2)
print(f'| Method | Time | Relative |')
print(f'|------------------ |----------------------|')
print(f'| Original | {t0} | {t0 / tmin} |')
print(f'| Only load columns you need | {t1} | {t1 / tmin} |')
print(f'| Use dtype parameter | {t2} | {t2 / tmin} |')
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/519868.html
上一篇：關于隨機訪問陣列修改的任何優化？
下一篇：Cypher：慢查詢優化