從 AWS S3 中可用的 python 資料框中的 gzip 檔案讀取內容。
想要轉換資料框。
uj5u.com熱心網友回復：
如果您正在嘗試將 json 資料獲取到資料框 這是代碼。
import pandas as pd
import boto3
from io import StringIO
import gzip
resource = boto3.resource('s3',aws_access_key_id = '',
aws_secret_access_key = '')
list_keys= []
lst = []
for key in client.list_objects(Bucket='bucket_name',Prefix = 'Folder name')['Contents']:
list_keys.append(key["Key"])
for key in list_keys:
try:
obj = resource.Object("bucket_name", key)
with gzip.GzipFile(fileobj=obj.get()["Body"]) as gzipfile:
temp_data = pd.read_json(StringIO(gzipfile.read().decode('UTF-8')),lines=True)
lst.append(temp_data)
except Exception as e:
pass
df = pd.concat(lst,ignore_index = True)
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/535938.html
上一篇：帶有連接節點的鏈接的簇狀氣泡