我已經看到了一些關于這個的帖子,但還沒有找到一個直接的答案。
我有一個相當基本的回圈。它為串列中的每個表名運行一些 SQL,并將該輸出發送到一個 csv 檔案。資料庫中有幾千個表,其中有幾個表非常龐大,并且查詢需要永遠。為了繼續生活(并且由于這些資料不是非常重要,如果時間超過一分鐘,我希望我的回圈跳過迭代。
這是我的回圈:
for t in tablelist:
df = pd.read_sql(sql=f''' select * from [DB].[SCHEMA].[{t}] ''', con=conn)
df.to_csv(path, index=None)
uj5u.com熱心網友回復:
您應該在另一個執行緒中運行 pd.read_sql,您可以使用此實用程式函式:
import time
from threading import Thread
class ThreadWithReturnValue(Thread):
def __init__(self, group=None, target=None, name=None,
args=(), kwargs={}, Verbose=None):
Thread.__init__(self, group, target, name, args, kwargs)
self._return = None
def run(self):
print(type(self._target))
if self._target is not None:
self._return = self._target(*self._args,
**self._kwargs)
def join(self, *args):
Thread.join(self, *args)
return self._return
def call(f, *args, timeout = 5, **kwargs):
i = 0
t = ThreadWithReturnValue(target=f, args=args, kwargs=kwargs)
t.daemon = True
t.start()
while True:
if not t.is_alive():
break
if timeout == i:
print("timeout")
return
time.sleep(1)
i = 1
return t.join()
def read_sql(a,b,c, sql="", con=""):
print(a, b, c, sql, con)
t = 10
while t > 0:
# print("t=", t)
time.sleep(1)
t -= 1
return "read_sql return value"
conn = "conn"
t = "t"
print(call(read_sql, "a", "b", "c", timeout=10, sql=f''' select * from [DB].[SCHEMA].[{t}] ''', con=conn))
我從這個答案中得到了幫助。
通過這些功能:
for t in tablelist:
df = call(pd.read_sql, timeout=yourTimeOutInSeconds , sql=f''' select * from [DB].[SCHEMA].[{t}] ''', con=conn)
if df:
df.to_csv(path, index=None)
轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/398284.html
下一篇:完成后如何回到回圈頂部?
