MySQLNOTIN(array[])vsPHPin_array(array[])？-有解無憂

我有一個每小時運行一次的查詢，我正在處理這個查詢中的某個資料集。在處理這個資料集時，我需要忽略一些 ID，我目前正在使用NOT IN，但我需要忽略的 ID 數量約為 50。

我想知道的問題是，我正在使用我正在處理的資料以某種模式創建一個文本檔案，我應該直接在查詢中還是在 foreach 模式中使用這個忽略操作以獲得更好的性能？

查詢在包含 10M 記錄的資料集中回傳大約 5000-7000 條資料，我需要從結果集中忽略大約 50 個 ID。

讓我們說;

$blacklist_arr = array(1,10,20,30,40,50,60,70,80,90,100); //around 50 element in array~

我現在用的；

...QUERY...
resultSet.ID NOT IN (\'' . implode( "', '" , $blacklist_arr ) . '\')

我打算使用什么；

foreach ($final_dataset as $final_data) {
    ...
    if (!in_array($final_data, $blacklist_arr )) {
    //write to file
    ...

編輯* 查詢結構如下；

SELECT * 
FROM
    (
        (
        SELECT DISTINCT a.col1, a.col2, a.col3, a.col4,..., a.coln
        FROM
            `a`
            INNER JOIN ( SELECT MAX( b.col4 ) AS X, b.col2 FROM `a` AS `b` GROUP BY b.col2 ORDER BY NULL ) sub ON ( sub.X = a.col4 ) 
        WHERE
            ( a.someColumn > NOW( ) - INTERVAL 2 HOUR ) 
            AND ( a.col3 < DATE_HERE ) 
        ) UNION
        (
        SELECT  a.col1, a.col2, a.col3, a.col4,..., a.coln
        FROM
            `a` 
        WHERE
            ( a.someColumn >= DATE_SUB( NOW( ), INTERVAL 3 MONTH ) AND a.col4 IS NULL ) 
            AND ( a.col3 < DATE_HERE ) 
        ) 
    ) AS resultSet 
WHERE
    resultSet.col1 NOT IN ( 1,10,20,30,40,50,60,70,80,90,100 ) 
ORDER BY
    resultSet.col3 ASC,
    resultSet.col2 ASC,
    resultSet.col4 ASC,
    resultSet.col1 DESC

uj5u.com熱心網友回復：

各種點：

我有一個“經驗法則”：“如果一個可能的優化估計使事情改進不到 10%，那么繼續前進。也就是說，不要在上面花費額外的精力。相反，尋找更好的作業。 ” 根據您的數字，優化僅將結果集減少了約 1%。
有一個標準的編程規則：“KISS”。哪個更容易撰寫代碼 -NOT IN還是 PHP 過濾？一個變體：“哪種方法更少擊鍵？” 這來自“程式員的時間比計算機時間更有價值。
移動NOT IN到每個子查詢中可能會稍微加快速度。這是因為它會（略微）減少查詢中涉及的中間表。（但是，這不符合 10% 和 KISS 規則。）另一方面，它可以消除最外面的 Select。注意：這有效： (SELECT ...) UNION (SELECT ...) ORDER BY...。
潛在錯誤：最里面的 Select 可能正在從排除的 col1 之一中選擇日期和時間。
UNION默認為UNION DISTINCT，它比慢UNION ALL。將此視為更大的優化。
ON ( sub.X = a.col4)大概需要提一下col2。
DATE_HERE與有某種關系NOW()嗎？也許你需要TIMESTAMP而不是DATETIME反之亦然？
我懷疑DISTINCT不需要。無論如何，它是多余的UNION。
考慮“黑名單”是否應該是表格，而不是組態檔。作為表，NOT EXISTS(..)或者LEFT JOIN .. IS NOT NULL需要添加到查詢中。這將比您現在擁有的要慢，但可能會“更干凈”。
WHERE 1=1是懶惰編程的產物；這不是優化；優化器將簡單地扔掉它。
通常，更好的索引提供最大的改進。也許以下會有所幫助。注意：單獨的單列索引不是那么好。此外，在添加時INDEX(a,b)，洗掉INDEX(a).
```
a (as b):  INDEX(col2,  col4)  -- this order
a:  INDEX(col4, col3, someColumn)  -- col4 first
```

uj5u.com熱心網友回復：

如果您的 t.col_black_elem 是通過另一個查詢獲得的，您可以嘗試使用左連接檢查不匹配的值

   SELECT a.col1,..., a.coln
   from table1 a 
   LEFT JOIN (
        select col_black_elem from tablex 
   ) t on t.col_black_elem = a.colx 
   WHERE  t.col_black_elem  is null

和你的代碼

SELECT * 
FROM
    (
        (
        SELECT DISTINCT a.col1, a.col2, a.col3, a.col4,..., a.coln
        FROM
            `a`
            INNER JOIN ( SELECT MAX( b.col4 ) AS X, b.col2 FROM `a` AS `b` GROUP BY b.col2 ORDER BY NULL ) sub ON ( sub.X = a.col4 ) 
        WHERE
            ( a.someColumn > NOW( ) - INTERVAL 2 HOUR ) 
            AND ( a.col3 < DATE_HERE ) 
        ) UNION
        (
        SELECT  a.col1, a.col2, a.col3, a.col4,..., a.coln
        FROM
            `a` 
        WHERE
            ( a.someColumn >= DATE_SUB( NOW( ), INTERVAL 3 MONTH ) AND a.col4 IS NULL ) 
            AND ( a.col3 < DATE_HERE ) 
        ) 
    ) AS resultSet 
LEFT JOIN (
        select col_black_elem from tablex 
   ) t on t.col_black_elem =  resultSet.col1
WHERE  t.col_black_elem  is null
ORDER BY
    resultSet.col3 ASC,
    resultSet.col2 ASC,
    resultSet.col4 ASC,
    resultSet.col1 DESC

否則，如果您的 t.col_black_elem 不是通過其他查詢獲得的，您可以使用多個選擇聯合填充臨時表或 buld dinamycally 臨時表

uj5u.com熱心網友回復：

從性能來看，我建議您：

洗掉第一個子查詢中的 DISTINCT。一種排序優于兩種排序。
在子查詢中過濾您的行，而不是在組合行集中，這將減少要按 UNION 排序的行數。

SELECT * 
FROM
    (
        (
        SELECT a.col1, a.col2, a.col3, a.col4,..., a.coln
        FROM
            `a`
            INNER JOIN ( SELECT MAX( b.col4 ) AS X, b.col2 FROM `a` AS `b` GROUP BY b.col2 ORDER BY NULL ) sub ON ( sub.X = a.col4 ) 
        WHERE
            ( a.someColumn > NOW( ) - INTERVAL 2 HOUR ) 
            AND ( a.col3 < DATE_HERE ) 
            AND a.col1 NOT IN ( 1,10,20,30,40,50,60,70,80,90,100 ) 

        ) UNION
        (
        SELECT  a.col1, a.col2, a.col3, a.col4,..., a.coln
        FROM
            `a` 
        WHERE
            ( a.someColumn >= DATE_SUB( NOW( ), INTERVAL 3 MONTH ) AND a.col4 IS NULL ) 
            AND ( a.col3 < DATE_HERE ) 
            AND a.col1 NOT IN ( 1,10,20,30,40,50,60,70,80,90,100 ) 

        ) 
    ) AS resultSet 
ORDER BY
    resultSet.col3 ASC,
    resultSet.col2 ASC,
    resultSet.col4 ASC,
    resultSet.col1 DESC

轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/402194.html

標籤：php mysql 表现

上一篇：如何根據其他基本矩陣和相機運動找到基本矩陣？

下一篇：使用perl獲取HTMLid標簽