時間序列組之間的相似性

我有一個像下面這樣的資料集，有多個組，完成的值有200多列（表示天數）

現在，我有一個不完整的資料集，如下所示。我想計算每組的相似度指標，并說明哪個系列最相似。

為了達到相似性的目的，我目前在Excel中使用CORREL，在平局的情況下，我使用最新的一個。為了進行比較，只對兩組中的完整值進行了比較（也就是說，預期輸出中的缺失值不用于相似度的計算）。

這是一個VBA宏，我正在向python（pandas或pyspark）轉變。

我對如何更好地開展作業感到困惑。任何其他的相似度量也可以嘗試一下。謝謝

預期輸出

uj5u.com熱心網友回復：

這個解決方案包括在每個組上進行迭代，從每個資料框中獲取一個子集，并獲取每個資料框值的乘積，這樣每一行都可以與其他每一行進行比較。

我們可以使用一些嵌套的 zip/filter/reverse 技巧，只保留已填寫的列。 將其與來自 dfs 和組的日期放在一個串列中，我們可以創建一個資料框架，進行排序、分組，并保留每一行的最高得分。

將其連接到第二個df中，應該可以得到你想要的輸出。

import pandas as pd
import numpy as np
from itertools import product

df = pd.DataFrame({'Series'/span>: {0: '01/08/2021',
  1: '08/08/2021',
  2: '15/08/2021',
  3: '01/08/2021',
  4: '08/08/2021'。
  5: '15/08/2021'}。
 '1'/span>: {0: '100%', 1: '100%', 2: '100%', 3: '100%', 4: '100%', 5: '100%'}。
 '2'/span>: {0: '75%'/span>, 1: '95%', 2: '85%'/span>, 3: '70%', 4: '90%', 5: '95%'}。
 '3'/span>: {0: '60%'/span>, 1: '80%',  2: '60%', 3: '65%', 4: '80%', 5: '60%'}。
 '4'/span>: {0: '50%', 1: '60%',  2: '40%', 3: '55%', 4: '60%'/span>, 5: '40%'}。
 '5'/span>: {0: '40%', 1: '30%', 2: '20%', 3: '45%', 4: '30%', 5: '30%'}。
 '6'/span>: {0: '30%'/span>, 1: '10%', 2: '10%', 3: '35%', 4: '10%', 5: '20%'}。
 '7'/span>: {0: '0%'/span>, 1: '0%', 2: '5%'/span>, 3: '0%', 4: '0%', 5: '5%'}。
 'Group': {0: 'A', 1: 'A', 2: 'A', 3: 'B', 4: 'B', 5: 'B'}})

df2 = pd.DataFrame({'Series': {0: '01/09/2021',
  1: '08/09/2021',
  2: '15/09/2021',
  3: '15/09/2021'}。
 '1': {0: np.nan, 1: np.nan, 2: np.nan, 3: np.nan},
 '2': {0: np.nan, 1: np.nan, 2: np.nan, 3: np.nan},
 '3': {0: np.nan, 1: '62%', 2: np.nan, 3: np.nan},
 '4'/span>: {0: np.nan, 1: '44%', 2: np.nan, 3: np.nan},
 '5'/span>: {0: '39%', 1: '21%', 2: np.nan, 3: '30%'}。
 '6'/span>: {0: '28%'/span>, 1: '12%', 2: '8%', 3: '19%'}。
 '7'/span>: {0: '0%'/span>, 1: '7%', 2: '0%', 3: '0%'}。
 'Similarity_Score'/span>: {0: 0.99, 1: 0.99, 2: 1.0, 3: 1.0}。
 'Similarity_Week': {0: '01/08/2021',
  1: '15/08/2021',
  2: '08/08/2021',
  3: '15/08/2021'}。
 'Group': {0: 'A'/span>, 1: 'A', 2: 'A', 3: 'B'}}。
)

df2.drop(columns=['Similarity_Score','Similarity_Week'], inplace=True)


l = []
for g, data in df.groupby('GROUP') 。
    x = df2.loc[df2['Group']==g] 。
    for c in product（data.values,x.values）。
        a = c[0][1：-1]
        b = c[1][1:-1]
        a,b = list(zip(*(zip(reversed(a), list(filter(lambdav: v==v, b))))))
        a = [int(x. replace('%',''))/100 for x in a]
        b = list(reversed([int(x。 replace('%',''))/100 for x in b] )
        l.append([g,c[0][0],c[1][0], np. corrcoef(a,b)[1,0]] )

out = df2.merge(pd.DataFrame(l, columns=['Group','Similarity_Week','Series','Similarity_Score']) 。 sort_values(by=['Similarity_Score', 'Similarity_Week'], ascending=False) 。 groupby(['Group','Series']).head(1), on=['Group','Series']

輸出

 系列 1 2 3 4 5 6 7 group Similarity_Week  
0 01/09/2021 NaN NaN NaN NaN 39% 28% 0% A 01/08/2021   
1 08/09/2021 NaN NaN 62% 44% 21% 12% 7% A 1508/2021   
2 15/09/2021 NaN NaN NaN NaN NaN 8% 0% A 01/08/2021   
3 1509/2021 NaN NaN NaN 30% 19% 0% B 15/8/2021   

   相似性_得分  
0 0.999405[/span  
1 0.999005  
2 1.000000[/span  
3 0.999286[/span 

我相信15/09/2021的A組的分數是非常相似的，這樣，如果你對分數進行四舍五入，你會得到一個不同的最近日期。 你可以通過檢查來驗證這一點

[x for x  in l if x[2]=='15/09/2021' and x[0]=='A'/span>]

產量

[['A'/span>, '01/08/2021'/span>, '15/09/2021'/span>, 1. 0]。
 ['A', '08/08/2021', '15/09/2021', 0.999999999998] 。
 ['A', '15/08/2021', '15/09/2021', 0.999999999998] ]

因此在理論上，如果你四舍五入到小數點后幾位，15/08/2021將是日期，你可以通過在np.corrcoef周圍加上round()來做到這一點。

uj5u.com熱心網友回復：

如果你喜歡一個沒有for回圈的解決方案，你可以合并兩個資料框架的Group，并使用groupby來應用相似性指標。

基于@Chris構建的資料框架：

df.rename(columns={"GROUP":"Group"}, inplace=True)

def similarity（arr1, arr2）。
        ""兩個百分比字串陣列之間的相似性，nans被忽略""。

    df = pd.DataFrame({"arr1":arr1, "arr2":arr2}) .dropna() 
            .apply(lambda s: s.str.strip("%") .astype(float)/100)
    return df.arr1.corr(df.arr2)

# 將每一行的資料列轉換成陣列。
df_xformed = df.set_index(["Series", "Group"]) .apply(pd.Series.to_numpy, axis=1) 
                .reset_index().rename(columns={"Series":"df_Series", 0:"df")
df2_xformed = df2.set_index(["Series", "Group"]) .apply(pd.Series.to_numpy, axis=1) 
                .reset_index().rename(columns={"Series":"df2_Series", 0:"df2")

# 在組上合并并計算相似性。
df_combined = df_xformed.merge(df2_xformed, on="Group"/span>)
df_combined["相似性"] = df_combined.apply(
    lambda row: similarity(row["df"], row["df2"], axis=1)

# 找出每個df2_系列在其組內的最大相似度。
df_combined["df2_sim_max"/span>] = df_combined.groupby(
                                 ["df2_Series", "Group"])["assimity"] 
                                .transform(max)

idx = df_combined["相似性"] == df_combined["df2_sim_max"]
result = df_combined[idx][["df2_Series", "Group", "df2", "df_Series", "相似性"]]
結果
# df2_Series Group ... df_Series similarity] 結果
# 0 01/09/2021 A ... 01/08/2021 0.999405
# 2 15/09/2021 A ... 01/08/2021 1.000000。
# 7 08/09/2021 A ... 15/08/2021 0.999005[/span]。
# 11 15/09/2021 B ...  15/08/2021 0.999286[/span>

標籤：

上一篇：Python陣列復制

下一篇：如何改變3D繪圖的顏色和重命名標簽