在下面的：
cat file | cut -f 1,5,6 | sort | uniq
直覺上我認為uniq在繼續之前需要了解整個資料集。
從這里我了解到，sort 確實將臨時檔案寫入磁盤以獲取長資料集。
是否uniq將臨時檔案寫入磁盤以獲取長資料集？在哪里？
謝謝！
uj5u.com熱心網友回復：
uniq只需要一次讀取一行并將當前行與上一行進行比較；它可以在開始獲取線路后立即開始作業；在產生任何輸出之前無需讀取所有輸入。
基本上，它只需要讀取一行，并將其與上一行進行比較。如果它們相同，則增加一個計數器。如果不是，則列印上一行（如果需要，則使用計數）。然后將當前行保存為上一行，然后重復。
這是一個用 C 撰寫的基本版本，您可以將其用作示例：
#include <errno.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
int main(int argc, char **argv) {
_Bool show_count = 0;
if (argc == 2 && strcmp(argv[1], "-c") == 0) {
show_count = 1;
} else if (argc > 1) {
fprintf(stderr, "Usage: %s [-c]\n", argv[0]);
return EXIT_FAILURE;
}
char *prev = NULL;
size_t prev_len = 0;
int count = 1;
while (1) {
char *line = NULL;
size_t line_len = 0;
ssize_t len = getline(&line, &line_len, stdin);
if (len < 0) {
if (feof(stdin)) {
break;
} else {
fprintf(stderr, "Couldn't read input: %s\n", strerror(errno));
return EXIT_FAILURE;
}
} else {
if (prev) {
if (strcmp(line, prev) == 0) {
count ;
} else {
if (show_count) {
printf("} ", count);
}
fwrite(prev, 1, prev_len, stdout);
count = 1;
}
free(prev);
}
}
prev = line;
prev_len = len;
}
if (prev) {
if (show_count) {
printf("} ", count);
}
fwrite(prev, 1, prev_len, stdout);
free(prev);
}
return 0;
}
轉載請註明出處，本文鏈接：https://www.uj5u.com/qiye/480258.html