[쉘스크립트] 리눅스 awk 파일 컬럼 중복제거

리눅스에서 파일의 컬럼에 중복 제거를 하고 싶다.

c | cc | 123.123.123.123
a | aa | 123.123.123.123
b | bb | 123.123.123.123
c | cc | 222.222.222.222

예를 들어 1~3라인의 3번째 컬럼의 아이피가 중복된다

똑같은 아이피가 있으므로 중복제거를 하고 싶다

 

이럴땐 awk를 이용하여 제거할 수 있다.

cat test.txt | awk -F '|' 'seen[$3]++'

'seen[$3]'에서 숫자는 컬럼을 나타낸다. 나는 -F '|' 을 사용하여 파이프라이으로 컬럼 구분하여 중복제거를 했다.