SUBJECT: Awk 명령어 사용법


o awk 명령어
awk라는 이름은 이를 개발한 세 사람의 이름 Aho, Weinberger, Kernighan에서 유래된 것이다.
awk명령어는 일련의 입력 화일을 읽어 지정된 패턴과 일치하는 패턴을 간직한 라인을 찾는다.
패턴이 일치하면 지정된 연산이 실행된다. 여기서의 연산은 라인 내의 필드 조작이나 필드값을
이용한 산술 연산을 의미한다. 이 awk는 shell programming과 bc 그리고 C 프로그래밍언어의 기능을 갖춘
프로그래밍 언어로 bc와 같이 완벽하게 해독이 되며 쉘의 인수인 $1, $2, $3과 같은 이름을 가진
필드 변수가 각 입력 라인에 사용될 수 있다. 또 C 언어와 유사한 프린팅, 제어 연산자도 가지고 있다.
awk의 사용에는 두가지 방법이 있다. 한가지 방법은 다음 형식으로 타이프하는 것이다.
# awk program filename --> program: 명령어들로 이루어짐
filename: awk가 작용할 화일의 명칭
# awk -f file filename --> file: 프로그램 명령어들을 포함하고 있는 화일의 명칭
프로그램은 하나 또는 그 이상의 프로그램 라인들로 이루어진다. 프로그램 라인은 일반적으로
패턴과 작용으로 이루어진다.
/rotate/ {print} --> 패턴은 rotate(단순한 문자열 패턴은 /들로 둘러싸임)
작용은 print이다.
이것을 사용하면 , awk 프로그램은 문자열 rotate를 포함하고 있는 라인들을 발견하고 그것들을 프린트한다.
그것은 grep rotate filename을 사용하는 것과 같다.
필드들은 공백들에 의해 분리된 문자열들이다.
awk 프로그램은 필드에 대한 레이블 시스템을 가지고 있다. $1은 첫 번째 필드이고 $2은 두 번째 필드이다.
$0은 특수한 의미를 갖는바, 그것은 전체 라인을 나타낸다.
---------------------------------------------------------------------------------------------
패 턴 의 미
---------------------------------------------------------------------------------------------
/fish/ 문자열 fish를 포함하고 있는 라인
$1 - /fish/ 첫번째 필드가 문자열 fish를 포함하고 있는 라인
$3 - /fish/ 세번째 " "
$1! - /fish/ 첫번째 필드가 문자열 fish를 포함하고 있지 않은 라인
---------------------------------------------------------------------------------------------

---------------------------------------------------------------------------------------------
작 용 의 미
---------------------------------------------------------------------------------------------
{print $2} 두번째 필드만을 프린트하라
{print $4,$2} 네번째 필드의 내용을 프린트한 다음 두번째 필드의 내용을 프린트하라
{print $2,$2+$4} 두번째 필드를 프린트한 다음 두번째 필드와 네번째 필드의 합을 프린트하라
{s=$2+$4; print s} 두번째와 네번째 필드를 추가한 다음, 그 합을 프린트하라
---------------------------------------------------------------------------------------------
패턴에서의 ~와 !사용에 주목하라. ~는 우측에 있는 패턴이 좌측에 있는 필드에 포함된다는 것을 의미한다.
!~ 조합은 우측의 패턴이 좌측의 필드에 포함되지 않음을 의미한다.
{ }작용들을 세미콜론으로 분리시킴으로써 하나 이상의 작용들을 포함시킴 수 있다.

몇가지 이러한 개념들을 사용하는 간단한 예를 고찰해보자. 화일 sales는 여섯 열의 정보를 가지고 있다.
첫번째 열은 품목 명칭, 두번째 열은 품목의 판매가격 , 그리고 다음의 네 열들은 품목에 대한 분기별
판매수이다.
# vi sales
carts 29.99 45 13 55 22
corks 0.02 30 20 25 93
doors 49.99 40 15 20 25
geese 15.00 2 8 1 128
nighties 50.00 11 23 15 82
우리는 두 열을 추가하려 한다. 품목합계 그리고 현금 판매 합계.
다음과 같은 addup이라는 화일을 작성한다.
# vi addup
{total=$3+$4+$5+$6;print $0, total, total*$2}
이 작용은 ;에 의해 분리된 두 부분들을 가지고 있다. 첫 부분은 판매수를 합하고 영리하게도 합계를
total이라 부른다. 두번째 부분은 원래의 라인($0)을 프린트하고, 그 뒤에 합계를 , 그 다음에는
total*$2를 프린트하는데, 이것은 합계x두번째 열을 의미한다.
# awk -f addup sales
carts 29.99 45 13 55 22 135 4040.64
corks 0.02 30 20 25 93 93 3.36
doors 49.99 40 15 20 25 100 4999
geese 15.00 2 8 1 128 139 2085
nighties 50.00 11 23 15 82 131 6550


o awk 입력 라인을 읽는 방법
표준 입력이나 화일로부터 읽혀지는 각 라인은 공백문자로 구분된 필드를 가지고 있는 것으로 간주된다.
-F(field)선택자 뒤에 임의의 문자를 입력하면 필드 구분자가 그 문자로 변경된다.
예를 들어 :(콜론)을 구분자로 사용하려면 다음과 같이 입력한다.
# awk -F: -f prog files

o awk의 패턴과 연산
awk가 읽어들이는 라인과 필드들에 대한 작업은 패턴-연산의 쌍으로 정의되며 이쌍은 다음과 같은
형식을 갖는다.
pattern {action}
연산 부분을 중괄호로 둘러쌈으로써 패턴과 구분한다. 연산 부분이 생략되면 그 라인이 프린트된다.
일반적으로 사용되는 연산에는 print가 있으며 이 연산은 인수를 표준 출력에 출력한다.
다음연산은 입력 필드 개의 순서를 바꾸어 출력한다.
{ print $2, $1}
# vi in.file
hello goodbye again
111 222
thirty forty
# vi awk.prog1
{print $2, $1}
# awk -f awk.prog1 in.file
goodbye hello
222 111
forty thirty
위의 예에서 print의 인수는 콤마로 구분되었으며 이로 인해 출력 데이터 사이에 현재의 필드 구분자가
삽입되었다. 콤마가 생략되면 $1과 $2가 연속하여 출력된다.
예를 들어 다음의 awk 프로그램은
# vi awk.prog2
/hello/ {print $2, $1}
# awk -f awk.prog2 in.file --> 입력 화일 내에서 패턴 /hello/과 일치하는 라인은 1개뿐이기
goodbye hello 때문에 그 라인에 대해서만 지정된 연산인 print가 실행되었다.
# vi awk.prog3
/hello/ {print $2, $1}
/thirty/ {print $1, $2, "and more"}
# awk -f awk.prog3 in.file --> print명령어의 인수가 따옴표로 둘러싸여 제공되었으며 그 문자열이
goodbye hello 출력에 표시되었다.
thirty forty and more
# vi awk.prog4
/hello/||/111/ {print "htt", $1, $2}
# awk -f awk.prog4 in.file --> ||연산자는 2개의 정규식 중 하나만 일치하면 지정된 연산을 실행하며
hit hello goodbye &&연산자는 2개의 정규식이 모두 일치애햐 지정 연산을 실행한다.
hit 111 222 !연산자는 정규식이 일치하지 않아야 지정된 연산을 실행하며
정규식 앞에 기술된다.
# vi awk.prog5
/^[Hh1]/ {print "htt", $0}
# awk -f awk.prog5 in.file --> $0을 사용했기 때문에 입력 라인 전체가 출력되었음
hit hello goodbye again Hh1으로 시작하는 line을 출력
hit 111 222
# vi awk.prog6
/hello/ {
print $2
print "another"
print $1
}
# awk -f awk.prog6 in.file --> 패턴 /hello/와 일치하는 첫번째 입력 라인만이 연산의 대상이 됨
goodbye
another
hello

o awk를 이용한 숫자 연산
awk의 산술 연산이 bc의 산술 연산과 다른 점은 awk는 입력 화일 내의 라인 중 일부를 선택하는
패턴 부분을 사용할 수 있다는 것이다.
예를 들어 awk의 내장 함수인 length는 문자열로 취급되는 입력 필드의 길이를 뱐환하며 숫자 변수는
숫자로 취급되는 필드의 값을 할당받을 수 있다.
# vi awk.prog7
{
s += $2
print $2, "length=" length($2), "s=" s
}
# awk -f awk.prog7 in.file --> 숫자로 변환될수 없는 문자열은 값이 0이 된다.
goodbye length=7 s=0 문자열 thirty가 그 예로서, 숫자로 변환될수 없다. 그러나 문자열
222 length=3 s=222 222는 숫자로 올바르게 변환되었다. 또한 s=0과 같은 형식으로 변수에
forth length=5 s=222 값을 할당할 수 있다.
다음은 awk변수의 욜바른 예이다.
s
S
SS
S1
qwerty[42]
변수를 사용하기 전에 선언하거나 초기화시킬 필요는 없다. awk가 자체적으로 변수를 초기화시키며
필요에 따라 그 변수를 문자열이나 숫자를 기억시킬수 있다.
# vi awk.prog8
/hello/ {
SSS=34
print "SSS is", SSS
SSS=hello
print "SSS is", SSS
}
# awk -f awk.prog8 in.file --> 이와 같은 자동적인 변수 형식 변환은 변수의 사용을 수월하게 한다.
SSS is 34
SSS is hello

o 처리를 시작하고 끝내기 위한 특수 패턴
정규식 패턴 외에도 2개의 특수 패턴으로 BEGIN과 END가 사용된다. BEGIN은 첫 번째 입력 라인을
읽기 전에 awk프로그램의 선두에서 실행되며 END는 마지막 입력 라인이 처리된 후 프로그램의 제일
끝에서 실행된다.
BEGIN은 주로 변수 초기화 등의 작업에 사용되며 END는 마지막 계산을 하고 출력을 요약하는 작업에
사용된다. BEGIN이나 END가 없어도 되나 필요한 경우 포함시킬 수 있다.
예를 들어 다음 프로그램은 여러 개 숫자의 평균값을 출력한다.
BEGIN {
print "Beginning to process the input data ..."
}
{
s += $1
n++
}
END {
print "mean of these",n,"data items is", s/n
}
메시지를 프린트하는 BEGIN과 관련된 연산은 프로그램의 선두에서 실행되며 그 후에 각 입력라인이
읽혀진다. 패턴이 생략되었기 때문에 모든 입력 라인에 대해 연산이 실행되었다.
첫 번째 필드를 변수 s에 더하고 1을 증가시키며 마지막의 END패턴은 모든 입력이 처리된 후 실행된다.
이 END 패턴에서는 계산의 최종 결과를 출력하고 있다.

----------------------------------------------------------------------------------------

간단한 awk 사용법



다음은 서버를 관리할 때 유용한 awk 명령어입니다.

참고하시면 될 것 같습니다.



1. httpd.conf 파일에서 ServerName이란 문자열을 찾아 두번째 필드값만 출력.

cat httpd.conf | grep ServerName | awk '{print $2}'





2. httpd.conf 파일에서 ServerName이란 문자열을 찾아 두번째 필드값만 출력하고

그 출력된 값에서 .으로 구분된 두번째 값을 출력.

cat httpd.conf | grep ServerName | awk '{print $2}' | awk -F. '{print $2}'





3. passwd 파일에서 사용자와 홈디렉터리를 출력.(예: user :root home_dir :/root)

cat /etc/passwd | awk -F: '{print "users :"$1" ""home_dir :"$6}'



4. httpd 프로세스를 조회. 두번째 필드값인 PID값만 출력해서 xargs 명령어로 받아 kill 시킴.

ps -ef | grep httpd | grep -v grep | awk '{print $2}' | xargs kill -9



5. killall process_name (이런 방법도 있죠.. 그런데 이 방법은 프로세스명으로 죽입니다.

예를 들어 pma란 사용자의 프로세스를 모두 죽이는 방법은 4번과 같이 해야 되겠죠?)

-------------------------------------------------------------------------------------

AWK


1. awk의 기본 개념

1) awk란?
; awk란 이름은 이 유틸리티를 작성한 A.V.Aho, P.J. Weinberger, B. Kernigham의 머리글자를 따온 것
① awk는 일종의 프로그래밍 언어지만 일반적인 언어라기 보다는 주로 패턴의 검색과 조작을 주목적으로 만들어진 것이다.
② 파일의 각 라인에서 필드(field)를 인식할 수 있는 패턴 매칭 기능을 가지고 이들 필드를 자유자재로 조작 가능한 유틸리티를 작성하고자
만든 것이다.

2) awk의 응용분야
데이터 프로세싱, 리포트 작성, 간단한 데이터베이스 구축, 등

3) awk를 이용한 작업
① 프로그래머가 자신이 작성한 프로그램의 입력 화일이 특정한 형식에 들어 맞게 이루어져 있는지 검사.
② 출력화일을 처리하여 리포트를 만들어 냄.
③ 다른 프로그램의 입력 형식에 맞게 변환하는 작업에 이용.

2. awk 프로그램의 구조 및 실행

(1) awk 프로그램의 구조

1) awk ' pattern {action}

pattern {action}
.
.
.
' filenames <-----------------입력화일(예제 : students)

2) awk -f parttern-action-file filenames <----- 입력화일
awk실행 action을 가진 프로그램 file

(2) awk의 pattern

패 턴 내 용
================================================================================================
BEGIN 입력화일을 읽어들이기 전에 옆에 제시되는 문자을 실행시키도록 한다.
END awk가 모든 입력을 처리한 후, 옆에 제시되는 문장을 실행시키도록 한다.
expression 식을 평가한 후 이 식이 참, 즉 non-zero이거나 non-null인 경우 문장을
실행한다.
/re/ 정규식과 일치하는 문자열을 포함하고 있는 라인에서 문장을 실행한다.
compound-pattern 복합패턴이라는 것으로 &&(and), ||(or) , !(not) 그리고 괄호에 의해 연결시킨
것이다. expression의 경우와 마찬가지로 복합 패턴도 참인 경우의 문장을 실행
시킨다.
pattern1,pattern2 이러한 패턴을 범위 패턴이라한다. 현재 처리되고 있는 라인이 pattern1과 일치
되고, 다음에 따라오 는 라인 중 임의의 라인이 pattern2와 일치할 때, 범위
패턴은 두 라인 사이의 각 라인과 일치한다.

(3) awk의 연산자
연 산 자 내 용
================================================================================================
= += -= *= /= %= 배정(assignment)연산자
+ - * / % ++ -- 산술 연산자
|| && ! 논리 연산자(|| = OR, && = AND, ! = NOT)
> >= < <= == != 비교 연산자
v ~p 변수 V가 패턴 P에 부합되면 참
v !~p 변수 V가 패턴 P에 부합되지 않으면 참

(4) 액션(Actions)
액션은 문장(statements)으로 이루어져 있다. 액션은 간단하게 상수 하나로 이루어질 수도 있고, 개행 문자나 세미콜론(;)에 의해 분리된 몇 개의 문장의 연속으로 구성될 수도 있다.
① expressions
② print expression-list
③ printf(format, expression-list)
④ if (expression) statement
⑤ if (expression) statement else statement
⑥ while (expression) statement
⑦ for (expression; expression; expression) statement
⑧ for (variable in array) statement
⑨ do statement while (expression)
⑩ break
⑪ continue
⑫ next
⑬ exit
⑭ exit expression
⑮ {statement}

(5) awk에서 미리 정의된 몇가지 변수들
변 수 내 용
================================================================================================
FILENAME 현재 처리되고 있는 입력 파일의 이름
FS 입력 필드 분리문자
NR 현재 레코드(행)의 번호
NF 현재 레코드(행)의 필드의 갯수
OFS 출력되는 필드의 분리문자

3. awk의 기본예제
(1) 예제 입력 파일 소개
① 입력화일의 이름은 students
② 이 파일의 각 라인은 3개의 필드로 구성(학생 성명, 학과명, 나이)
③ 각 필드는 공백에 의해서 분리(공백을 필드 분리자로 간주함.)
< awk는 각 라인에서 필드를 추출해 내는 데 필드 분리자(field separator)를 사용, 필드 분리자는
보통 하나 이상의 공백 문자이다.>

1) 입력화일 예제 students
% cat students
John,P Physics 20
Rick,L Mechanical 21
Jack,T electrical 23
Larry,M Chemical 22
Phil,R Electrical 21
Mike,T mechanical 22
Paul,R Chemical 23
John,T Chemical 23
Tony,N Chemical 22
James,R Electrical 21

예 1) 식(expression)에 맞는 field 프린트하기
% awk '$3 > 22 {print $1}' students
Jack,T
Paul,R
John,T

예 2) if 문을 사용하여 조건에 맞는 line 분리하기(각 파일에 저장)

step 1 : if문을 사용하는 프로그램을 awkprog1이라는 파일로 만든다.

% cat awkprog1
{ if ($1 ~ /^J/) printf "%s\n", $0 > "Jfile"
if ($1 ~ /^P/) printf "%s\n", $0 > "Pfile"}

step 2 : students 입력화일에 awkpog1 프로그램 화일을 적용한다.

% awk -f awkprog1 students

step 3 : 결과 보기
% cat Jfile
John,P Physics 20
Jack,T electrical 23
John,T Chemical 23
James,R Electrical 21

% cat Pfile
Phil,R Electrical 21
Paul,R Chemical 23

예 3) 평균값 구하기

<프로그램 awkprog2, awkprog3>

% cat awkprog2
{sum += $3}
END {printf "The average of the ages is %.2f\n", sum/NR}

% cat awkprog3
{sum += $3
++no}
END {printf "The average of the ages is %.2f\n", sum/no}

<결 과>
% awk -f awkprog3 students
The average of the ages is 21.80

예 4) while 과 do문을 이용하여 평균값 구하기

<프로그램 awkprog4>
% cat awkprog4
{if (NF > 0) {
sum = 0
n = 1
while (n <= NF) {
sum = sum + $n
n = n+1
}
printf "Average is %d\n", sum/NF
}
else
print}

<예 제>
% awk -f awkprog4 test
Average is 17
Average is 3
Average is 25
Average is 0