grep 명령어 사용법

출처 : 유닉스 쉘 바이블 (엘리 퀴클리 지음)에서 발췌.
3.1 grep 명령어 

grep : 파일 전체를 뒤져 정규표현식에 대응하는 모든 행들을 출력한다. 
egrep : grep의 확장판으로, 추가 정규표현식 메타문자들을 지원한다. 
fgrep : fixed grep 이나 fast grep으로 불리며, 모든 문자를 문자 그래도 취급한다. 즉, 정규표현식의 메타문자도 일반 문자로 취급한다. 

3.2 정규표현식을 사용하는 grep의 예제 
# grep NW datafile 
# grep NW d* (d로 시작하는 모든 파일에서 NW를 포함하는 모든 행을 찾는다.) 
# grep '^n' datafile (n으로 시작하는 모든 행을 출력한다.) 
# grep '4$' datafile (4로 끝나는 모든 행을 출력한다.) 
# grep TB Savage datafile (TB만 인자이고 Savage와 datafile은 파일 이름이다.) 
# grep 'TB Savage' datafile (TB Savage를 포함하는 모든 행을 출력한다.) 
# grep '5.' datafile (숫자 5, 마침표, 임의의 한 문자가 순서대로 나타나는 문자열이 포함된 행을 출력한다.) 
# grep '.5' datafile (.5가 나오는 모든 행을 출력한다.) 
# grep '^[we]' datafile (w나 e로 시작하는 모든 행을 출력한다.) 
# grep '[^0-9]' datafile (숫자가 아닌 문자를 하나라도 포함하는 모든 행을 출력한다.) 
# grep '[A-Z][A-Z] [A-Z]' datafile (대문자 2개와 공백 1개, 그리고 대문자 하나가 연이어 나오는 문자열이 포함된 행을 출력한다.) 
# grep 'ss* ' datafile (s가 한 번 나오고, 다시 s가 0번 또는 여러번 나온 후에 공백이 연이어 등장하는 문자열을 포함한 모든 행을 출력한다.) 
# grep '[a-z]{9}' datafile (소문자가 9번 이상 반복되는 문자열을 포함하는 모든 행을 출력한다.) 
# grep '(3).[0-9].*1 *1' datafile (숫자 3,마침표,임의의 한 숫자,임의 개수의 문자,숫자 3(태그),임의 개수의 탭 문자,숫자 3의 순서를 갖는 문자열이 포한된 모든 행을 출력한다.) 
# grep '(north로 시작하는 단어가 포함된 모든 행을 출력한다.) 
# grep '' datafile (north라는 단어가 포함된 모든 행을 출력한다.) 
# grep '<[a-z].*n>' datafile (소문자 하나로 시작하고, 이어서 임의 개수의 여러 문자가 나오며, n으로 끝나는 단어가 포함된 모든 행을 출력한다. 여기서 .*는 공백을 포함한 임의의 문자들을 의미한다.) 

3.3 grep에 옵션 사용 
# grep -n '^south' datafile (행번호를 함께 출력한다.) 
# grep -i 'pat' datafile (대소문자를 구별하지 않게 한다.) 
# grep -v 'Suan Chin' datafile (문자열 Suan Chin이 포함되지 않은 모든 행을 출력하게 한다. 이 옵션은 입력 파일에서 특정 내용의 입력을 삭제하는데 쓰인다. 
# grep -v 'Suan Chin' datafile > black 
# mv black datafile 
# grep -l 'SE' * (패턴이 찾아진 파일의 행 번호 대신 단지 파일이름만 출력한다.) 
# grep -w 'north' datafile (패턴이 다른 단어의 일부가 아닌 하나의 단어가 되는 경우만 찾는다. northwest나 northeast 등의 단어가 아니라, north라는 단어가 포함된 행만 출력한다.) 
# grep -i "$LOGNAME" datafile (환경변수인 LOGNAME의 값을 가진 모든 행을 출력한다. 변수가 큰따옴표로 둘러싸여 있는 경우, 쉘은 변수의 값으로 치환한다. 작은따옴표로 둘러싸여 있으면 변수 치환이 일어나지 않고 그냥 $LOGNAME 이라는 문자로 출력된다.) 

3.4 egrep 
egrep(extended grep) : grep에서 제공하지 않는 확장된 정규표현식 메타문자를 지원  한다. grep와 동일한 명령행 옵션을 지원한다. 

3.4.1 egrep 예제 
# egrep 'NW|EA' datafile (NW나 EA가 포함된 행을 출력한다.) 
# egrep '3+' datafile (숫자 3이 한 번 이상 등장하는 행을 출력한다.) 
# egrep '2.?[0-9]' datafile (숫자 2 다음에 마침표가 없거나 한 번 나오고, 다시 숫자가 오는 행을 출력한다.)
# egrep ' (no)+' datafile (패턴 no가 한 번 이상 연속해서 나오는 행을 출력한다.) 
# egrep 'S(h|u)' datafile (문자 S 다음에 h나 u가 나오는 행을 출력한다.) 
# egrep 'Sh|u' datafile (패턴 Sh나 u를 포함한 행을 출력한다.) 

3.5 고정 grep 과 빠른 grep 
fgrep : grep 명령어와 동일하게 동작한다. 다만 정규표현식 메타문자들을 특별하게 취급하지 않는다. 
# fgrep '[A-Z]****[0-9]..$5.00' file ([A-Z]****[0-9]..$5.00 이 포함된 행을 출력한다. 모든 문자들을 문자 자체로만 취급한다.) 







grep 은 입력에서 주어진 패턴을 포함하고 있는 line을 찾아 주는 명령이다.
많은 시스템 관리 명령들과 파이프(pipe)를 이용해서 사용할수 있고
주로 많이 사용하는 것은 프로세스 확인 과 shell script 등에서 많이 이용한다.

<option>
-i : 대소문자 구별을 하지 않는다.
-v : 원하는 pattern 을 포함하지 않는 행만 출력한다.
-n : 행번호를 출력한다.
-l : 파일명만 출력한다.
-c : 패턴과 일치하는 라인의 갯수만 보여준다.

사용방법 예제)

- 현재 시스템의 프로세스중 httpd 만 검색 한다.
예) # ps ax | grep httpd

- 검색 패턴이 한개 이상일 경우엔 egrep을 사용하여 검색할수 있다.
예) # ps ax | egrep 'httpd|mysql'

- /home 폴더에서 lost+found 를 제외한 리스트를 보여줄수 있다.
예) # ls -al /home | grep -v lost+found

아래 예제는 최대한 일반적으로 작성하려고 했지만, 특정한 부분에 있어서는 현재 관리하고 있는 시스템을 기준으로 설명한다.

1. 다수의 웹서버들이 백업한 대량의 로그 데이터가 있다고 가정한다.
2. 웹서버는 Apache 2.2 를 기준으로 한다.
3. 웹서버가 남기는 로그의 설정은 설치시 기본으로 설치되는 옵션으로 한다.
4. 웹서버의 로그는 cronolog를 이용하여 일별로 나누어지는 것을 가정한다. 해당 파일이름의 포멧은  access_log_(YEAR)(MONTH)(DAY) 로 한다.
5. 웹서버는 다수의 서버군으로 나뉘어져 있다.
6. 웹서버의 로그는 주기적으로 백업 서버로 전달되어 저장된다. 저장될때, (서버군 이름)_(웹서버 이름) 의 디렉토리를 생성하고 그 아래 저장된다.
   

find 는 누구나 알고 있지만, 생각보다 기능이 많은 명령이다. -name 커맨드만을 사용하기는 하지만 그 정도로도 충분히 위력적이다. 거기에 -exec 명령으로 grep과 결합하는 순간, find 조건으로 match 시킨 file에 대해서만 grep 명령을 적용할 수 있다. 그렇지 않은 경우, 100G 가량 되는 텍스트 데이터 전체에 대해 grep 명령을 수행하게 되면 언제 끝날지 모르는 검색의 향연을 만끽할 수 밖에 없다... 자, 시간은 금이고 업무가 빨리 끝나면 노는 시간이 길어지는 것이다!

우리는 401 에러가 난 access_log 를 검색하고자 한다. 단, 2007년 7월에 일어난 에러로 가정한다. 이런 경우 이렇게 검색 시간을 줄일 수 있다.

이 명령은 로그가 백업된 경로의 최상위 디렉토리에서 수행한다.

find . -name "access_log_200707*" -exec grep ' 401 ' {} \;

사실 앞뒤로 공백을 주었음에도 불구하고 원하지 않는 로그도 검출된다. 전송량이 401 byte인 경우도 심심치 않게 발생하는 것 같다.
기본 apache log 설정에 보면 ... \"%r\" %>s ... 이라고 되어 있는 부분을 볼 수 있다. %>s는 요청에 대한 가장 마지막 상태를 나타내는 것이고, %r은 요청의 가장 첫 대목이라고 할 수 있다. 그러니 우리가 원하는 401 Response Code 앞에는 항상 " 문자가 오는 것이다. 그러므로

find . -iname "access_log_200707*" -exec grep '\" 401 ' {} \;

이렇게 쓸 수 있다.

자 위에서 보면 각 웹서버는 서버군으로 구분되어 있고, 웹서버의 로그는 (서버군 이름)_(웹서버 이름) 의 디렉토리를 생성하고 거기에 저장된다고 했다. 이로써 우리는 특정 서버군에 속하는 웹서버 에서만 검색을 수행할 수도 있다. 그러니까,

find (서버군 이름)* -iname "access_log_200707*" -exec grep '\" 401 ' {} \;

이렇게 되는 것이다.

물론 여기다가 다른 조건을 줄줄이 달 수도 있다. elenoa.zip이라는 파일에서 발생한 401 에러를 찾고 싶다면,

find (서버군 이름)* -iname "access_log_200707*" -exec grep '\" 401 ' {} \; | grep 'elenoa.zip'

이라고 할 수도 있겠다. 요컨대 | 로 줄줄이 다른 검색 조건을 붙이면 가능하다. 이럴때는 가장 앞에 들어가는 grep 의 조건으로, 그 수행 결과가 가장 적을 것으로 기대되는 조건이 들어가는 편이 시간상 유리하다.
유의해야 할 것이, url encode 되는 상황이다. 그런 상황은 사용되는 Client에 따라 다르다. (특정 Client를 쓰는지 반드시 확인이 필요하다.) IE 같은 경우 .을 %2E로 encoding 해서 보내는 것으로 알고 있다. 이런 경우 검색 조건은,

find (서버군 이름)* -iname "access_log_200707*" -exec grep '\" 401 ' {} \; | grep 'elenoa%2Ezip'

이렇게 되어야 한다.
물론 elenoa.zip만 빼고 다른 파일에서 발생한 401에러도 찾고 싶을 수 있겠다.

find (서버군 이름)* -iname "access_log_200707*" -exec grep '\" 401 ' {} \; | grep -v 'elenoa%2Ezip'

후훗. 제외하는 것이라고 왜 못하겠는가.

출처 : http://elenoa.tistory.com/18