최고의 검색엔진 개발 경쟁-“구글을 앞지르자”

“구글을 앞지르자” [뉴스위크]

Searching for the Best Engine

웹에 숨어있는 정보를 정확히 더 잘 찾아내는 검색엔진 개발 경쟁 세계 곳곳에서 진행 중

미국 매사추세츠주 니드햄의 사진 스타일리스트인 투이 스타크는 좋은 휴가지를 검색했다. 그러나 마음에 드는 곳을 찾지 못했다. 구글에서 ‘스노클링 해안 푸른 바다(snorkeling beaches blue water)’를 키워드로 검색하자 스쿠버 다이빙, 부동산 회사, 래프팅 장비 목록이 떴다.

그래서 새로 생긴 검색엔진 퀸투라를 써 봤다. 이 사이트는 스노클링 관련 검색 결과만 보여 줬다. “구글로 검색하면 내가 원치 않는 결과가 너무 많이 나온다”고 그녀는 말했다. “나는 놀기 좋은 스노클링 해안을 찾았을 뿐이었다”고 그녀는 말했다. 그리고 몇 분도 안 돼 그녀는 퀸투라로 원하는 휴가지를 찾았다.

의외로 약점이 많은 구글로서는 좋지 않은 소식이다. 시장조사 회사 컴스코어에 따르면 구글은 전 세계 검색 시장의 60%를 차지하며 야후가 멀찌감치 떨어진 14%로 2위, 막강한 마이크로소프트(MS)가 4%로 헐떡이며 뒤를 쫓는다.

이처럼 웹 검색 분야를 지배한 덕에 구글은 온라인 세계에 군림하는 거물이 됐을 뿐 아니라 광고계를 뒤바꾸고 정부에 호령하며 월스트리트를 뒤흔들었다. 지난주 현재 구글의 시가총액은 2000억 달러로 야후의 다섯 배 이상, 그리고 MS의 4분의 3에 가깝다. 이제 1조 달러 규모의 기업 컴퓨터 업무 시장과 무선통신 시장에도 혁신의 바람을 몰고 올 기세다.

구글은 아무런 꾸밈 없고 유치하기까지 한 홈페이지의 검색 서비스에서 벗어나 사업을 다각화하려고 수십억 달러를 쏟아 부었다. 하지만 분석가들의 추산에 따르면 구글은 막대한 매출의 약 60%, 그리고 이익의 80% 이상을 그 검색 페이지의 광고에서 얻는다.

그 말은 앞으로도 계속 단순한 검색 서비스의 지배력에 회사의 성장이 달려 있다는 뜻이다. 그러나 구글의 검색시장 지배가 지속된다는 보장은 없다. 더 나은 검색 엔진을 만들려는 노력이 전 세계에서 대대적으로 진행 중이다.

대형 첨단기술 경쟁사들, 유럽과 아시아의 정부들, 세르게이 브린과 래리 페이지 같은 대학가의 천재들이 세운 수많은 소규모 벤처기업이 모두 구글의 자리를 넘본다.

브린과 페이지는 1998년 스탠퍼드 대학원생 시절 구글을 세웠다. 그리고 구글이 의존하는 네티즌 고객들은 역사상 가장 변덕스러운 시장일지도 모른다. 이미 이들이 검색창 바깥으로 관심을 돌린다는 조짐이 보이기 시작했다.

구글은 검색 분야의 선두자리를 고수하고 비검색 사업분야의 이익을 높여 고공행진을 계속할 공산이 크다. 월스트리트는 분명 그렇게 된다고 믿는 듯하다. 그러나 컴퓨터 업계에서는 외견상 아무리 번쩍이는 브랜드도 하루아침에 무너져 내리곤 했다. 로터스, 노벨, AOL 같은 회사가 그랬다.

앞으로 5년 후 왜 모두가 구글을 그렇게 대단한 회사라고 여겼는지 사람들이 궁금해 하리라고 호언해도 아주 뚱딴지 같은 소리는 아니다. “구글은 웹검색 경주의 첫 단계에서 앞서 나갔다”고 샌프란시스코 소재 글로벌 에퀴티스 리서치의 트립 초우드리 분석가는 말했다. “다음 번에는 우승하지 못한다.”

검색 선두업체가 얼마나 빨리 밀려나는지는 역사가 말해 준다. 검색분야의 경쟁이 시작된 때는 1995년, 디지털 에퀴프먼트사(기억하는가?)가 웹페이지의 단어들을 색인으로 저장해 초고속 검색을 가능케 하는 방법을 개발했다.

그렇게 탄생한 알타비스타 검색엔진은 곧바로 초창기 웹 사용자들이 즐겨 찾는 홈페이지가 되면서 검색분야를 제패할 듯 보였다. 그러나 1998년, 장난스러운 이름의 한 작은 회사가 만든 새로운 검색엔진이 때때로 더 쓸 만한 검색결과를 내놓더라는 소문이 퍼지기 시작했다. 그리고 2000년 구글이 검색 시장을 제패했다.

야후는 어쩌면 그렇게 앞을 내다보지 못했는지, 그해 자신들의 홈페이지에 구글의 검색창을 띄워 수천만 야후 사용자 사이에서 구글의 성가를 높여 줬다. 방심하다 허를 찔린 MS는 그 후에도 3년 동안이나 검색엔진 경쟁에 본격적으로 뛰어들지 않았다.

구글은 사업모델을 수정, 검색결과에 광고를 연결시켜 검색 이용자가 광고를 클릭할 때만 광고비를 받았다. 온라인 마케팅 경쟁사 오버추어의 모델을 본뜬 방식이다. 그러자 그야말로 검색창에서 돈이 쏟아져 나왔다. 현재 이 검색창을 통해 1년에 150억 달러가 들어오며 그중 40억 달러 가까이가 이익이다.

구글이 검색분야의 도전을 모두 물리친다면 그건 웹 검색 기술이 완벽해서가 아니다. 그와는 전혀 관계가 없다. 구글은 업계의 표현을 빌리자면 ‘2세대’ 검색엔진이다. 알타비스타 같은 1세대 엔진은 검색 키워드와 일치하는 단어가 포함된 웹페이지를 찾았다.

구글은 링크가 많이 된 페이지가 유용하다는 다소 취약한 가정 위에, 다른 링크 페이지 수에 따라 웹 페이지의 순위를 매기는 방법으로 검색에 혁신을 일으켰다.

알트서치엔진스 웹사이트를 운영하는 분석가 찰스 나이트는 3세대 엔진이라고 불릴 만한 우수한 아이디어가 무수하며 많은 회사가 그 아이디어를 증명하려 애쓰는 중이라고 전한다. “제각기 검색의 일부 측면에서 구글보다 우수하다는 점을 입증했다”고 나이트는 말했다.

일례로 야후는 구글을 뛰어넘으려 절치부심해 왔다. 최근 검색엔진에 검색어를 제안하는 새로운 기능을 추가했다. 검색어를 입력하는 도중 키워드를 띄워주기 때문에 원하는 결과를 찾으려고 여러 가지 다른 검색어를 계속 반복해 입력해야 하는 짜증나는 과정을 줄여 준다(구글은 이용자가 과거에 입력한 검색어를 보여 준다).

특정 유형의 인기 검색어의 경우 이용자의 다음 행동을 예상해 추가 정보로 곧바로 연결되는 기능도 새로 더했다. 예컨대 영화 제목을 입력하면 예고편과 인근 극장 상영시각이 따라 나오며 ‘음식점’과 도시 이름을 치면 지역, 요리 또는 인기도별로 맛집을 추천해 준다.

앞으로도 새로운 기능이 더 나온다고 비시 마키자니 검색팀장은 말했다. “예약까지 하려 하는지 아니면 단순히 검색만 하는지를 알아내 검색 페이지에서 곧바로 예약이 가능하도록 할 예정”이라고 그는 말했다.

MS도 자신들의 윈도 라이브 서치를 다른 온라인·PC 기반 업무와 통합하는 새로운 서비스를 마련하려 열심이다. 지금까지는 윈도의 독점적 지위를 활용해 자사의 검색 서비스로 이용자를 유도하지 않았지만 앞으로는 그렇게 하겠다고 MS의 브래드 골드버그 검색팀장은 말했다.

“최근에야 검색과 다른 기능의 의미 있는 통합을 시작했다”고 그는 말했다. “이용자의 의도를 파악해 그것을 검색과정에 적용하는 방안을 마련 중이다.” 이론상 ‘코크’를 검색하면 코카콜라사의 재무회계 정보를 보여 주고, 건강과 다이어트에 관한 리포트를 작성하는 학생에게는 탄산음료 한 캔의 영양성분 분석 결과가 제공되는 식이다.

사실 야후와 MS가 구글에 뒤지는 가장 큰 이유는 검색기능 때문이 아니라 사람들이 단지 그만큼 자주 이용하지 않기 때문이다. 최근의 닐슨/넷레이팅스 조사 결과에서 각 사이트 이용자 재방문율을 보면 구글·야후·MS가 각각 79, 69, 65%로 격차가 좁혀졌다. 지난 8월 발표된 미시간 대학의 조사에 따르면 지난 1년 사이 고객 만족도에서 야후가 구글을 앞섰다.

구글은 전 세계 여러 핵심 시장에서 이미 그저 그런 수준으로 전락했다. 인터넷 이용자가 많은 한국에서 검색시장 점유율이 2% 미만이며 세계에서 가장 중요한 신흥 온라인 시장 중국에서는 17%다. 러시아에서는 현지 서비스와의 경쟁에서 참패했다.

서유럽에서는 검색시장의 독보적인 존재지만(독일에서는 점유율 82%) 독일과 프랑스 정부는 검색엔진 연구에 각각 1억6500만 달러, 1억2200만 달러를 투입할 계획이다.

일본에서는 야후의 뒤를 쫓을 뿐 아니라 일본 정부는 토종 검색엔진 개발에 약 1억2500만 달러를 쏟아 붓는다고 한다. 한편 앞으로 검색 가능한 전화가 나온다는 소문은 있지만 구글은 수익성이 높으리라 예상되는 휴대전화 검색시장에서 아직 선도적 지위를 확립하지 못했다.

구글의 뒤를 쫓는 무리는 야후, MS 그리고 정부뿐만이 아니다. 2005년과 2006년, 창투사들은 79개 검색 관련 신생기업에 3억5000만 달러를 투입했다.

나이트의 자료에 따르면 추천할 만한 기술을 갖춘 검색 벤처기업만도 무려 1000개에 달하는데 주로 미국 기업들이다. 그를 비롯한 전문가들이 제3세대 검색엔진의 대표적인 특징이라고 평가하는 기능들을 살펴본다.

검색어 이해 하키아, 개설 예정인 파워셋, 시드니의 렉세 같은 일부 검색엔진은 검색어와 정확하게 일치하는 단어를 찾는 수준을 뛰어넘으려 노력한다. 이용자가 무엇을 찾으려 하는지를 파악해 그 내용의 이해를 바탕으로 가장 근접한 페이지를 보여 준다.

“대부분의 경우 이용자가 찾는 문서에는 모든 검색어가 들어 있지 않다”고 버펄로 대학의 컴퓨터 과학자 로히니 스리하리는 말했다. 그는 테러대응 단서 검색을 전문으로 하는 뉴욕 앰허스트 소재 기업 재니아의 대표이기도 하다.

“누가 또는 무엇이 갑자기 화젯거리가 됐는지를 알고자 한다면 어떤 검색어를 입력해야 할지도 모른다.” 첨단 검색엔진은 ‘파리’ ‘도쿄’ ‘뉴욕’ 그리고 ‘최고 인기 음식점’을 입력하면 전 세계의 새 인기 음식점을 찾는다는 사실을 이해하게 될 듯하다.

편집 컴퓨터 프로그램이 아무리 우수해도 정보의 질과 관련도를 파악하는 데는 인간의 두뇌를 따라잡지 못한다. 마할로와 차차 등 몇몇 새 검색엔진은 일부 검색의 경우 부분적으로 편집자나 안내자가 직접 개입해 가장 근접한 페이지를 미리 골라 낸다. 구글보다 더 엄선된 결과를 얻게 되겠지만 편집자들이 조사한 페이지 속에 검색어가 포함될 경우에만 그렇다.

주제별 검색 구글은 모두 검색하지만 이용자는 모두를 원하지는 않는다. 오히려 주제에 집중하기만 한다면 훨씬 더 적은 수의 페이지를 보여 주는 검색엔진을 이용하는 쪽이 더 근접한 결과를 얻게 된다.

트룰리아는 매물로 나온 주택을 검색하고, 헬스라인은 증상을 치면 그 원인과 치료법을 보여 준다. 글로벌스펙의 검색은 산업 엔지니어들을 대상으로 하며, 라이크닷컴은 제품 사진 검색, 스폭은 인물 관련 정보를 전문으로 한다.

검색 지원 어떤 검색어를 입력해야 가장 좋은 결과를 얻을지 추측하기는 쉽지 않다. 야후와 신생 아쿠나 같은 몇몇 검색엔진은 검색어를 제안한다. 또 애스크닷컴이나 클러스티처럼 소기의 주제에 초점을 맞춰 항목별로 결과를 분류해 주는 검색엔진들도 있다.

예컨대 애스크닷컴에 ‘spears’라고 입력하면 뾰족한 창을 찾는지, 팝 가수 브리트니 스피어스를 찾는지 묻는다. 구글은 그런 구분 없이 모두 보여 준다. 도표와 지도로 항목들을 표시해 어떤 항목이 가장 유용할지를 시각적으로 보여 주는 첨단 엔진도 적지 않다.

프랑스의 카르투(KartOO), 쿨토치, 퀸투라(모스크바에서 설립됐지만 현재는 버지니아주에 자리 잡았다) 등이 그런 사이트다.

공동체 노지조, 스퀴두, 스프루스는 어떤 페이지가 가장 유용한지 다른 이용자들에게 판단을 맡긴다. 따라서 구글의 링크 수를 따지는 방식을 통해 뜨는 무관하거나 스팸투성이 결과를 줄이는 효과를 얻는다.

이용자가 참여하는 온라인 백과사전 위키피디아의 관련 사이트 위키아는 이용자의 기여를 바탕으로 하는 검색엔진을 개발 중이다. 2005년 야후가 인수한 웹페이지 북마크 서비스 딜리셔스(Del.icio.us)는 다른 모든 이가 분류해 놓은 북마크를 통한 검색으로 관련 페이지를 찾는다.

나이트에 따르면 현재 이들 신생 검색엔진(4위 검색엔진인 애스크닷컴 제외)을 모두 합쳐 봤자 검색시장 점유율이 5%에도 못 미친다. 그러나 이들 중 한둘이 인기를 얻는다 해도 구글이 장기 집권하면서 폭넓은 지지를 받아 왔다는 점을 감안할 때 무명의 검색엔진에 곧 밀려나리라고 걱정할 필요가 있을까.

어쨌든 MS는 애플과 리눅스 같은 더 좋은 대안이 있다는 주장이 끊임 없이 제기되는데도 소프트웨어 업계의 제왕 자리를 굳건히 지키지 않는가. 하지만 구글의 지배력은 MS와는 다르다. 윈도를 바꾸려면 새 하드웨어나 소프트웨어를 설치하고 인력을 재교육하고 새 시스템에 익숙해질 때까지 생산성이 떨어지는 등 만만치 않은 비용을 각오해야 한다.

구글의 경우는 “더 좋은 서비스가 나오는 순간 사람들이 곧바로 떠나간다”고 스리하리는 말했다. 1990년대 말 알타비스타를 이용했던 사람들이 누구보다 잘 아는 사실이다.

구글도 가만히 앉아서 알타비스타 꼴이 되지는 않을 작정이다. 구글은 45만 대 이상의 서버를 포함해 컴퓨터 기반시설에 대대적인 투자를 한다. 중소 경쟁업체로서는 엄두도 내지 못할 규모다. 따라서 일부 신생 검색 사이트의 경우 3~4초 결과를 기다려야 하겠지만 구글은 눈깜짝할 새 결과를 보여 준다.

그리고 수중에 120억 달러의 자금이 있기 때문에 어떤 신생 회사가 위협이 될 경우 사 버리면 그만이다. 동영상 검색 사이트 유튜브가 구글의 인기를 압도하자 지난해 16억5000만 달러에 인수했던 식이다. “구글은 어느 시점에서는 주당 두 개꼴로 소규모 검색회사를 인수하기도 했다”고 나이트는 말했다.

구글이 120억 달러를 보유하고 추가로 수십억 달러 정도는 충분히 끌어올 능력이 있다 해도 전 세계 검색 시장의 모든 경쟁사를 사들이지는 못한다. 새로 투자자금을 공급받은 인기 신생업체가 현재의 기술격차를 좁히기는 어렵지 않다. 결국 구글이 정상을 지키려면 검색기술을 향상시켜야 한다.

따라서 소프트웨어 엔지니어 팀이 검색의 모든 측면을 철저하게 분석한다고 구글의 피터 노빅 연구팀장은 주장했다. “우리는 편집증에 걸린 듯하다”고 그는 말했다. 이미 여러 가지 신기술을 검색에 추가했다. 일례로 이용자가 자신의 검색 행태를 관찰하도록 허용할 경우에는 과거에 클릭했던 결과까지 감안해 검색한다.

포괄적인 의미의 단어를 입력한 후 더 근접한 검색어를 제안받거나 영화, 정부 웹사이트, 특허, 항공편, 사람 얼굴 등 40가지 이상의 전문 검색도 가능하다. 구글은 이런 기능 중 어느 하나 광고하지 않으며 평범하게 취급한다.

구글이 수많은 검색 혁신을 이룰 만한 능력이 있음은 분명하지만 차세대 기술 도입 문제에서는 때때로 속수무책인 듯 행동하는 데는 그럴 만한 이유가 있다. “사람들은 우리가 갑자기 변하길 바라지 않는다”고 구글의 매트 커트스 검색품질 팀장은 말했다. “단순성 유지가 우리의 최대 과제다.”

사실 대다수 주류 검색 이용자들은 단어 두세 개만 치면 곧바로 결과를 보여 주는 작은 검색창의 간결하고 단순한 느낌을 중시하는 경향을 보인다. 새로운 검색엔진 이용자가 갈수록 늘어나는 추세임을 감안할 때 과정은 약간 복잡해도 원하는 결과만 얻는다면 좋다는 주류 이용자가 분명 많을 듯하다.

구글의 위력을 약화시키는 데는 메가톤급 위력을 가진 신생 검색엔진까지 필요 없다. 저마다 특별한 장점을 가진 다양한 검색엔진으로 이용자들이 서서히 빠져나가기만 해도 충분히 피해를 준다. 마이스페이스, 링크드인 같은 온라인 기반 친목도모 사이트도 구글에 위협이 될지 모른다.

“수십 개 또는 수백 개의 전문 검색엔진이 집단적으로 구글의 지배적 지위를 갉아먹을 전망”이라고 검색산업 컨설팅 회사 플러스1 마케팅의 창업자 브랜드 버코스키는 말했다.

지난 4분기 구글은 지난해 동기 대비 28% 증가한 9억2500만 달러의 이익을 올렸다. 구글의 지위는 아직도 흔들림이 없다. 퀸투라에서 스노클링 해안을 찾은 스타크도 아직 웹사이트를 찾으려면 먼저 구글부터 검색한다. 어쨌든 때때로 더 유용한 결과를 보여 주는, 장난스러운 이름을 가진 작은 회사 때문에 구글이 떨 일이 뭐가 있겠는가.




잘찾는 검색엔진
퀸투라
 

http://www.quintura.com/