대한민국 검색의 미래: 네이버, 야후, 구글

한국의 앞으로 5년안의 검색의 미래는 누가 쥐고 있을까?
혹자는 다음, 네이트, 엠파스라고 할지도 모른다. 하지만 내 생각은 네이버, 구글, 야후에 의해서 검색의 미래는 결정되어 지리라 생각한다. 왜 그렇게 될 수 밖에 없는지에 대해서 지금부터 차근차근 얘기해 보고 그 미래를 점쳐본다.

1. 검색이란?
전통적인 검색은 크게 3단계로 이루어진다고 할 수 있다.
웹에 존재하는 문서를 다운받아오는 크롤러, 문서들을 단어별로 정리해 놓는 색인, 그리고 마지막으로 유저의 검색. 유저의 검색을 통해서 색인된 단어 중 매치되는 단어를 검색결과로 보여주는 것이다. 이것이 현재 존재하는 모든 검색 엔진의 기본이다.
웹이 출현한 이후로 검색문서는 분명하게도 exponent하게 증가하고 있다. 2000년이 되기 전의 웹로봇을 만들고 운영하던 검색회사들은 웹상에 존재하는 모든 문서를 가지고 있다고 호언장담하였지만, 2000년을 기점으로 해서 인터넷이 비지니스 모델상 새로운 기회와 마켓을 창출해 내면서 웹문서는 폭발적으로 증가하고 있다. 고성능화된 머신(유닉스서버급)으로는 웹문서의 폭발적 증가를 감당하기 힘들어지는 환경에서 구글은 꾸진 PC들을 여러개 분산으로 묶어서 검색 파워(크롤&색인&검색 프론트엔드)로 이용하는 아이디어와 페이지랭크를 들고와서 검색과 웹의 부흥기를 이끌어 나갔다. 웹문서가 성장하는 것은 단순히 마켓이 커져서 일수도 있지만 검색기술이 같이 발전하였기 때문에 커졌던 것이다. 생성된 웹문서를 검색할 수 있는 기술이 없다면 존재하는 웹문서는 누구도 찾지 않는 데이타일 뿐 정보가 되지는 않는다.

2. 웹 문서들을 검색하기 위한 필수 능력들
대략 웹에 존재하는 문서는 100억~1조단위 일것으로 추정된다(현존하는 가장 많은 문서를 가진 구글이 몇십억정도 가지고 있으니...). 평균 100KB크기라고 하면, 10G~100Gx100K = 1,000,000G~10,000,000G = 1P~10PB정도되는 듯 하다. 현재 PC가 1T급 저장공간을 가지고 있으니 현재 PC로 1천대가 필요하다. 단순히 해당 문서를 수집하는 데 그 정도 공간이 필요한 것이고 그것을 효과적으로 배치하는데 추가정보 + 백업 공간정도를 따지면 대략 1만대 정도가 필요할 듯 하다. 구글의 경우 현재 운영하는 PC가 10만대 단위로 알고 있다. (이는 과거 구형PC들도 돌리고 있어서 그럴 듯...) 그리고 수집 이후에 색인이나 랭킹, 프론트 엔드를 위한 PC는 별도로 그 수만큼 필요하다. 또한 이것은 단순 웹문서를 얘기하는 것이고 이미지나 동영상들이 늘어나고 있는 현재수준으로는 휠씬 더 많은 스토리지와 높은 cpu, 큰 메모리가 필요하다. 문서 증가속도와 스토리지, cpu,메모리 증가 속도가 짧은 기간(~5년)에는 비슷한 정도이므로 이 degree는 큰 변화 없이 1만~100만 단위일 것으로 생각한다.
이러한 검색에 대한 하드웨어적인 요구에 대응되는 소프트웨어적인 요구도 있다.
많은 검색 서버들을 운영한 경험, 검색에 많은 머신들을 효율적으로 사용한 경험, 많은 고객들에 대한 처리를 해본 경험, 검색에 대한 기술적인 전문가들. 이것들이 필요하다.
이 중에서 가장 심각한 것은 기술적인 전문가다. 우리나라 어디에도 검색에 대한 전문적인 양성을 해주는 교육기관은 없다. 왜냐하면 검색은 컴퓨터 분야에서도 극도로 빨리 성장하였고 웹 검색에 대한 중요한 개념이 겨우 책으로 출판되기 시작했기 때문이다. 최신의 기술은 여전히 논문에 의존해야 한다. 우리나라 교육 제도상 이렇게 빨리 발전한 분야를 변화에 빠르게 대응하면서 코스로 가르쳐주면서 이끌어 줄 수 있는 기관이 있는가? 내가 알기로 없는 것으로 알고 있다. 검색은 컴퓨터 학문 중 종합 학문에 속한다. 여기에는 서버 성능향상, 네트워크적인 이해, 알고리즘과 인공지능적인 이해, 마켓팅의 이해, 사회망에 대한 이해, 웹 기술(php,java,asp,API)에 대한 이해가 필요하다. 짜잘한 html단위의 코딩에서 부터 java, c, 어셈블리, DB에 대한 실무적인 이해와 더불어 클러스터링, 학습 알고리즘, 파레토법칙과 같은 이론적이며 고급 개념의 디자인적인 이해, 그리고 서버들과 그것들의 클러스터링, 성능향상, 분산시스템등에 대한 시스템적인 이해도 포함된다.

3. 검색 능력을 확보하고 있는 나라
이제 묻고 싶다. 이러한 것들을 모두 확보할 수 있는 나라는 세계에 어디에 있을까? 당연히 미국에는 있다. 그곳에는 IT의 시작과 가장 최신의 기술과 교육 시스템이 있는 곳이며 심지어 내수시장도 크다. 그 다음은 중국이다. 얘네는 하기 시작하니 뚝딱 바이두를 만들어서 자국 검색을 장악하고 있고 일본까지 진출했다. 벌써 세계 3위의 검색엔진이 되었다. 그다음은 ?한국이다. 한국은 그런 체계화된 교육 시스템은 가지고 있지않지만 특이하게도 정말 빠르게 인터넷이 발달하여 검색회사가 빠르게 존재하였고 이와 관련된 산업인력들도 어느정도 확보되어 있다. 위의 웹기술과 시스템 적인 기술은 충분한 편이고 이론적인 인재들도 대학들에서 확보할 수 있다. 그리고 그 만큼 IT마켓이 든든하고 좁은 나라여서 IT에서 만큼은 특이한 현상이 먼저 발생되고 있는 나라이다. iloveschool, cyworld, 세이클럽, 리니지같은 서비스나 월드컵, 아고라 촛불시위 같은 사회 현상도 빨리 보여지고 있다. 인터넷은 핸드폰이나 자동차와 같이 세계인의 필수품이며 그 중에서 검색은 인터넷의 꽃이다. 한국은 그런 인터넷에서 엄청나게 빨리 이룬 인터넷 보급율과 검색 사용자 층이 있는 곳이다. 특이할 만한 것은 미국, 일본, BRIC, 유럽국가들은 가파르게 인터넷과 검색이 보급되고 있는데 반해 우리나라는 이미 마이너스 보급률 상태이다. 특이할만한 것은 일본은 아직 자국의 검색 엔진이 없다. 있는지는 모르겠지만 아직 쓸만하고 충분히 잘돌아가고 보급된 검색엔진은 없다. 하지만 언젠가 필요하게 된다면 만들 환경은 충분하다. 물론 다른 어떤 나라에서도 위와 같은 조건이 충족된다면 자국의 검색엔진을 만들 수 있을 것이다.

4. 5년 후에
한국의 현재 검색 서비스를 하는 네이버,다음,엠파스등은 당분간은 심각한 도전을 겪지 않을 것이다. 하지만 5년후라면 얘기가 달라진다.
한글을 기억하는가? MS가 워드들고 처음에 왔을 때 한글에게 개박살나고 아무도 쓰지 않았다. 한글은 그 시대에 한국 사람들에게 엄청난 기능을 제공하였고 워드는 구림은 상상을 초월했다. 하지만 그 후 MS은 절치 부심하고 해외시장을 계속적으로 공략해서 지구인 모두의 경험을 기반으로 엄청나게 한국어에서도 잘 돌아가는 워드를 들고 들어왔다. 물론 기능상으로 한글이 우수한 점은 많다. 하지만 세계시장을 돌고 온 MS하고는 상대가 되지 않았다. 추가적인 많은 기능이 존재하였고 MS의 많은 제품들과 호환도 잘되었고 많은 편한 기능들이 내제되어 있었다. 뒤늦게 한글이 많은 기능을 쏟아내었지만 비슷한 기능이여도 이미 사람들은 MS를 쓸 수 밖에 없게 되었다. 여기에는 여러가지 많은 팩터들이 존재하지만 내가 강조하고 싶은 것은 한글을 국내에 머물렀고 MS는 지구촌 곳곳을 쓸고 다녔다는 것이다. 지구 곳곳을 쓸고 다니면서 생긴 "인간이라면 좋아할 수 밖에 없는 특징"들을 탑재하고 많은 노하우를 담아서 돌아왔다. 이런 비슷한 마켓은 우리나라에는 한개 더 존재한다. 바로 온라인 게임이다. 우리나라가 내부적으로 온라인 게임 포화상태에 가까워 질 때 엔씨소프트와 한게임은 해외로 나갔다. 그리고 그곳에서 부딪히고 있다. 아직 뚜렷한 결과는 얻고 있지 못하고 블리자드같은 메이저에게 아직 밀리지만 그래도 선전하고 있다고 생각한다. 그리고 그 결과는 계속 국내에 머무르고 있는 온라인 회사에 대해 차이가 벌어질 수 밖에 없을 것이다.
여기에 지금 검색이라는 것이 놓여 있다. 검색은 정말 안타깝게도 누구도 아직 해외진출에 성공하지 못했다. 네이버가 일본에 한번 건너갔다가 실패하고 돌아왔다. 국내 기업들은 국내에서 치고 박느라 해외에 대한 준비를 못하고 있다. 이렇게 국내에서 자국 서비스를 적당히 외국꺼 흉내내서 서비스 개선해 나가다가 외국을 평정하고 돌아올 구글과 야후가 한국에 본격적으로 돌아오는 날 그날이 국내 검색엔진 최후의 날이 될지도 모른다. 그 사이 적당히 흉내낸 서비스들은 외국 한번 돌고 온 야후, 구글형님에게 빠른 시간안에 따라잡힐 것이다. 지금 현재도 가지고 있는 서비스는 돈만 충분히 투입한다면 바로 따라 잡힌다. 국내 유저들은 구글이나 야후는 여러가지 멋진 서비스를 개발하는데 왜 우리나라 검색엔진은 그런거 못 만드냐고 한다. 왜냐하면 할 필요가 없기 때문이다. 국내 유저들 만족시키는 데는 이정도면 충분한다. 더 해도 되지만 경제성의 원리로 굳이 그정도까지 안해도 서비스 할 수 있다. 석유가 있더라도 경제성이 있어야 파는 것이다. 하지만 구글이나 야후는 경제성의 의미에서 좀 더 자유로울 수 있다. 왜냐하면 시장이 더 크기 때문에 돈을 더 들여 서비스를 개발하여 적용하더라고 그만큼 얻어 올 수 있다. 1000개 아이디어 구현해서 그 중에 1개 성공해도 손해나는 장사가 아니다. 하지만 국내에서는 1000개 시도했다가 1개 성공하면 당장 회사 문 닫아야 한다. 국내에서는 국내 시장이 실험장이 아니라 목숨줄이다. 이것이 검색에서의 규모의 경제학인듯하다.
그럼 우리나라에는 외국에 도전할 검색 서비스는 누가 있나? 지금은 네이버 뿐인것으로 알고 있다. 조만간 다른 검색 서비스도 해외로 도전할 수 있게 되길 바란다. 앞으로 1~2년내에 해외 진출 하지 않으면 국내 시장은 상당히 위험해 지지 않을까 생각한다. 진출하여 자리를 잡는데 다시 1~2년 걸린다 치면 그 사이 국내에 구글이나 야후가 상당부분 잠식 할 수도 있으리라. 정보 소비자 입장에서는 결과적으로 최후에는 가장 우수한 서비스가 살아남을 것이다. 단지 국내 기업이 해외시장과 국내시장에서도 성공하고 있다는 것과 아닌 것과의 차이는 단순한 자긍심과 외화 벌어들이는 것 정도만 차이나겠지. 다만 검색 해외 진출 초기에는 동서양의 차이가 극명하게 나타나리라 본다. 동서양이 정보를 받아들이는 것에 차이가 있는 만큼(논란의 여지가 있지만, 통계학적으로는 어느정도 맞다고 생각한다) 검색에 대한 접근이 차이가 날 듯 하다. 단순한 신문, 책의 단락을 구성하는 것에서도 각 나라마다 차이가 나는데 과연 검색의 결과를 찾아주고 보여주는 것에서는 얼마나 큰 차이가 날 것인가. (이 차이가 현재의 구글과 네이버를 차이나게 하는 것이라 생각한다. 어떤 것이 가장 검색하는 사람이 필요로 하는 것일까? 검색에서 서양인들은 단어를 많이 치겠지만 동양인들은 동사를 많이 친다. 한국에서는 블로그 ,동영상, 뉴스별로 탭을 분리하고 검색결과에서도 분리해서 보여주지만 서양에서는 문서들간의 관계에 대해서는 크게 신경쓰지 않는 듯 하다)

6. 검색의 미래
이런 전통 적인 검색은 분명 한계성이 너무 크다. 문서수가 늘어나는 만큼 시스템의 유지보수 비용도 함께 늘어나고 있다. 다만 그 시스템을 인간들의 노력으로 선형적으로 증가하게 유지하고 있다. 하지만 이러한 방식은 분명 디지털 시대에 너무나 아날로그적인 접근이다. 웹문서들은 지금은 온갖 개 거지 같은 html,javascript, css, php, asp,jsp등으로 이루어져있고 이걸 의미적으로 뽑아내는 데는 정말 갈길이 너무나 멀다. 어느정도 따라잡아도 이미 다른 기술이 나와서 온갖 거지같은 페이지들을 만들어 내고 있다. SEO에 대한 표준과 기술이 더 발전해서 웹로봇과 인터넷 트래픽을 줄이고 원하는 문서를 최대한 잘 찾아 줄 수 있는 기반이 필요해 지고 있다. logistical search가 필요하지만 웹과 인터넷의 오픈되고 자유로운 것이 오히려 이러한 모양을 방해할 것이고 이것을 해결하기 위해서는 당분간 황의법칙, 무어의 법칙에 따른 하드웨어적인 향상만이 해결책이 될 것 같다. 그러다가 언젠가 진실된 인공지능이 출연하여 우리를 지금보다 더 행복하게 해 줄 것이다.