메타 검색 엔진

Meta Search Engine

소개 한글 패치가 적용된 "ht://Dig"를 사용하여 구현된 Meta Search Engine 기능

한글 검색 가능
분산 저장과 검색 가능

장점

2 byte 문자를 처리할 수 있도록 패치된 htdig을 사용하여 인덱싱을 한 후, 그 DB를 대상으로 검색하게 되므로 한글 및 중국어, 일본어로 작성된 HTML문서의 검색이 가능해졌다.
일정한 크기의 자료를 분산하여 저장한 후, 각각의 인덱스를 이용하는 구조를 가지고 있을 때, 인덱스를 갱신하는데 걸리는 비용이 웹서버의 수에 반비례하여 줄어들게 되므로 기존 1-way search engine보다 자주 인덱싱을 하여도 시스템에 부하가 적게 걸린다.
다시 말하면, n개의 웹서버에 분산하여 자료를 저장하게 되면 인덱싱을 새로 하는데 걸리는 시간이 평균 1/n로 줄어들게 되므로 1/n의 주기로 인덱싱을 더욱 자주 할 수 있게 되어 수정된 자료를 빠르게 DB에 반영시킬 수 있다. 그러므로 정확한 자료의 검색이 가능해진다.

구성

m_search.cgi : search engine으로서 Perl로 작성되어져 있다. 다른 모듈을 사용하지 않고 80 port를 이용한 Socket 프로그래밍되어 있다. 그러므로 상당히 빠르게 작동할 수 있다.
m_search.cf : configuration file로서 서버의 이름, 이웃에 위치한 서버들의 이름을 지정할 수 있다.

테스트

한글 검색 http://brahma.snu.ac.kr/~terzeron에서 "문서자료"라는 키워드를 가지는 문서를 검색한다.

검색 단어 :
분산 인덱스 사용 atropos, cygnus, neptune, brahma에서 "specification"라는 키워드를 가지는 문서를 검색한다. 테스트를 위해 각각의 문서들은 각 시스템의 ~terzeron/project에 위치한다고 가정한다.

검색 단어 :
참고로, 각각의 시스템에는 다음과 같은 자료가 인덱싱되어 있다.
atropos : java 1.2 API
cygnus : java 3D API
neptune : java help
brahma : java language environment

shiva에는 위의 모든 자료를 모아서 하나로 인덱싱을 했다.

검색 단어 :

설치 및 사용 방법

source 프로그램은 http://www.htdig.org/files/htdig-3.1.0b1.tar.gz에서 받아오고, http://www.mizi.co.kr/packages/htdig-3.1.0b1.kr.patch.gz에서 한글 패치를 받는다.
한글 패치가 된 패키지는 http://cygnus.snu.ac.kr/~terzeron/meta/htdig-3.1.0b1.tar.gz에서 구할 수 있다. 이 패키지를 사용하는 경우, 5번 과정을 생략한다.
gunzip -cd "htdig-3.1.0b1.tar.gz | tar xvf -
cd htdig-3.1.0b1
zcat ../htdig-3.1.0b1.kr.patch.gz | patch -p1
vi CONFIG하여 HTTPDIR, DOCUMENT_ROOT, CGIBIN_DIR을 각각 설정한다. HTTPDIR은 apache가 설치되어 있는 디렉토리를 의미하며, DOCUMENT_ROOT는그 시스템의 /index.html이 위치한 디렉토리를 의미한다. CGIBIN_DIR은 htdig의 cgi프로그램인 htsearch가 위치할 디렉토리이다.
configure
make
make install (여기서부터 관리자의 권한이 필요하다.)
HTTPDIR이 /usr/local/apache이고 DOCUENT_ROOT가 $(HTTPDIR)/htdocs, CGIBIN_DIR은 $(HTTPDIR)/cgi-bin으로 설정되어 있다고 가정한다.
cd /usr/local/apache/htdig/conf
vi htdig.conf하여 start_url과 maintainer를 설정한다.
cd ../bin
htdig -vvv -s -i eli>htdig에서 나오는 에러 메시지에 주의한다.
rundig -v
이제 /usr/local/apache/htdig/db에 db가 생성되었으므로 나중에 인덱싱을 새로 다시 하는 경우 이 디렉토리에 있는 파일들을 지우고 htdig과 rundig을 다시 실행한다.
m_search.cgi와 m_search.cf를 받아서 ~/public_html 하위디렉토리 어딘가에 위치시킨다.
vi m_search.cf하여 port, server, domain, parents, children등을 설정한다. 그 중에서 domain은 반드시 설정해야 한다. parents와 children은 meta search 서비스를 계획한 대로

configuration 파일 설정 m_search.cf의 예는 다음과 같다.

server:cygnus
domain:snu.ac.kr
port: 80
parents: atropos.snu.ac.kr
children: brahma.snu.ac.kr neptune.snu.ac.kr

server는 로컬 호스트의 이름을 의미한다. 지정하지 않으면 localhost라는 이름이 사용된다.
domain은 로컬 호스트가 속한 도메인의 이름을 의미한다. 지정하지 않으면 cygnus와 cygnus.snu.ac.kr가 혼동되어 약간의 문제가 발생할 소지가 있다.(그러나 max hop 횟수를 이용한 방지 장치도 작동한다.)
port는 웹서버의 HTTP 포트 넘버를 의미한다. 지정하지 않으면 80으로 지정된다.
parents와 children은 각각 로컬 호스트의 바로 위 계층에 위치하는 서버와 바로 아래 계층에 위치하는 서버를 의미한다. 여러 서버의 이름을 공백으로 구분하여 나열할 수 있다. 지정하지 않으면 상위 서버나 하위 서버가 존재하지 않는 것으로 설정된다.
#으로 주석처리를 할 수 있다. #으로 시작하는 문장은 주석문으로 처리되어 설정에 영향을 미치지 못한다.

계층 구조 서버들 간의 계층 구조는 다음과 같다

brahma에 검색 요청을 하게 되면 내부에서 검색을 시도하고 그 다음에는 하위 서버가 있으면 그 쪽에 검색을 요청한다. 그러나 brahma에는 하위 서버가 없으므로 상위 서버로 검색 요청을 넘긴다. brahma는 cygnus가 상위 서버라는 것을 알고 있으므로(설정 파일에 기록되어 있음) 검색을 요청하고, cygnus는 마찬가지의 알고리즘으로, 내부에서 검색을 시도하고 하위서버인 brahma와 neptune 그리고 상위 서버인 atropos에 차례대로 검색을 요청하게 된다. 그러나 brahma는 cygnus에게 검색을 요청한 서버라는 걸 알게 되므로 brahma는 건너 뛰고 곧장 neptune에게 검색을 요청하게 된다. 성능 평가

인덱싱 시간 비교

서버이름	CPU기종	문서량	인덱싱 시간(real/user/sys)
서버이름	CPU기종	문서량	real	user	sys
brahma	UltraSPARC 1	171 Kb	4.5	2.3	0.2
atropos	UltraSPARC 2 200MHz	30495 Kb	5:16.3	3:08.9	19.7
neptune	SuperSPARC 40MHz	423 Kb	43.2	12.1	1.7
cygnus	UltraSPARC 2 168MHz	1150 Kb	41.0	27.0	2.5
shiva	SuperSPARC	32246 Kb	20:38.3	14:03.2	2:04.9

시스템의 성능이 달라서 정확한 평가를 내릴 수는 없지만, 대체적으로 집중된 환경에서는 인덱싱하는 시간이 분산된 환경에서보다 훨씬 느릴 수 밖에 없다. 그것은 인덱싱해야 하는 자료의 양이 많아지기 때문이고, 이러한 이유로 인덱싱을 자주 하는 것은 시스템에 부하를 가중시키게 되어 자료의 인덱싱이 긴 주기를 가지고 수행될 수 밖에는 없는 결과를 낳는다. 반면에 분산된 환경에서의 인덱싱은 각각의 시스템이 적은 양의 자료를 인덱싱하기 때문에 짧은 시간이 필요하고 그러므로 자주 인덱싱을 수행하여 빠른 자료의 업데이트가 가능해지는 장점을 가진다.

자료의 정확성

특정 검색어를 가지고 검색을 시도해 보면, 분산된 환경에서의 검색 결과와 집중된 환경에서의 검색 결과가 다르다는 것을 알 수 있다.(윗쪽의 테스트를 참고할 것) 예를 들어, specification이라는 검색어에 대해서 검색을 시도한다고 하자. 각각의 서버는 그 검색어가 출현하는 빈도에 따라서 적절성을 평가하고 그 적절성의 정도에 따라 순위를 매겨 결과를 보여주게 된다. 이런 경우에 분산된 환경에서는 각각의 서버에서 나오는 검색 결과가 적절성이 낮은 것까지 찾게 되지만, 집중된 환경에서는 그 많은 자료들 중에서 적절성이 높은 것만 찾게 된다. 이러한 특성은 거꾸로 정확성에 영향을 끼쳐, htdig이 출현빈도에 따라 자의적으로 적절성을 판단하여 정확성을 떨어뜨리는 결과를 가져오므로 원하는 자료를 검색하지 못하게 될 가능성이 높다. 분산된 환경에서는 자료가 너무 많이 검색된다는 단점은 있으나, 집중된 환경에서보다 더 정확하게 결과를 얻을 수 있다는 장점을 가지고 있다.