[ CnUnix ] in KIDS 글 쓴 이(By): jaeswith (withinmoim) 날 짜 (Date): 2002년 10월 8일 화요일 오후 02시 26분 25초 제 목(Title): [질문] 엄청 큰 파일 열기? 저번에 guest로 들어와서, read 로 큰 파일 읽기를 질문한 녀석입니다 ^^;; 100원 거신 분께, 음료수라도 하나 사드려야겠네요 ^^ 중간에 보니까, lseek로 뒤로 약간 file pointer를 돌이는 부분이 있었습니다. 아마, 그날 잠을 못자서 그 라인이 안 보였나봅니다. ---- 본론으로 들어가서... 웹로그를 분석하는데, 웹로그의 양이 만만찮게 많습니다. 열흘치인데, 13GB 더군요. 일단 이 파일이 열려야 읽어서, 분석을 할 수 있을거 같은데... 쩝. open 하니까, 너무 큰 파일이라서 못 연다는 메시지를 내버립니다. 어떤 다른 방법이 없을까요? [ CnUnix ] in KIDS 글 쓴 이(By): testors (testors) 날 짜 (Date): 2002년 10월 8일 화요일 오후 03시 03분 22초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? 본론으로 들어가서... 웹로그를 분석하는데, 웹로그의 양이 만만찮게 많습니다. 열흘치인데, 13GB 더군요. 일단 이 파일이 열려야 읽어서, 분석을 할 수 있을거 같은데... 쩝. open 하니까, 너무 큰 파일이라서 못 연다는 메시지를 내버립니다. 어떤 다른 방법이 없을까요? ------------ 시스템콜로 제어할수 없는 파일이라면 아예 생성 되지도 않았을 겁니다. 어떤 플랫폼에서 어떤 시스템 콜로 open 시도하셨나요? [ CnUnix ] in KIDS 글 쓴 이(By): swhan (foo bar) 날 짜 (Date): 2002년 10월 8일 화요일 오후 03시 19분 48초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? limit ulimit 이걸 체크해보시죠 아님 root로 실행해보시던가.. open하면서 tmp파일을 하나 복사해두는 상황이 아니라면 open하지 못할리 없을 것 같은데 2GB가 넘는게 좀 마음에 걸리네요. 참! split으로 1GB나.. 아니면 5000~10000line단위로 잘라보시는건 어떨까요? -.-a [ CnUnix ] in KIDS 글 쓴 이(By): jaeswith (withinmoim) 날 짜 (Date): 2002년 10월 8일 화요일 오후 03시 25분 03초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? 제가 사용하는 시스템은 Linux 2.4.19 배포판 Debian GNU/Linux 3.0 woody 입니다. 그 파일을 만든 방법은 하나에 100MB 정도 되는 파일이 여러개인데, 한번에 쉽게 분석하기 위해서 cat *.log > log 요런 방법으로 13GB 짜리 파일을 만들었습니다. 그리고 파일을 open하는 system call 은, open 시스템 콜이고요. fd = open( argv[1], O_RDONLY ); if ( fd == -1 ) { printf( "%s\n", strerror( errno ) ); return; } 요런 코드인데요. 실행하면, File too large 라는 메시지를 뿌리고, 프로그램이 종료됩니다. [ CnUnix ] in KIDS 글 쓴 이(By): testors (testors) 날 짜 (Date): 2002년 10월 8일 화요일 오후 03시 53분 56초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? 그 파일을 만든 방법은 하나에 100MB 정도 되는 파일이 여러개인데, 한번에 쉽게 분석하기 위해서 cat *.log > log 요런 방법으로 13GB 짜리 파일을 만들었습니다. ---------- open 시스템콜이 안먹힌다면 쉘이 log 라는 파일을 쓰기모드로 열지도 못했을 것이므로 분명히 open 콜을 할수있는 방법이 있을겁니다. (open 혹은 lseek등의 man page 를 찾아보세요) 그리고 정 안된다면 그냥 해당 로그 파일 처리를 표준입력으로 받아서 처리할수 있게 한 다음 cat log | a.out 이렇게 파이프로 넘길수도 있겠네요. (cat 이 log 를 열 수 있다면) 마지막으로.. 2G 이상 파일 왠만하면 안만드는게 좋더군요. 가령 tar 는 2G 이상 파일 압축하니 압축할때 에러는 안나는데 풀어보면 깨지더군요. (크기를 4byte 로 기록하더군요. 물론 플랫폼마다 다르겠지만.) 1G 파일 10개를 묶는건 되지만 5G 파일 2개를 묶으면 데이터 날림.. 에러도 안나서 눈뜨고 백업했던것 여러벌 날려먹은적이 있네요. [ CnUnix ] in KIDS 글 쓴 이(By): terzeron (microkid) 날 짜 (Date): 2002년 10월 8일 화요일 오후 04시 00분 04초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? cat도 open하죠. open 안 하는 shell 명령이 거의 없습니다. 저같으면 *.log에 해당하는 파일 각각을 open해서 처리하겠습니다. for 루프 하나만 더 쓰면 되는 건데요, 뭐... 그리고 10GB일 때 write mode로 open이 가능해도 합쳐서 13GB가 되면 read mode로 open이 불가능할 수도 있죠, 뭐... [ CnUnix ] in KIDS 글 쓴 이(By): testors (testors) 날 짜 (Date): 2002년 10월 8일 화요일 오후 04시 14분 00초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? Linux 에서 man open 해보니 flag 에 요런게 있네요. O_LARGEFILE On 32-bit systems that support the Large Files System, allow files whose sizes cannot be represented in 31 bits to be opened. 옵션 줘서 해보세요. [ CnUnix ] in KIDS 글 쓴 이(By): jaeswith (withinmoim) 날 짜 (Date): 2002년 10월 8일 화요일 오후 04시 55분 27초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? 제 시스템은 Large file system이 아닌가 봅니다. O_LARGEFILE 옵션을 주고 파일을 열었습니다만. 그냥 멈추고 가만히 있네요. 제 시스템은 linux ext3 를 쓰고 있습니다 그래서 그냥 stdin 으로 받아드리게 약간 고쳐서 프로그램을 돌리고 있습니다. 1GB 분석하는데도, 엄청 오래 걸리네요. ㅡㅡ;; 거의 몇 분이.... [ CnUnix ] in KIDS 글 쓴 이(By): Xorn (Salud_) 날 짜 (Date): 2002년 10월 8일 화요일 오후 05시 27분 53초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? 저같으면 그냥 webalizer 깔 것같은데요? 로그파일 여러개도 알아서 합쳐서 분석해주거든요. GNU에 있을 것임. @앗. 웹로그 분석 프로그램을 만드시는 건가요?? [ CnUnix ] in KIDS 글 쓴 이(By): jaeswith (withinmoim) 날 짜 (Date): 2002년 10월 8일 화요일 오후 06시 02분 16초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? 하하 그냥 웹 캐시에서 나온 로그를 분석하는 중입니다. 뭐.. 좋은 툴이 있으면, 소개해주시면, 감지덕지죠~ ^^ [ CnUnix ] in KIDS 글 쓴 이(By): Xorn (Salud_) 날 짜 (Date): 2002년 10월 9일 수요일 오후 01시 42분 53초 제 목(Title): Re: [질문] 엄청 큰 파일 열기? 아까 쓰다가 날라가서 --; 저는 apache의 경우 webalizer로 분석했습니다. 일주일단위로 rotate하고 webalizer로 분석한다음 이전 분석자료에 덧붙이게 하면 합쳐지거든요. 캐시는 로그를 10M단위로 다른 피시로 옮기게하고 그 피시에는 WebTrends(상용, 30일 데모받을 수 있음) Firewall Suite로 분석했고요. 한달치 분석하려면 며칠 걸렸던 것같네요. (사실 제가 직접안하고 다른 사람 시켜서.. ^^) 이런 식으로 파일을 좀 쪼개서 분석하시는게 나을 것같네요. 진짜 대용량 데이타는 어떻게 분석하나 알아보려고 모ISP 캐시 담당자한테 물어봤는데.. SGI 6~7대를 가지고 분석하려고 해봤는데 하다가 포기했다고 하더군요. :) 다른 모ISP담당자는 답변도 안해줬고요. --;