[ CnUnix ] in KIDS 글 쓴 이(By): wooyou (LEKI_stick) 날 짜 (Date): 2001년 11월 7일 수요일 오후 09시 34분 51초 제 목(Title): [q] 자주 발생하는 malloc에 의한 perf저하 현재 pcap library를 이용해서 network packet을 잡아서 분석하는 프로그램을 하나 작성하고 있습니다. 매번 capture한 packet을 malloc해서 잡은 메모리에 넣어두고, fragmentation된 것들을 합쳐서 분석하는 모듈로 전해줍니다. 따라서 packet하나를 잡을 때마다 malloc이 발생하는데, 이 프로그램의 cpu 사용량이 많습니다. 이런 상황에 다음과 같은 질문이 있습니다. 1. 이와같은 빈번한 malloc의 수행은 cpu를 많이 사용하나요? 2. 전에 CnUnix보드에 malloc 대신 사용하는 다른 library list가 올라온 홈페이지가 있었던것 같은데(아마 swhan님이 올리셨던 것 같은데..) 이중에 빠르다고 하는 Lib을 사용하면 cpu사용량이 많이 줄어들까요? 3. 그리고, 이런 경우에 malloc을 사용하지 않고 static하게 처리할 수 있는 방법이 있을까요? 소스도 없이 무턱대로 이야기 해서 좀 뜬구름 같은 생각은 들지만, 이곳의 고수님들의 조언을 부탁합니다. [ CnUnix ] in KIDS 글 쓴 이(By): swhan (kkRunner) 날 짜 (Date): 2001년 11월 7일 수요일 오후 10시 22분 55초 제 목(Title): Re: [q] 자주 발생하는 malloc에 의한 perf 1. 통과 :) 2. 자하랑님이 올리신 글에 QF malloc인가 있습니다. quick-fit이던가/ 스펠이 정확하지 않군요 :) 3. 저같음 malloc안쓰고 fixed length buffer array를 이용하겠습니다. 또, slot number를 쭉 모아놨닥 free list와 occupied list를 관리하면 empty slot 서치하는 시간도 안걸리고 꽤 빠릅니다. memory 충분한 상태에서 application만이 쓸 수 있는 방법이지요 :) [ CnUnix ] in KIDS 글 쓴 이(By): terzeron (the cowboy) 날 짜 (Date): 2001년 11월 8일 목요일 오전 11시 41분 33초 제 목(Title): Re: [q] 자주 발생하는 malloc에 의한 perf '많이'라는 표현은 upper bound와 lower bound가 없기 때문에 상대적인 의미일 수밖에 없습니다. 다시 말씀드리면, static allocation에 비하면 malloc은 dynamic allocation이라서 CPU를 더 많이 사용합니다. 하지만 우리가 생각하는 것보다는 malloc이라는 system call이 CPU를 많이 쓰는 편은 아닙니다. malloc은 각각의 프로세스에게 허용된 메모리 영역을 페이지 단위로 할당받고 그걸 다시 작은 조각으로 쪼개어 쓰는 정도의 역할을 하기 때문이죠. 물론 OS마다 stdlib의 malloc()을 구현하는 방법은 약간씩 다르겠지만 malloc의 기본 메커니즘은 먼저 큰 블럭(페이지든 청크든)을 할당받고 그걸 잘게 쪼개어 쓰는 겁니다. 물론 fragmentation과 fitting의 문제가 있어서 best-fit이나 quick-fit이니 하는 이야기들이 나오는데, 속도를 염두에 두신다면 위에서 swhan님께서 말씀하신 대로 Zaharang님의 quick fitting을 찾아서 읽어보시면 될 겁니다. 직접 구현하셔도 되고, 널려있는 malloc implementation을 참고하셔도 됩니다. 웬만한 OS, PL, VM, DBMS, library에는 다 malloc 구현이 있습니다. 기본 아이디어만 이해하시면 구현 자체가 크게 어려운 것은 아니라고 봅니다. [ CnUnix ] in KIDS 글 쓴 이(By): dalgong (달공아저씨) 날 짜 (Date): 2001년 11월 8일 목요일 오후 04시 47분 10초 제 목(Title): Re: [q] 자주 발생하는 malloc에 의한 perf malloc은 system call이 아닙니다. malloc/free는 brk, sbrk에 대한 library입니다. 질문 하신 분께서 사용하고 있는 자료의 특성을 잘 이해하시고, 거기에 적당한 memory관리 정책을 세우시는게 중요하겠지요. 앞의 swhan님처럼 아무래도 이쪽 이라면 maximum size(bound가 있겠죠?)만큼의 buffer잡아 두고, 재사용하시는게... [ CnUnix ] in KIDS 글 쓴 이(By): sang (멍텅대만) 날 짜 (Date): 2001년 11월 8일 목요일 오후 04시 54분 07초 제 목(Title): Re: [q] 자주 발생하는 malloc에 의한 perf 결국... 필요한 메모리의 upper bound를 모르니, 시스템이 허락하는 한도내에서 적당히 큰 메모리를 static하게 잡아놓고 위에 어떤 분이 말씀하신 것처럼 관리하면서 동작하다가, 만약 static하게 잡아놓은 양을 넘어갈 때는 dynamic하게 메모리를 allocate받을수 있도록 malloc()을 콜하도록 하면 적당히 타협된 방법으로 동작하지 않을까요. [ CnUnix ] in KIDS 글 쓴 이(By): cdpark (박종대) 날 짜 (Date): 2001년 11월 8일 목요일 오후 05시 52분 44초 제 목(Title): Re: [q] 자주 발생하는 malloc에 의한 perf 몇몇 쓸만한 전략들.. 1. No free() call.. 프로그램 중간에 계속 malloc()으로 메모리를 늘이다가 막판에 free()로 다 쓴 버퍼를 돌려주는 경우라면... 아예 free()를 하지 않는 것도 한 방법! 2. free list 유지 프로그램에서 사용하는 자료 크기가 일정한 경우(혹은 그 크기 차이가 거의 없는 경우)엔 free() 시에 무조건 free()를 부르지 않고 free_list라는 linked list에 임시 보관. 다음번 malloc 호출 시에 free_list에 있는 걸 우선적으로 돌려줌. 3. cyclic queue 이용 static array(혹은 malloc으로 잡은 큼지막한 배열 하나)를 이용, cyclic queue를 구현해서 이용. 2번의 변형. 4. malloc library 교체 메모리 효율은 떨어지지만 대신 반응 시간이 빠른 알고리즘으로 대체. 어쨌거나 상황에 따라 다릅니다. 메모리 critical이냐, 메모리 사용이 계속 늘었다 줄었다 하느냐, 한 번만 돌리느냐, server처럼 계속 죽지 않고 도느냐 등의 변수를 고려해야죠. [ CnUnix ] in KIDS 글 쓴 이(By): terzeron (the cowboy) 날 짜 (Date): 2001년 11월 8일 목요일 오후 07시 18분 22초 제 목(Title): Re: [q] 자주 발생하는 malloc에 의한 perf 제가 CnUnix보드에 쓸 때마다 자꾸 틀린 게 있어서 망신만 당하는군요. ^^ 어쨌든 dalgong님 덕분에 제대로 배우게 되니 감사합니다. [ CnUnix ] in KIDS 글 쓴 이(By): swhan (kkRunner) 날 짜 (Date): 2001년 11월 8일 목요일 오후 07시 29분 56초 제 목(Title): Re: [q] 자주 발생하는 malloc에 의한 perf 그게 망신의 범주에 들어가나요? 잘못된 것을 계속 우기는 것도 아니고.. 약간의 오류와 지적 정도인데.. 뭐.. 저같이 내공이 없는 사람들만 그렇게 생각하는건가요? O.o 뭐 어쨌든 저는 CnUnix에 쓸때마다 느끼는게... 쬐끔 망가지면 많이 배운다...는 :) 근데.. 우유님... re-assemble한 packet의 최대 크기는 어느정도인가요? 설마 MB는 아니겠죠?