SmartBeat

• 대용량 트래픽 수집기능
• 빅데이터 솔루션이 분석 할 수 있도록 전처리 기능
• 빅데이터 솔루션의 활용도 향상

SmartBeat란?

운영중인 시스템에서 미러링을 통하여 모든 패킷을 수집하고 파싱하여 빅데이터 솔루션인 Spunk가 분석 할 수 있도록 전처리 하여 주는 패킷수집 장치입니다. 본사의 서버뿐만 아니라 각지사에서 본사의 업무 서버로 통신 하는 모든 패킷을 수집해서 Splunk 빅데이터 솔루션에 필요한 로그 포맷으로 생성할 수 있는 기능을 하고 있습니다.  핵심기능은 패킷 수집기능과 빅데이터 솔루션이 분석할 수 있도록 패킷을 전처리 하여 주는 두가지 기능을 갖고 있습니다.

고가의 빅데이터 엔진을 도입은 하였지만 활용을 많이 못하는 사례가 많은데 SmartBeat를 사용하면 빅데이터 솔루션을 충분히 활용 할 수 있습니다. 빅데이터 솔루션은 Splunk 뿐 만 아니라 다른 빅데이터 분석엔진이라도 가능 합니다.

물리적 구성 – 미러링을 통한 실시간 패킷 분석 (SMARTBEAT)

로그생성 방식의 비교를 통한 SmartBeat의 도입의 필요성

• Agent 방식의 로그생성

대부분 각 업무 서버가 저장한 로그에 Agent를 설치하여 통합로그분석 시스템으로 전송한 후 분석을 합니다. 그러나 각 업무 서버가 저장한 로그는 모든 상황의 데이터를 로그로 남긴 것이 아니라 업무 시스템에서 필요한 로그만 남겼기에 다양한 분석을 위한 데이터가 포함 되어 있지 않는 것이 문제입니다.

• 미러링 방식의 로그생성 (추천 방식)

로그의 량이 많지만 미러링한 패킷 안에는 다양한 정보가 포함되어 있습니다. 이 정보를 파싱하여 저장 한후 빅데이터 분석 서버로 전송하면 다양한 분석이 가능 한 것이 큰 장점입니다. 또한 실시간 처리를 할 수 있는 능력을 갖추면 빅데이터엔진은 다양한 상황을 쉽게 파악할 수 있습니다.

Splunk에서 제공하는 Agent를 왜 사용하지 않는가?

• Splunk에서 제공 하는 Agent는 비정형 데이터에 대한 로그 수집이 어렵습니다. Splunk는 바로 분석이 가능하도록 파싱하여 전송한다면 Spunk는 분석 효율이 좋아집니다다.
• Splunk에 바이너리 데이터가 바로 입력되면 Splunk엔진은 문제가 발생할 가능성이 있고 분석이  되지 않습니다. 그러나 로그정보에는 가끔 바이너리 데이터가 전송 되는 경우가 가끔 있습니다. 따라서 로그를 전처리 하여 Splunk 엔진이  분석 하기 쉽게 전달을 한다면 엔진의 효율이 높아집니다.

SmartBeat의 역할 및 프로세스

모 증권사의 적용사례

1. 콜센터에서 대응 과정을 5 단계에서 한단계로 줄여 빠른 대응을 함(사용자로 부터 문제 제기에 대한 원인 파악을 해당 부서로 실시간 제공 함)
2. 장애 발생 시 실 사용자의 인증 서버 접근 이력을 통해 손해배상 문제를 정확히 파악함 (로그 기록의 중요성)
3. 주요 감사 대상 서버의 감사로그 활용
4. 시세 정보 헤더 및 데이터 정보를 모두 로그로 남기고 빅데이터 분석 솔루션을 통해 사용자의 주 관심 주식등에 대한 정보를 분석하는 (AI 적용 등) PUSH 광고 제공

SmartBeat의 기대효과

1. 고가의 빅데이터 엔진인 Splunk의 활용도를 높여서 전사적인 중요한 업무 분석에 사용 할 수 있다. Splunk  뿐만 아니라 다른 빅데이터 엔진도 사용이 가능하다.
2. 분석에 필요한 모든 로그를 수집하여 실시간으로 분석이 가능하다.
3. 정확한 로그 분석으로 업무의 효율성을 증대시킨다.
4. 장애발생시 손해해상의 문제를 정확히 파악하여 손해배상의 지출을 막아 준다.
5. 고객에 특화된 PUSH 서비스의 제공으로 서비스의 질을 향상 시킨다.
6. Agent 방식에서 수집되지 않은 정보까지도 미러링을 통한 패킷 수집이 가능하다.
7. Splunk 엔진이 분석하지 못하는 비정형 로그와 바이너리 로그에 대한 전처리 작업으로 Splunk 엔진이 분석이 가능하다.
8. 모든 로그 정보를 통하여 Splunk 엔진은 다양한 빅데이터 분석이 가능해 진다.