12일 업계에 따르면 SK C&C는 상반기 실적 매출 1조1316억원, 영업이익 1219억원을 기록해 지난 2분기 매출과 영업이익이 각각 11.2%, 25.5% 늘어났다. 여러 사업들이 SK C&C의 성장에 기여했지만 빅데이터 분석 솔루션을 빼놓을 수 없다. 몇 년 전부터 빅데이터의 이용이 시대의 화두가 되면서 관련 기술인 빅데이터 분석 솔루션의 중요성이 점점 부각되고 있는 상황이다.
다음으로 빅데이터 정제 기술의 경우, 이 기술이 필요한 이유는 빅데이터가 전수 조사를 전제하는 기술이라고 해도 원시 데이터를 정제하지 않을 수 없다. 왜냐하면 사람이나 기계가 나타내는 데이터는 컴퓨터가 바로 분석하기 어렵기 때문이다. 즉 빅데이터의 대부분은 컴퓨터가 바로 처리할 수 없는 데이터다. 이를 비정형 데이터라고 한다.
이 비정형 데이터를 분석 가공 가능한 형태로 만들거나, 컴퓨터가 바로 처리할 수 없는 데이터를 포함한 정형적 데이터를 분석 가공 가능한 형태로 만들기 위해서는 방대한 컴퓨터 장비가 필요하다.
빅데이터 분석/가시화 기술은 대부분 통계학이나 데이터 마이닝이라 부르는 분야의 일이다. 빅데이터가 전수분석을 전제하는 기술이라서 시간 단축과 정확성을 높이기 위해 이 기술을 필요로 한다. 이 분야의 최강자는 세계 최고의 통계 분석 패키지를 내놓은 SAS이다. 하지만 최근 무료 공개 소프트웨어 ‘R’이 등장하면서 학계의 표준으로 자리잡고 있다.
또한 빅데이터 분석도 많은 시간이 걸리는 작업인데 분산 병렬 처리가 필요한 분야다. 이것이 가능한 이유는 구글이 제시한 ‘맵 리듀스’ 프로그래밍 모델이 보급됐기 때문이다. 분산 병렬 처리란 예를 들어 1명이 100분 걸리는 작업을 100명이 하면 1분 걸리는 것과 같다. 이러한 분석·가시화 기술은 성장 가능성이 큰 분야다. 미래에 기계화될 가능성이 있지만 현재는 사람의 전문 지식에 근거한 직관과 모델링이 분석에 있어 더 중요한 역할을 할 것이다.
이에 대해 권대석 박사는 중요한 지적을 했다. “하지만 이 빅데이터가 크게 성장할 것처럼 이야기 하지만 시작된 지 5~6년이 됐다는 점과 통계학과 같은 원천기술은 훨씬 오래된 점에서 이제 시작은 위험한 일일 수 있다. 이런 맥락에서 새로운 시장 개척을 위해서 가능성이 높은 분야는 빅데이터 기반 예측 분야라고 할 수 있다”고 말했다.
하지만 국내에서의 한국 빅데이터 기업의 경쟁력은 있다고 강조했다. 권 박사는 “한국이 학문적 기반이 부족하지만 해외 기업들과의 빅데이터 분석 가시화 기술 경쟁에서 뒤떨어지지 않는다고 본다”며 “왜냐하면 일부 플랫폼 영역과 한국어 처리에 있어 한국 기업들의 활로가 있다고 보기 때문”이라고 밝혔다.
기본적으로 예측 분야는 고도의 수학적 기반과 전문성을 요구하는 모델 단순화나, 통계적 예측에 의존하지 않기 때문에 후발 주자인 한국도 따라갈 수 있다. 빅데이터 예측 기술은 비교적 근래에 등장한 네트워크 이론이나 신경망 이론에 가깝다. 전수 조사해서 패턴별로 감시하다가 유사 패턴이 나오면 발생 사건을 예측하는 것이라 누가 빨리 시작해 많이 해봤느냐가 중요하고 관련 기술이나 솔루션도 거의 없기 때문에 국내 기업의 시장 진입 경쟁력이 충분하다고 권 박사는 보고 있다.
