Cover S T o r y

Big Data 시대를 선도하라!

2012년 IT 시장은 Big Data 라는 단어에 열광하고 있다.

개인의 영역에서 기업의 영역까지 산재해 있는 수 많은 데이터를 어떻게 하면 비즈니스화 시키며,

동시에 기존 비즈니스의 생산성 향상에 활용할 수 있을지에 대해 관련된 모든 주체들이 고민하고

각종 솔루션과 제안들을 쏟아내고 있다.

그러나 그 비즈니스 적인 가치와 무한 가능성에 비해 시장의 준비된 솔루션과 기술력은

아직 성숙한 단계에 이르지 못하고 있다.

오라클은 이러한 시장의 요구에 미리 준비하여 이미 지난해에 Big Data 관련 End to End 솔루션을 출시했으며,

몇 달이 지난 지금 그 활용에 대한 구체적인 전략을 제시하고자 한다. Big Data 는

더 이상 공부와 조사의 대상이 아니라 이젠 “적용” 의 대상이다.

28_ Big Data의 정의와 오라클의 지원 전략

34_ 대량 스트림 데이터 처리 솔루션인 Oracle Complex Event Processing 소개

39_ Oracle Data Integrator와 Oracle Big Data Appliance

45_ “빅데이터 플랫” Big Data시대의 엔터프라이즈 인프라스트럭처

51_ Big Data 블루 오션 시대, 어떻게 항해 준비를 할 것인가?

Big Data의 정의와 오라클의 지원 전략

저자 - 장성우 상무, 한국오라클 Tech사업본부 기술컨설팅(sungwoo.chang@oracle.com)

Big Data는 개개의 데이타가 모두 비즈니스적으로 중요하지는 않지만 대량으로 모으면

그 안에서 의사결정에 도움이 될 수 있는 어떤 분석 정보를 얻을 수 있는 데이타를 말한다.

반면 Business Data는 개개의 데이타 모두가 비지니스적으로 소중한 데이타이며,

이런 데이타들은 아무리 크기가 커도 DBMS에서 저장해서 ACID 특성을 지원받아야만 한다.

Big Data는 하나하나가 중요하지는 않기 때문에 DBMS에 저장하지는 않지만 대량으로 모아

분석해야만 하므로 Hadoop과 같은 분산화일 처리 시스템에 저장하고 R과 같은 통계 언어를

이용하여 분석한다.

오라클은 이러한 Big Data 관리를 지원하기 위하여 Big Data 처리를 위한 새로운 통합된

솔루션으로서 Big Data Appliance를,

중요한 비즈니스 데이타 처리에 대한 Extreme Performance와 Maximum Availability를 제공하기 위해

Exadata를, DB 데이타와 Big Data의 유연한 연결성을 제공하기 위해 Big Data Connectors를,

DB 내에서의 종합 분석 지원을 위해 Advanced Analytics를, 그리고 생각의 속도의

실시간 분석 제공을 위해 Exalytics를 통합 솔루션으로 제공한다.

Cover STory 01

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryB

ig Data

의 정

의와

오라

클의

지원

전략

028Spring 2012

개요

2010년 MIT Sloan Management Review가 전세계 100여개 국가의 3,000여명의 임원, 관리자 및 분석가를 대

상으로 수행한 설문 결과에 따르면 Top-Performing 회

사가 그렇지 않은 회사에 비해서 5배 이상의 분석능력을

갖고 있음이 나타났다. 또한, 응답자의 절반 이상이 정

보분석 시스템의 개선을 가장 중요한 우선과제로 선정

하였고 응답자의 60%가 경쟁우위를 위한 혁신을 Top

Business Challenge로 답변하였다. 여기서 재미있는 사

항은 역시 60% 정도의 응답자가 현재보다 더 많은 가

치 있는 데이터가 회사 내에 존재하고 있으며, 이에 대

한 분석이 필요하다고 답변하였다는 점이다. 바로 이 부

분이 Big Data의 분석 및 처리가 중요한 이유가 된다. 최

근에 Big Data에 대한 관심이 커지고 있는 이유는 앞서

언급한 리뷰 결과와 같이 이제 정보 분석 능력이 기업의

경쟁력이 되고 있기 때문이며, Big Data의 관리 및 분석

을 통한 정보 경쟁력의 향상이 그 해답을 제시해 줄 수 있

기 때문이다. 이제 똑똑한 기업들은 분석 능력을 키워서

정보를 통찰력으로 전환시키고 이를 비즈니스 행동으로

바로 연결시키고 있음을 알 수 있다.

Big Data의 정의

이 세상에는 다양한 데이터들이 존재한다. 그 중의 일부

는 DBMS(Database Management System)에 저장된

다. 기업들이 DBMS에 데이터를 저장하는 이유는 ‘개

개의 데이터 자체가 모두 비즈니스적으로 중요하기 때

문’이다. 여기서 비즈니스적으로 중요하다는 것은 해

당 데이터가 비즈니스 영속성을 위해 정확한 값으로 보

존되어야 하며, 이를 위해 기업은 기꺼이 비용을 지불

할 의사가 있음을 나타낸다. 이러한 데이터들의 예로

는 고객 정보, 직원 정보, 판매/매출 정보 등을 들 수 있

다. 이런 데이터들은 하나하나가 소중하기 때문에 정확

한 값을 가져야할 뿐만 아니라 또한 절대 유실되지 않도

록 안전하게 보존되어야 한다. 따라서 우리는 이러한 데

이터를 Business Data라고 부를 수 있다. Business Data는 업종별로는 달라지는데 제조업의 경우 제품, BOM,

생산계획, 설비, 출하, 물류 등이며, 통신업의 경우는

CDR, Billing, 상품 등, 금융업의 경우는 계좌, 대출, 투

자, 자산 등의 데이터들이 Business Data가 된다. 이러한

Business Data는 DBMS에 저장됨으로써 ACID 특성을

지원받는다. ACID는 Atomicity/Consistency/Isolation/

Durability를 나타내는데 동일한 데이터를 다수의 사용

자가 동시에 사용(생성/수정/삭제)하여도 데이터의 값

이 consistent하고 안전하게 보관/관리되는 것을 DBMS가 보증해 주는 특성을 말한다. 따라서, 이렇듯 하나하나

가 비즈니스적으로 소중한 Business Data는 아무리 크기

가 커도 반드시 DBMS에 저장해야만 한다.

하지만 더 많은 정보들이 DBMS가 아닌 다른 곳에 저장

되거나 저장되지 못한 채 사용되고 버려지고 있다. 이는

개개의 데이터가 발생은 되지만 비즈니스적으로 DBMS에 저장해서 관리할 만큼 개개의 정보가 중요하지는 않

다고 판단되거나 그에 따르는 비용을 지불할 만큼 중요

성이 높지는 않기 때문이다. 하지만 앞서의 리뷰 결과는

이런 데이터들을 모아서 분석하여야 기업의 경쟁력을 키

울 수 있음을 이야기하고 있다. 이런 고찰을 통해서 볼

때 많은 다른 정의 방법이 있겠지만 Big Data는 ‘개개의

데이터가 비즈니스적으로 중요하지는 않지만, 대량으로

모으면 그 안에 숨겨진 새로운 정보를 발견할 가능성이

있는 데이터 집합’으로 정의할 수 있다. 예를 들면, 고객

이 방문한 웹 페이지의 로그 정보의 경우 하나하나가 중

요한 것은 아니지만 이를 대량으로 모아 분석하면 고객

유형별 관심 주제를 파악할 수 있게 된다. 비슷하게 상

품의 이동에 따른 시간별 위치 정보를 대량으로 모아 분

석하면 상품의 이동 경로의 효율성 파악할 수 있다. 이와

같은 유사한 사례를 많이 찾아볼 수 있는데 고객의 매장

내 이동 동선을 모아 분석하여 주요 관심 제품, 결합 상

품 파악, 제품/상점 추천 등에 활용할 수 있고, 포탈에서

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryB

ig Data

의 정

의와

오라

클의

지원

전략

029Spring 2012

<그림 1> 분석 능력 = 기업의 성과 (출처:MIT Sloan Management Review, 2010년 12월)

0 1 2 3 4 5 6 7 8

Financial management and budgeting

Top Performers

22.1

Lower Performers

Operatins and production

Strategy and business development

Sales and marketing

Customer service

Product research and development

General management

Risk management

Customer experience management

Brand or market management

Work force planning and allocation

Overall Average

Tendency to Apply Analytics

Tendency to Apply

Intuition

의 주요 검색 키워드를 통한 관심 트렌드 분석, 생산 설

비의 상태/센서 정보(온도, 압력, 밀도 등) 분석을 통한

완성품 품질과의 연관성 분석, SNS를 통한 VOC 분석

을 통해 고객의 만족도를 분석하는 것 등이 Big Data를

통한 분석 및 활용의 사례들이 될 수 있을 것이다.

Big Data가 각광받는 이유

그렇다면 왜 이제서야 Big Data가 각광을 받게된 것일

까? 이러한 Big Data들은 예전에도 존재했었는데 이제

서야 조명을 받게 된 주된 이유로는 우선 Big Data 처

리 및 분석 관련 기술의 향상과 사례의 확산을 들 수 있

다. 이제 DB에 저장하지 않고도 Big Data를 저장/분석

할 수 있는 새로운 기술들(Hadoop,R)이 개발되었고, 실

제로 대형 인터넷 기업(구글, 야후, 페이스북, 트위터 등)

에서의 적용을 통해 해당 기술의 현실적인 적용가능성

이 검증되면서 각광을 받기 시작하게 되었다. 또한, 실제

로 구글같은 검색 엔진과 트위터나 페이스북 같은 Social

Network Service 업체들이 자사가 관리하는 Big Data를

분석하여 검색 트렌드, 고객의 생각이나 원하는 바와 관

련된 정보들을 찾아내어 이를 새로운 사업 확장 혹은 서

비스 개선에 활용한 사례가 알려지면서 Big Data에 대

한 관심이 폭발적으로 증가하게 된 것이다. 맥킨지 보고

서에 의하면 이렇게 Big Data를 이용하여 고객 성향 분

석을 수행하여 의사결정을 수행하면 유통업의 경우 60%

정도의 운영 이익 향상을 기대할 수 있다고 설명하고 있

기도 하다. 이러한 주변적인 상황과 더불어 Big Data 현

상은 기업들의 고객 데이터 수집활동 및 멀티미디어 콘

텐츠의 폭발적 증가와 스마트폰 보급, SNS 활성화 및 사

물통신망(M2M)의 저변 확대로 빠르게 확산되고 있다.

지금까지의 고찰을 정리할 때 Big Data 관리란 기술과

비용적인 이유로 기존에는 관리되지 않던 다양한 데이터

까지도 수집/저장/관리하고, 여기에 숨겨져 있는 다양한

정보(예를 들면 고객 성향, 업무의 인과 관계 등)를 찾아

내어 이를 현재 업무의 개선에 활용함으로써, 더 이상 휴

리스틱(데이터 없이 과거의 경험과 습관만으로 의사결

정을 수행하는 것)이 아닌 분석 정보 기반의 과학적인 의

사결정을 수행하는 것을 말한다고 할 수 있다.

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryB

ig Data

의 정

의와

오라

클의

지원

전략

030Spring 2012

<그림 2> Business Data와 Big Data의 구분

<그림 3> Big Data의 출현 배경 (출처: KT경제경영연구소, “Big Data : 미래를 여는 비밀 열쇠”)

ERP

Warehouse

Data Mart

HR

SAP CRM

Business Data

· 개개의 데이타 자체가 모두 중요

· DB에 저장하여 정합성/안정성 보장

Big Data:Decisions based on

all your dataVideo and Images

Transactions

Social Data Machine-Generated Data

DocumentsVOC

Information Architectures Today:Decisions based on

database data

Big Data

· 개개의 데이타가 중요하지는 않지만 대량으로 모으면 숨겨진 새로운 정보

를 발견할 가능성이 있는 데이타 집합

·Hadoop이나 NoSQL DB에 저장하고 Map/Reduce 처리 및 R로 분석

·분석된 정보는 다시 DB로 옮겨 기존 정보와 연관 분석 필요

· 기업들은 온라인/오프라인 사용자 정보, 소비자 행태에 대한 정보 수집에 적극적

· 고객관련 정보 수집의 증가로 더 많은 데이터 스토리지와 정교한 분석 능력을 필요

ex) Tesco는 매달 15억 건 이상의 (고객) 데이터를 수집

· 현재 3천만 개 이상의 사물인터넷 센서가 설치 (향후 5년 동안 CAGR 35% 증가)

· 원격 헬스 모니터링을 통한 헬스케어, RFID를 이용한 소매업, 스마트 미터 기술을 활용한 유틸리티

사업에서도 데이터 발생량이 증가할 것으로 전망

· SNS는 스마트폰의 확산과 더불어 젊은 층에서 중장년 층으로까지 확산

· Facebook에서만 매월 한 이용자당 평균 90개 이상의 콘텐츠를 업로드

· YouTube에서는 1분 마다 24시간 분량의 비디오가 업로드 → SNS 미디어 데이터 폭증

· CT 스캔, CC카메라 등 다양한 부분에서 대용량 멀티미디어 콘텐츠 생산 증가

· 고화질 동영상은 이미 인터넷 전체 트래픽의 50% 이상을 차지 (2013년 70%로 증가)

· 오리지널 콘텐츠뿐 아니라 콘텐츠 소비에 관한 정보도 대량 생산 (사용자정보, 선호 등)

기업의 고객 데이터 트래킹/ 수집 행위 증가

SNS의 급격한 확산과 비정형 데이터의 폭증

M2M 확산에 따른 센서 저변 확대

멀티미디어 콘텐츠와 콘텐츠 사용에 관한 정보의 증가

Big Data 관리 기술

그렇다면 어떻게 해야 Big Data를 효율적으로 관리할

수 있을까? Big Data는 일반적으로 3V(Variety, Volume

and Velocity)의 특징을 갖는다. 이는 데이터의 형태가

‘다양하고(Variety)’, ‘다량의(Volume)’ 정보가 ‘실시간

에 가까운 빠른 속도(Velocity)’로 흘러들어오는 특성을

나타낸다. 이러한 Big Data는 비즈니스적으로 중요한 것

은 아니므로 개개의 데이터에 대한 ACID 특성 지원은

필요없다. 따라서 DB가 아닌 화일 혹은 NoSQL DB에

저장하면 된다. 다만 데이터 규모가 본질적으로 엄청나

게 크므로 일정한 처리성능의 담보를 위해 분산처리가

필요하고, 빠르게 증가하는 데이터를 저장하기 위해 쉬

운 확장성이 반드시 제공되어야 한다. 이러한 특징을 제

공하는 것이 바로 Hadoop이다. Hadoop 기반으로 Big

Data를 처리하면 HDFS(Hadoop File System)에 분산

화일 형태로 데이터를 저장하고, 대량의 데이터를 Map/

Reduce를 통해 분산처리할 수 있게 된다.

Hadoop은 Master/Slave 구조를 갖는다. 저장을 위한

HDFS는 Master로서 Name Node를, Slave로서 Data

Node를 갖는다. 또한 데이터 처리를 위한 MapReduce는

Master로서 JobTracker를, Slave로서 TaskTracker를 갖

는다. HDFS에서는 Name Node가 파일의 메타 정보를

관리하며, 실제 데이터는 Data Node에 분산저장(기본

64MB block)된다. 그리고 MapReduce는 HDFS에 분

산 저장된 데이터를 여러 대의 TaskTracker에서 병렬 처

리하기 위한 구조로서, JobTracker는 TaskTracker 상태

및 작업 진행 상황을 감시 및 장애 자동 복구 기능을 수행

하며, 또한 작업 할당 및 결과 통합 역할까지 수행한다.

Big Data 분석 기술

앞서 설명한 바와 같이 Big Data는 필연적으로 분석 작

업을 수반한다. 이를 위해서 각광을 받는 것이 바로 오픈

소스 통계언어인 R이다. R을 이용하여 통계 처리를 수행

하고 Data Mining을 통한 패턴 분석을 통해 숨겨진 정

보/지식 탐색이 가능하게 된다.

이런 단계를 통해 분석된 개개의 정보는 비즈니스적으로

중요한 의미를 가지게 된다. 따라서 분석 정보는 기존의

분석 시스템인 DW로 저장하여 기존 정보들과 상호 연

관분석을 수행하여 그 효율성을 높이도록 한다.

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryB

ig Data

의 정

의와

오라

클의

지원

전략

031Spring 2012

<그림 6> R 통계 언어

<그림 4> Big Data 관리의 의미

<그림 5> Hadoop의 구조

제공된 분석 정보에 기반하여 효율적인 의사결정을 수행하여

비즈니스의 가치를 높이는 것

숨겨진 정보(의미, 연관성)를 찾아내어 이를

빠르게

기존 프로세스에 피드백으로 제공하고

이전보다 확장된 대량의 데이타 집합에 접근하여 저장/관리하고

Job Tracker

Task Tracker

Data Node

Task Tracker

Data Node

Task Tracker

Data Node

Name node SPOF

Hadoop System Architecture

Namespace Metadata & Log

getLocationsgetFilelnfo

Node Process Heart Beat Data Read/Write

createaddBlock

blockReceivedread copy write

write write

replicate

Namespace State

Block Map

Namenode

b1 b3

b2

b2 b4

b3

b1 b3

b5

b3 b2

b5 b3

b2

b5

Client Client

오라클의 Big Data 지원 전략 및 솔루션

오라클은 이러한 Big Data 관리를 지원하기 위하여 다양

한 솔루션을 제공하고 있다. 오라클의 Big Data 관련 기

본적인 솔루션 전략은 Big Data를 쉽게 관리할 수 있는

통합된 솔루션 아키텍쳐를 제공하고, 이를 기존의 DB

Architecture와 유연하게 통합시킬 수 있도록 지원하는

것이다. 이를 위해 다음과 같은 제품들을 제공하고 있다 :

● Big Data 처리를 위한 새로운 통합된 솔루션 제공

- è Big Data Appliance● 중요한 비즈니스 데이터 처리에 대한 Extreme

Performance와

- Maximum Availability 제공 è Exadata

● DB 데이터와 Big Data의 유연한 연결성 제공

- è Big Data Connectors● DB 내에서의 종합 분석 지원 è Advanced Analytics ●메모리 기반으로 생각의 속도의 실시간 분석 제공 è

Exalytics

즉, 오라클은 H/W와 S/W가 결합된 Big Data Appliance를 통해 Big Data를 한 곳에서 쉽게 처리할 수 있도록 지

원하고 또한 빠른 설치와 쉬운 운영 관리 기능을 제공한

다. 그리고, 이를 기존의 Oracle DB 또는 Exadata와 쉽

게 연결/통합하게 함으로써 새로운 Big Data와 기존의

DB Data를 모두 포함하는 전사 데이터 관리 아키텍쳐

를 쉽게 구현할 수 있도록 지원한다. 그리고 단일 벤더의

유지보수 지원을 통해 효율성과 안전성을 제공한다.

맺음말

우리는 Big Data 활용을 논하기 위해 먼저 Big Data와 Business Data를 명확히 구분할 수 있어야 한다.

Business Data는 개개의 데이터 모두가 비지니스적으로

소중한 데이터이며, 이런 데이터들은 아무리 크기가 커

도 DBMS에서 저장해서 ACID 특성을 지원받아야만

한다. 반면 Big Data는 개개의 데이터가 비즈니스적으

로 중요하지는 않지만 대량으로 모으면 그 안에서 의사

결정에 도움이 될 수 있는 어떤 분석 정보를 얻을 수 있는

데이터를 말한다. 하나하나가 중요하지는 않기 때문에

DBMS에 저장하지는 않지만 대량으로 모아 분석해야

만 하므로 Hadoop과 같은 분산화일 처리 시스템에 저장

하고 R과 같은 통계 언어를 이용하여 분석한다.

오라클은 이러한 Big Data 관리를 지원하기 위하여 Big

Data 처리를 위한 새로운 통합된 솔루션으로서 Big

Data Appliance를, 중요한 비즈니스 데이터 처리에 대한

Extreme Performance와 Maximum Availability를 제공

하기 위해 Exadata를, DB 데이터와 Big Data의 유연한

연결성을 제공하기 위해 Big Data Connectors를, DB 내

에서의 종합 분석 지원을 위해 Advanced Analytics를, 그

리고 생각의 속도의 실시간 분석 제공을 위해 Exalytics를 통합 솔루션으로 제공한다.

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryB

ig Data

의 정

의와

오라

클의

지원

전략

032Spring 2012

<그림 7> Big Data의 처리 단계 및 관련 솔루션

<그림 8> Big Data를 지원하는 오라클의 Engineered Systems

Oracle Big Data Appliance

(New)

Stream Acquire Organize Analyze & Visualize

Oracle Exadata(2008~)

Oracle Exalytics

(New)

InfiniBand InfiniBand

DATABASE DATABASE

DistributedFile

Systems

Acquire Organize

ETL

ETL

Analyze

Data

MapReduceSolutions

Transaction (Key-Value)

Stores

Data Type

NoSQL

SQL

Unstructured

Big Data

주요 비즈니스 데이타 종합 분석 데이타

Schema-less

Schema

지구를 살리고, 귀사의 테라데이터를 폐기하십시오

보다 많은 정보는 oracle.com/savetheplanet 을 방문하십니오

아시아지역 테라데이터 최대 고객사 사례

36개의 테라데이터랙 3개의 엑사데이터랙

10배 에너지 사용 8배 빠른 속도

엑사데이타로테라데이터를교체하십시오

PRODUCTION NOTES

Fonts: Univers LT Std. 75 Black, 65 Bold, 55 Roman, 45 Light, 67 Bold Condensed, 57 Condensed, DFKGothic-Bd Regular

PUB NOTE: Please use center marks to align page.

Please examine these publication materials carefully. Any questions regarding the materials, please contact Darci Terlizzi (650) 506-9775

READER

01LASER% RELEASED

9/082011

Print Ad Resize

205 x 275mmOracle Korea Magazine

(Full Page Ad)

Job No.:Headline:

Date:Project:

Type:Live:Trim:

Bleed:

112M_EXD_SftBnkOnTeraD2_OMKRExadata Replaces Teradata09/08/2011 Korea Regional FulfillmentMagazine201mm x 271mm205mm x 275mm211mm x 281mm