Bada-Big Data Platform

조선해양 빅데이터 플랫폼

Big Data Platform for Ship and Shipbuilding Industry

조선해양 빅데이터 플랫폼 (Bada-Big Data Platform) 은 조선해양 환경에 특화된 디바이스 IoT 인프라 연동, 빅데이터 전처리,
수집/저장 및 분석을 위한 플랫폼입니다. 선박, 야드 등의 센서, 기기, 장치들에서 발생하는 정보와 기존 보유 데이터와 융합하여
실시간으로 데이터를 분석하여 제공합니다.
조선해양 분야의 다양한 응용 서비스 개발을 위한 빅데이터 수집 · 분석 · 관리에
최적화된 통합 빅데이터 분석 플랫폼
데이터 수집 및
프로세싱

IoT 플랫폼 연동 데이터 수집

다양한 DB의 데이터의
고속 추출, 변환, 적재 기능

데이터 분석
및 시각화

통계 및 마이닝 기법을 적용한 분석

다양한 분석 모델 탑재 및 탑재된 모델을
조합한 새로운 분석 모델 개발

조선해양 분야에 특화된 모델 탑재

다양한 분석 결과의 시각화 표현 기능

데이터 거버넌스

빅데이터 환경에서 자산으로서의
데이터 관리를 위한 기준 관리

데이터 보안

데이터 변환 및 개인정보 보호

빅데이터 플랫폼 구조도

Architecture of IoT Platform

조선해양 빅데이터 플랫폼은 정형/비정형 데이터 등 다양한 데이터의 처리 및 GUI를 통한 편리한 개발 환경 및 운영 환경을 통하여 구축 비용을 절감하여
안정적인 빅데이터 환경을 제공합니다. 오픈소스 하둡 기반 분산 처리 프레임워크로 GUI를 통한 Map Reduce 작업 및 빅데이터 모니터링, 사용자 관리와
실시간 처리 기능을 제공합니다.

빅데이터 플랫폼 주요 특징

Key Features of Big data Platform

  • 01 분산 메모리 기반 실시간 데이터
    통합 아키텍쳐 구현

    빅데이터 처리를 위한 운영 인프라의 복잡성을 최소화하고,
    다양한 데이터를 쉽고 빠르게 수집하는 동시에 데이터 인덱싱
    처리를 통해 메모리 분산 저장 장치에 저장하는 기술을 적용하여
    고성능/고효율의 초기 도입 부담을 최소화한 데이터 통합
    아키텍처를 구현합니다.

02 통합 데이터 거버넌스 체계 확립

수집된 데이터(실시간/배치, 정형/비정형, 다양한 데이터 타입 등)는 거버넌스
체계를 통하여 불필요한 중복 및 손실을 예방하고, 데이터의 품질을 개선하여
양질의 데이터를 확보할 수 있으며, 분석 플랫폼과는 병렬처리 방식으로
병목구간 없이 대용량 데이터의 실시간 고급 분석을 구현합니다.

  • 03 통합 GUI 기반 쉬운 사용과
    운영 환경 제공

    데이터 수집 및 분석, 거버넌스 체계 등에 사용자
    친화적인 워크플로우 기능 제공, GUI를 통한 편리한
    분석 스케줄 관리/분산처리 프로그램 개발/빅데이터
    분석 인프라의 통합 운영 및 모니터링 기능 제공 등
    개발/운영담당자에게 높은 생산성과 운영 효율성을
    제공합니다.

  • 04 분석 데이터 증가에 따른
    확장 용이성 제공

    수집/가공된 데이터는 메모리 클러스터와 HDFS에
    저장되는 과정을 통하여 Master-Slave 구조의
    클러스터로 구성되기 때문에 높은 성능 제공과 동시에
    Scale-Out 및 우수한 fault tolerance를 실현합니다.

조선해양 빅데이터 플랫폼 주요 기능

Key Functions of Big data Platform

  • Data Governance
  • 데이터 수집
  • Data Processing
  • Analysis/Visualization
  • Data Federation
  • Big-Data Platform Mgt
Data Governance
데이터 탐색 및 검색 ㆍ검색창 검색 ㆍ업무 디렉토리 검색 ㆍ시스템 디렉토리 검색 ㆍ반정형/비정형 검색 메타 데이터 데이터 품질 ㆍ정형 데이터 품질 측정(Profiling) ㆍ비정형 데이터 품질 지표관리 Data Map / Linage 프라이버시
데이터 수집
SNS 데이터 수집 Log 데이터 수집 Machine Sensor 데이터 LOD/ Semantic 데이터
Data Processing
Pre Processing 비 식별화 처리 Real time 이벤트 처리 기계 학습 빅데이터 처리 및 저장 ㆍHDFS ㆍNo SQL(HBase) ㆍSQL on Hadoop(Hive)
Analysis / Visualization
분석도구관리 및 시각화 ㆍR 정형분석관리 반정형/비정형 분석
Data Federation
Data discovery & Searc h
Big-Data Platform Mgt
사용자 그룹 / 권한관리 하둡 노드설정 자원 모니터링 하둡 에코시스템 관리 하둡 Lineage 하둡 보안 관리

조선해양 빅데이터 플랫폼 분석 절차

Analysis Procedure of Big data Platform

빅데이터 수집 및 전처리
  • 데이터 수집 설정

  • 데이터 수집 상태 모니터링

  • 데이터 특성 조회
    전처리 계획 수립

  • 전처리 작업 개발

  • 전처리 Workflow
    디자인/실행

빅데이터 분석
  • 분석 대상 검색
    (Data Discovery)

  • 데이터 분석 모델 개발
    (모델이 제공되지 않을 경우)

  • 시각화를 통한 분석 결과 검증

  • 분석 모델의 조합을 통한
    분석 Workflow 디자인

  • 분석 결과의 서비스
    화면 디자인