[BigData] 분산시스템과 리눅스, 가상화 기술

01. 분산시스템 기본구조

- 어플리케이션이 네트워크로 연결된 여러 노드에서 수행

- 컴퓨팅 자원 관리자와 실제 데이터를 처리하는 워커 노드로 존재

- RPC(Remote Procedure Call) 을 통한 노드 간 통ㅇ신

- Server/Client간 원격 함수 호출

 

02. 리눅스 운영체제

- 다중 사용자, 다중 프로세스 : 여러 사용자가 동시에 사용 가능

- 쉘 명령 기반 동작

- 우수한 네트워킹 : 리눅스에서부터 네트워킹 시작 / FTP, Telnet, WWW 등

---

가상화 기술

- 애플리케이션, 서버, 스토리지 및 네트워크 등의 컴퓨팅 기술을 추상화하여 요청한 만큼의 리소스를 서비스 형태로 제공해주는 기술

• 자원 가상화
• 운영 체제 가상화

 

03. 자원 가상화

- 데이터 스토리지, 연산 장치, 네트워크 등의 컴퓨팅 리소스 자원을 가상화하여 사용자가 필요한 만큼 제공해주는 기술

- Private Cloud, Public Cloud, Hybrid Cloud 형태가 있음

 

클라우드 컴퓨팅 기술 요소

     - IaaS(infrastructure-as-a-service) : 컴퓨팅 리소스를 네트워크를 통해 서비스로 제공 

     - PaaS(platform-as-a-service) : 애플리케이션 실행 환경 및 개발 환경(Platform)을 서비스로 제공

     - SaaS(software-as-a-service) : 소프트웨어를 서비스로 제공

 

자원 가상화와 분산 시스템의 관계

- 빅데이터로 유효한 결과를 얻으려면 충분히 많은 데이터를 확보한 후 분석해야함

- 폭발적으로 증가하는 데이터를 처리하는 시스템을 구축, 운영하는 것은 상당히 많은 관리 포인트가 발생

• 네트워크
• 연산 장치
• 메모리
• 저장 장치
• 가속기
• 소프트웨어
• 서버 관리

- 클라우드 기술은 분산시스템 구축의 많은 관리 비용을 절감할 수 있음

- 데이터 발생량에 따른 컴퓨팅 자원의 탄력적 확장이 용이함 (수직적 확장 Scale Up / 수평적 확장 Scale Out)

 

04. 운영체제 가상화

컨테이너의 구조

- 호스트 컴퓨터의 커널을 공유

- 각 애플리케이션은 격리된 수행환경에서 구동

 

운영 체제 가상화(컨테이너)와 자원 가상화(Virtual Machine)의 차이

- VM은 가상머신을 생성하기 위해 하이퍼바이저가 필요

- 컨테이너는 호스트 컴퓨터의 OS 커널을 공유하지만, VM은 Guest Os를 따로 둠

 

도커(Docker)

- Go 언어로 작성된 리눅스 컨테이너 기반 오픈소스 가상화 플랫폼

- 도커 이미지, 레지스트리, 컨테이너를 손쉽게 사용할 수 있도록 구조화되어있음

 

운영체제 가상화와 분산 시스템의 관계

- 각 분산된 노드의 환경이 달라도, 운영 체제 격리를 통해 일관된 환경에서 분산 시스템 구축 및 운영이 가능함