[BigData] HDFS (Hadoop File System)

HDFS (Hadoop File System) 

GFS를 모델로 설계
물리적 시스템의 실패를 소프트웨어 레벨에서 해결하여, 시스템의 가용성을 높이는 분산 파일 시스템

 

 

HDFS의 특징

• 컴퓨터 네트워크를 사용해 다수의 노드에 걸쳐 많은 양의 데이터를 저장
• 데이터의 장애 허용을 위해 중복 허용
  • 기본적으로 데이터를 3개 복제해 복사본을 둠
  • 3개의 블록은 서로 다른 노드에 복제
• 페타바이트 이상의 대용량 데이터 세트를 다룰 수 있음 -> 수평적 확장 구조로 설계
• 데이터를 기본 128MB의 블록으로 나눔

 

HDFS의 아키텍쳐

• 네임노드 (파일 시스템 관리)
  • 파일 시스템에 속하는 파일 계층 구조나, 각 파일의 블록 위치를 메타데이터로 유지
  • 데이터 파일에 대한 사용자 접속 관리
  • 블록 데이터를 클러스터의 데이터노드에 맵핑
  • 데이터노드에 대한 생존 여부 확인
• 데이터노드(데이터 블록 저장)
  • 데이터노드에 있는 데이터에 대한 읽기/쓰기 제공
  • 데이터 블록을 생성 및 삭제
  • 클러스터에 걸쳐 데이터 복제
  • 주기적으로 생존 정보를 네임노드로 전송

 

HDFS의 동작방식

1. 하나의 큰 파일을 작은 청크로 만들어 분산 처리가 가능하게 하는 방법

   : 큰 데이터를 일정 크기의 블록(일반적으로 128MB)으로 나누어 데이터노드에 분산하여 저장

 

2.WORM(write-once-read-many)

• HDFS는 WORM 액세스 모델을 사용
• 파일을 작성하면 내용 수정 불가 (ex. 파일이동, 파일삭제, 파일 이름 변경)

 

3. 네임노드 오퍼레이션

 

• HDFS의 메타데이터를 메모리에 저장해 정보를 빠르게 제공
• 메타데이터는 fsimage라는 파일로 디스크에도 저장됨
  • HDFS에 있는 모든 파일 이름
  • HDFS 디렉토리 구조
  • HDFS에 있는 모든 파일의 퍼미션 정보
• 파일 생성이나 파일 삭제가 일어나면 메타데이터가 변경되어야하고, 이것은 fsimage에 특정 시간마다 기록됨

 

4. HDFS 파일 쓰기/ 읽기 동작

 

5. HDFS 파일 쓰기 동작

1. 클라이언트는 파일을 쓰기위해 네임노드에 접속
2. 네임노드는 클라이언트에 데이터노드의 위치를 전송
3. 클라이언트는 HDFS에 쓸 파일을 블록들로 나눔
4. 클라이언트는 네임노드에게 받은 데이터노드에 파일 쓰기
5. 데이터노드는 설정된 복제본 수 만큼 다른 데이터노드에도 데이터 전달
6. 모든 데이터노드에 복제본이 기록되면, 클라이언트의 모든 노드에 데이터 블록이 성공적으로 쓰기되었다는 것 알림
7. 클라이언트는 다음 블록을 쓰고, 쓰기가 완료되면 네임노드에 완료 알림

 

5. HDFS 파일 읽기 동작

1. 클라이언트는 파일 읽기를 위해 네임노드에 접속
2. 네임노드는 클라이언트에 해당 데이터가 있는 데이터노드의 위치 목록을 전달
3. 이때 데이터노드는 네트워크 위상에 따라 클라이언트와 가까운 순으로 정렬됨
4. 클라이언트는 네트워크 상 거리가 가까운 데이터노드에 접근해 데이터를 읽음
5. 클라이언트가 블록을 읽기 시작하면 네임노드는 다음 데이터 블록들의 위치들을 클라이언트에 전달

 

HDFS의 고가용성

1. 네임노드와 데이터노드 간의 통신
   • 초기통신
     • 데이터노드가 시작되면 데이터노드는 네임노드에 등록해 네임노드에게 HDFS 읽기/쓰기 오퍼레이션을 데이터노드에서 할 준비가 된 것을 알림
   • 정기적인 데이터노드의 생존여부 알림(Heartbeat)
     • 모든 데이터 노드는 주기적으로(기본 3초마다) 데이터노드의 사용 정보를 포함하는  heartbeat를 네임노드에 보냄
     • 네임노드가 오랜 시간 동안 heartbeat를 받지 못하면 데이터노드가 죽은 것으로 판단함
2. Rack-awareness : 데이터 지역성을 고려해 데이터의 복사본(replica)을 분산시키는 방법
   • 랙(rack)의 위치를 기반으로 데이터 복사본을 분산
   • 보통 fault는 같은 스위치를 사용하는 동일 랙에서 발생할 확률이 높은 것을 고려

 

 

HDFS 주요 명령어

hdfs dfs - 커맨드 명령어

• ls : 디렉토리 파일 조회
• mkdir : 디렉토리 생성
• rm : 파일 삭제
• rmdir : 디렉토리 삭제
• copyFromLocal(put) : 로컬 파일을 HDFS로 이동
• copyToLocal(get) :  HDFS의 파일을 로컬로 이동