🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

RDD(Resilient Distributed Dataset) ? 인메모리 기반 데이터 처리 방식을 하기 위한 데이터 모델 최초에 Disk에서 데이터를 읽어온 뒤, 데이터에 대한 여러 번의 메모리에서 연산(operation)을 수행하도록 연산 함수 제공 RDD 특성 In-memory Computation RDD에서 제공하는 operation은 연산의 중간 결과를 디스크에 저장하지 않고, 메모리상에 상주시킴 Transformations : RDD에서 다른 RDD를 만드는 변형 연산 Actions : RDD의 최종 연산으로 RDD에서 RDD가 아닌 data로 저장 Immutable RDD는 한 번 만들어지면 내용 변형이 허용되지 않음 Lineage RDD의 transformation으로 발생하는 모든 RDD..

Spark ? UC Berkely AMPLab에서 개발한 오픈소스 프로젝트 Disk 기반의 Hadoop 처리 방식을 개선하여 처리 속도를 높임 인메모리 기반의 대용량 데이터를 분산 처리할 수 있는 대용량 고속 처리 엔진 RDD 방식의 인메모리형 자료 구조 제공 배치 처리 및 실시간 처리 모두 지원 SQL 방식의 정형 데이터뿐 아니라 비정형 데이터 처리 모두 지원 Spark 설계 철학 고속처리 Hadoop에서의 디스크 I/O로 발생할 수 있는 성능 지연의 문제점을 개선해 처리 속도를 대폭 높임 통합 데이터 처리 엔진 SQL 데이터, 스트림, 머신러닝, 그래프 등의 데이터를 하나의 통합된 프레임워크에서 처리할 수 있도록 설계 기존 복잡한 프레임워크 연동 문제 개선 결함 허용성 메모리 기반의 데이터 처리를 수..

MapReduce ? Hadoop 시스템에서 분산 처리 수행하기 위한 프로그래밍 모델 Map, Reduce의 2개의 phase로 구성 key, value 형태의 자료구조를 기반으로 데이터를 처리하는 메커니즘 Map 단계에서 데이터를 key, value 쌍으로 변환 Reduce 단계에서 key, value로 변환된 데이터를 집계하고 최종 데이터를 결정 MapReduce 동작 순서 Input : 원본 데이터를 준비하는 단계 Split : 원본 데이터를 HDFS로 변환하는 단계 Map : 데이터를 key, value 기반으로 연산하는 단계 Shuffle : key를 기반으로 임의로 흩어졌던 데이터를 hashing하는 단계 Reduce : Map에서 연산된 결과를 key를 기반으로 연산하는 단계 Merge : ..

Hadoop ? 대용량 데이터를 분산 처리할 수 있는 JAVA 기반의 오픈소스 프레임워크 분산파일(HDFS)와 분산 처리 프로그래밍 모델(MapReduce)을 제공 데이터를 미리 HDFS 형태로 잘게 쪼개어 저장시켜 놓은 뒤, MapReduce를 이용해 분산 처리 Hadoop을 이용하면 다수의 컴퓨팅 노드를 마치 하나의 컴퓨터에서 사용하는 것처럼 분산시스템을 사용 가능 배치 처리에 최적화되어 설계됨 Hadoop 의 설계 철학 Fault tolerance (결함 허용성) 시스템 수행 중 결함이 발생하더라도, 결함을 극복하고 계속적으로 데이터를 처리할 수 있도록 설계 데이터를 여러 곳에 복제해놓아 특정 노드에 손상이 발생하더라도 작업을 계속적으로 이어나갈 수 있음 Scalability (확장성) 노드를 확장..

HDFS (Hadoop File System) GFS를 모델로 설계 물리적 시스템의 실패를 소프트웨어 레벨에서 해결하여, 시스템의 가용성을 높이는 분산 파일 시스템 HDFS의 특징 컴퓨터 네트워크를 사용해 다수의 노드에 걸쳐 많은 양의 데이터를 저장 데이터의 장애 허용을 위해 중복 허용 기본적으로 데이터를 3개 복제해 복사본을 둠 3개의 블록은 서로 다른 노드에 복제 페타바이트 이상의 대용량 데이터 세트를 다룰 수 있음 -> 수평적 확장 구조로 설계 데이터를 기본 128MB의 블록으로 나눔 HDFS의 아키텍쳐 네임노드 (파일 시스템 관리) 파일 시스템에 속하는 파일 계층 구조나, 각 파일의 블록 위치를 메타데이터로 유지 데이터 파일에 대한 사용자 접속 관리 블록 데이터를 클러스터의 데이터노드에 맵핑 데이..

분산 파일 시스템 : 네트워크를 통해 공유하는 여러 호스트 컴퓨터의 파일에 접근할 수 있게하는 파일 시스템 대용량의 데이터가 물리적으로 한 곳에 저장되는 것이 아니라, 여러 시스템에 나누어져 분산 저장됨 데이터는 일반적으로 용량 단위로 일정하게 나누어짐 저장해야하는 데이터의 양이 많아져도 저장 장치를 수평적으로 확장하여 저장 능력을 키워나갈 수 있음 분산 파일 시스템의 특징 Scalability : 저장 공간을 확장할 수 있음 Fault tolerance : 시스템의 고장을 허용할 수 있어야 함 Data consistency : 시간이 지나도 데이터의 일관성이 유지되어야함 1. GFS(Google File System) 구글에 의해 자기 회사 사용 목적으로 개발된 분산 파일 시스템 일반 사용 하드웨어를 ..

01. 분산시스템 기본구조 - 어플리케이션이 네트워크로 연결된 여러 노드에서 수행 - 컴퓨팅 자원 관리자와 실제 데이터를 처리하는 워커 노드로 존재 - RPC(Remote Procedure Call) 을 통한 노드 간 통ㅇ신 - Server/Client간 원격 함수 호출 02. 리눅스 운영체제 - 다중 사용자, 다중 프로세스 : 여러 사용자가 동시에 사용 가능 - 쉘 명령 기반 동작 - 우수한 네트워킹 : 리눅스에서부터 네트워킹 시작 / FTP, Telnet, WWW 등 가상화 기술 - 애플리케이션, 서버, 스토리지 및 네트워크 등의 컴퓨팅 기술을 추상화하여 요청한 만큼의 리소스를 서비스 형태로 제공해주는 기술 자원 가상화 운영 체제 가상화 03. 자원 가상화 - 데이터 스토리지, 연산 장치, 네트워크 ..

상황 프로젝트 생성 후, 소스트리에 Add하여 연결하려던 상황에 오류 발생 에러 메세지 This is not a valid working copy path. (적합한 작업중인 복사본 경로가 아닙니다.) 원인 Git 저장소가 아닌 디렉토리를 Sourcetree에 추가하려고 하기 때문에 오류 메시지가 표시된다. 로컬 저장소를 추가하려면 먼저 Git init 명령을 사용하여 Git 저장소로 시작해야한다. 해결 방법 참조 https://community.atlassian.com/t5/Sourcetree-questions/This-is-not-a-valid-working-copy-path/qaq-p/1078186

위치기반 서비스(LBS; Location Based Service) 인공위성을 이용해 사용자의 현재 위치를 파악하는 GPS 데이터베이스를 활용해 주변 위치와 상세한 부가 정보를 알아내는 GIS(Geographical Information System; 지리정보시스템) 사용자의 위치를 파악하고 부가서비스를 제공하는 서비스 위치기반 서비스 플랫폼 단말기: 휴대폰이나 PDA등을 의미, 사용자의 위치 정보를 이동통신망에 전달하는 역할 위치측정 게이트웨이 : 사용자의 위치정보를 서비스 제공업자에게 전달하는 인터페이스 역할을 하는 시스템 응용 서버: 위치기반 서비스를 제공할 수 있도록 DB를 이용하여 다양한 정보 저장, 제공하는 기능 수행 텔레매틱스 서비스 통신(Telecommunication)과 정보공학(Info..

커서 (Cursor) 레코드 각각에 대한 개별적인 처리가 가능한 결과 집합의 확장 *명시적 커서(Explicit Cursor) 사용자가 직접 쿼리의 결과에 접근해서 이를 사용하기 위해 명시적으로 선언 일반적으로 커서라고하면 명시적 커서를 말함 처리순서 DECLARE(커서 선언) : 커서에 이름을 주고, 커서가 접근하려는 쿼리 정의 OPEN(커서 열기) : 커서로 정의된 쿼리를 실행 FETCH(패치) : 쿼리의 결과에 접근 CLOSE(커서닫기) : 커서를 닫고 자원을 반환 * 묵시적 커서(Implicit Cursor) 오라클 내부에서 각각의 쿼리 결과에 접근하여 사용하기 위한 내부적인 커서 SQL 커서 : 항상 최근에 실행된 SQL 문장에 대한 커서 'SQL'이라는 이름으로 속성에 접근할 수 있음 DML(..