더그 커팅 2006 · 구글 논문을 오픈소스로

하둡 코어 = HDFS + MapReduce + YARN

하둡

APACHE HADOOP

한 줄 정의

대용량 데이터를 분산 저장 + 분산 처리하는 자바 기반 오픈소스 프레임워크. 구글 GFS + MapReduce 논문을 오픈소스로 구현.

저장

HDFS

데이터를 블록으로 쪼개 여러 서버에 분산 저장

처리

MapReduce

쪼갠 데이터를 여러 서버에서 병렬 처리

자원

YARN (2.0)

서버 자원을 작업에 효율 배분

⚠️ 코어 함정 4종

Hive(페북·SQL on Hadoop) · HBase(컬럼 NoSQL) · Neo4j(그래프 NoSQL) — 코어 ❌, 에코시스템/NoSQL. YARN은 2.0부터(1.0은 MR이 자원 관리 겸함).