Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
Tags
- coroutines
- apache flink
- Hadoop
- java
- Perfect Watermarks
- Heuristic Watermarks
- Heuristic Watermark
- 공변
- flink watermarks
- event time
- flink
- MapReduce
- watermark
- Generics
- 불공변
- covariant
- Stream
- processing time
- lambda
- ingestion time
- Coroutine
- watermarks
- Generic
- 가변성
- kotlin
- flink watermark
- contravariant
- HDFS
- Perfect Watermark
Archives
- Today
- Total
목록MapReduce (1)
mm Home
HADOOP
하둡이란? 분산처리를 위한 프레임워크 시스템. (2.x 기반 설명..) 주요 모듈 HDFS MapReduce YARN HDFS (Hadoop Distributed FileSystem) hadoop의 분산 파일시스템. 파일 시스템이라 하면, 데이터를 어디에 어떻게 저장할 것이고 어떻게 관리할 것인지에 대한 시스템. OS의 파일시스템 레이어와 다르다. 실제로 남기는 데이터는 OS의 파일시스템을 사용. 주요 특징. 처리 가능한 데이터 사이즈 커짐 (Petabytes) 이미 존재한 파일에 append는 가능하지만 수정이 불가능하다. (Write once, Read many times) 파일 이동, 삭제, 복사 등의 기능 있음. block 파일시스템의 블록. 블록 사이즈 : 128MB (default) 실제 OS..
개발/Big Data
2019. 8. 12. 16:33