mm Home

Watermarks 이전 장 에서 설명했는데 Event Time 기준으로 스트림 처리를 할 때의 단점을 보완하기 위해 Watermarks 메커니즘을 사용한다고 했다. 가령 로그를 1시간 단위로 집계를 내려고 하는데, 09:59 에 발생한 이벤트가 10:01분에 스트림 서버에서 처리되어 09:00 ~ 10:00 시간대로 처리가 되지 않는 경우가 생기기 때문이다. 그럼 Watermarks가 어떤 것인지 살펴보자. Watermarks 란 Watermarks 는 단순히 Event Time의 타임스탬프를 기록해둔 마커이다. 특정 오퍼레이터의 윈도우 사이즈마다 Watermarks 에 timestamp가 마킹되어 있어서, 이 기록보다 느린 이벤트가 인입된다면 해당 이벤트를 Lateness로 간주하겠다는 것이다. 여기..

Flink 스트리밍 환경에서 세 가지의 특정 타임을 캡처할 수 있다. Event Time 이벤트가 디바이스에서 생성된 시간을 의미한다. 예를들어 모바일에서 로그인이 발생했을때 모바일 기기에서 발생된 시간이다. Processing Time 이벤트가 실제 Flink 서버에서 수행된 시간이다. 예를 들어 Window Time 을 매 1시간마다 스트림 처리중인 작업이 있다면, 같은 프로세싱 타임에 처리된 레코드들은 프로세싱 타임이 같다. 1시간마다 작업중인 스트리밍 처리에 100건의 레코드가 10:05 에 수행되었다면, 프로세싱 타임 10:05 에 100건의 레코드들이 수행된 것. (100건의 레코드들은 같은 프로세싱 타임에 수행된 것이다.) Ingestion Time 이벤트가 플링크에 인입되는 시간이다. 인입..

하둡이란? 분산처리를 위한 프레임워크 시스템. (2.x 기반 설명..) 주요 모듈 HDFS MapReduce YARN HDFS (Hadoop Distributed FileSystem) hadoop의 분산 파일시스템. 파일 시스템이라 하면, 데이터를 어디에 어떻게 저장할 것이고 어떻게 관리할 것인지에 대한 시스템. OS의 파일시스템 레이어와 다르다. 실제로 남기는 데이터는 OS의 파일시스템을 사용. 주요 특징. 처리 가능한 데이터 사이즈 커짐 (Petabytes) 이미 존재한 파일에 append는 가능하지만 수정이 불가능하다. (Write once, Read many times) 파일 이동, 삭제, 복사 등의 기능 있음. block 파일시스템의 블록. 블록 사이즈 : 128MB (default) 실제 OS..