목록Perfect Watermark (1)

mm Home

Flink - Watermarks

Watermarks 이전 장 에서 설명했는데 Event Time 기준으로 스트림 처리를 할 때의 단점을 보완하기 위해 Watermarks 메커니즘을 사용한다고 했다. 가령 로그를 1시간 단위로 집계를 내려고 하는데, 09:59 에 발생한 이벤트가 10:01분에 스트림 서버에서 처리되어 09:00 ~ 10:00 시간대로 처리가 되지 않는 경우가 생기기 때문이다. 그럼 Watermarks가 어떤 것인지 살펴보자. Watermarks 란 Watermarks 는 단순히 Event Time의 타임스탬프를 기록해둔 마커이다. 특정 오퍼레이터의 윈도우 사이즈마다 Watermarks 에 timestamp가 마킹되어 있어서, 이 기록보다 느린 이벤트가 인입된다면 해당 이벤트를 Lateness로 간주하겠다는 것이다. 여기..
개발/Big Data 2019. 12. 11. 23:01
Prev 1 Next