일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- HDFS
- 불공변
- processing time
- contravariant
- coroutines
- ingestion time
- flink watermarks
- Hadoop
- 가변성
- apache flink
- event time
- 공변
- flink watermark
- kotlin
- Stream
- MapReduce
- Heuristic Watermark
- Coroutine
- java
- watermark
- flink
- Generic
- Perfect Watermarks
- Generics
- lambda
- watermarks
- Heuristic Watermarks
- covariant
- Perfect Watermark
- Today
- Total
mm Home
Watermarks 이전 장 에서 설명했는데 Event Time 기준으로 스트림 처리를 할 때의 단점을 보완하기 위해 Watermarks 메커니즘을 사용한다고 했다. 가령 로그를 1시간 단위로 집계를 내려고 하는데, 09:59 에 발생한 이벤트가 10:01분에 스트림 서버에서 처리되어 09:00 ~ 10:00 시간대로 처리가 되지 않는 경우가 생기기 때문이다. 그럼 Watermarks가 어떤 것인지 살펴보자. Watermarks 란 Watermarks 는 단순히 Event Time의 타임스탬프를 기록해둔 마커이다. 특정 오퍼레이터의 윈도우 사이즈마다 Watermarks 에 timestamp가 마킹되어 있어서, 이 기록보다 느린 이벤트가 인입된다면 해당 이벤트를 Lateness로 간주하겠다는 것이다. 여기..
Flink 스트리밍 환경에서 세 가지의 특정 타임을 캡처할 수 있다. Event Time 이벤트가 디바이스에서 생성된 시간을 의미한다. 예를들어 모바일에서 로그인이 발생했을때 모바일 기기에서 발생된 시간이다. Processing Time 이벤트가 실제 Flink 서버에서 수행된 시간이다. 예를 들어 Window Time 을 매 1시간마다 스트림 처리중인 작업이 있다면, 같은 프로세싱 타임에 처리된 레코드들은 프로세싱 타임이 같다. 1시간마다 작업중인 스트리밍 처리에 100건의 레코드가 10:05 에 수행되었다면, 프로세싱 타임 10:05 에 100건의 레코드들이 수행된 것. (100건의 레코드들은 같은 프로세싱 타임에 수행된 것이다.) Ingestion Time 이벤트가 플링크에 인입되는 시간이다. 인입..
Generic JDK 1.5에서 타입 안정성을 위해 generic 추가 됨. //아래와 같이 raw type을 쓰게되면 ClassCastException을 발생하기 쉬웠다 List list = new ArrayList(); list.add(1); list.add("jess"); Generic을 만들었는데, JDK 1.5 미만의 버전의 호환을 선택. 그래서… Type Erasure 하위 호환을 위해 Type Parameter 정보를 지운다. JDK 1.5 미만에서 컴파일이 되어도 Generic을 사용했을때와 동일하게 하기 위함이다. List list = new ArrayList(); //위의 코드는 Type Erasure에 의해 실제 Runtime 시에 아래와 같다. List list = new Array..