Text and Keyword 타입 Text 타입 전문(full text) 형식과 같은 문자열 (ex. Mail) 을 색인 할 때는 필드에 text 타입을 적용한다. 해당 타입으로 설정된 필드는 기본적으로 analyzed 속성이며, 'Analyzer'를 통해서 문자열이 각각 분리된 토큰으로 인덱스에 색인 된다. 따라서 메일 본문과 같이 큰 문자열 덩어리를 가지고 있는 document를 그 본문안의 각각 단어로 검색 할 수 있게 해 준다. (이른바 'Full Text Search'..) 다만 해당 필드를 'sorting' 작업에 사용할 경우, 메모리 점유와 성능 문제를 가져온다. 때문에 sorting 작업엔 거의 사용하지 않지만, 일반적으로 'aggregation' 작업에는 성능에 유의 하면서 사용을 하는..
Table of Contents Opening Data loading manually and from CSV files to Pandas DataFrame Loading, editing, and viewing data from Pandas DataFrame Renaming colmnns, exporting and saving Pandas DataFrames Summarising, grouping, and aggregating data in Pandas Merge and join DataFrames with Pandas Basic Plotting Pandas DataFrames Opening¶CSV (쉼표로 구분 된 값) 파일은 일반적인 데이터 파일 형식입니다. Python을 사용하여 CSV 파일에서 날짜..
Scaling down an Elasticsearch cluster Elasticsearch is a NoSQL database optimized for searching. cluster는 node들이 동일한 cluster.name을 공유하면서 만들어진다. 데이터는 자동으로 분산처리된다. cluster에서 node를 제거하는 것은 더욱더 도전적이다. 첫째, cluster status를 green인것을 확인해라. cluster에서 node를 제거하는 것은, cluster가 rebalance와 분산처리 (status yellow) 할때까지 기다려야 한다. 그리고, 이작업을 3개의 node가 남을 때까지 반복해야 한다. curl -XPUT 'localhost:9200/_cluster/settings&#..
Contents Of Tables Stateless Transformation Stateful Transformation Windowing Window Final Results Confluent Streams API 가이드: https://docs.confluent.io/current/streams/developer-guide/dsl-api.html Stateless Transformation 아래 Java코드를 보자. 아래 코드는 String을 consuming해서, 각 단어가 몇번 나왔는지 counting하는 코드이다. final Serde stringSerde = Serdes.String(); final Serde longSerde = Serdes.Long(); KStream textLines = ..
참고 사이트 filebeat kafka cluster 3개 node중에 1개를 stop시켰는데, filebeat가 produce를 못한다. leaderless란다. 2019-01-04T20:31:18.060+0900 INFO kafka/log.go:53 Connected to broker at KAFKA-01:9092 (unregistered) 2019-01-04T20:31:18.067+0900 INFO kafka/log.go:53 client/brokers registered new broker #1 at KAFKA-01:9092 2019-01-04T20:31:18.067+0900 INFO kafka/log.go:53 kafka message: client/metadata found some parti..
Topic 삭제 (Kafka) Topic Delete kafka-topics 명령어를 이용하는 방법 Kafka에서 Topic을 삭제가 필요할때가 있다. 어떻게 하는 것일까? 카프카에서 공식적으로 추천하는 방법은 커맨드를 사용하는 방법이다. 먼저 kafka server.properties파일에 설정이 필요하다. 이 설정을 안하면 삭제가 no impact란다. # etc/kafka/server.properties파일 delete.topic.enable = true 그리고, kafka-topics으로 삭제를 해주면 된다. 그리고, 다시 topic create를 해서 성공적으로 만들어 지면, 정상이다. 그러나, 세상일이 정상적으로 되는것만은 아니다 ㅠㅜ $ kafka-topics --delete --zoo..