다비's IT

개요NATS로 publish한 메세지들이 바로 Clickhouse의 테이블에 추가될 수 있도록 NATS 엔진 설정 방법을 알아본다.1. NATS 메시징 시스템 구축1.1 NATS 설치# nats-server 설치$ curl -L https://github.com/nats-io/nats-server/releases/download/v2.10.18/nats-server-v2.10.18-linux-amd64.zip -o nats-server.zip$ unzip nats-server.zip -d nats-server$ sudo cp nats-server/nats-server-v2.10.18-linux-amd64/nats-server /usr/bin/ # nats 설치$ curl -sf https://binari..

이전 게시글앞서 PDF 문서를 Text로 변환하여 Custom analyzer 적용하여 인덱싱하였음.https://daeunnniii.tistory.com/206 Opensearch Tokenizer, Analyzer와 Custom Analyzer 적용1. Opensearch AnalyzerOpensearch에 텍스트 입력 시 필드를 인덱싱하고 Documents화 할 때 Lucene 엔진에 의해 텍스트가 분석되어 입력됨.이때 텍스트를 분석하는 엔진을 Analyzer라고 함.Lucene 에서 제공하는 Andaeunnniii.tistory.com Opensearch 유사도 검색1. More like this 쿼리More Like This (MLT) 쿼리는 입력으로 주어진 document 집합과 비슷한 doc..

1. Opensearch AnalyzerOpensearch에 텍스트 입력 시 필드를 인덱싱하고 Documents화 할 때 Lucene 엔진에 의해 텍스트가 분석되어 입력됨.이때 텍스트를 분석하는 엔진을 Analyzer라고 함.Lucene 에서 제공하는 Analyzer는 하나의 Tokenizer와 다수의 Filter로 구성1.1 Filter의 종류CharFilter와 TokenFilter 2가지가 존재CharFilter는 입력된 문자열에서 불필요한 문자를 normalization하기 위해 사용TokenFIilter는 tokenizer에 의해 분해된 token에 대한 Filter 처리를 함.기본적으로 CharFilter에 의해 공백 콤마 등의 문자를 삭제하며, 예시로 문서의 유형이 xml일 경우 의 문자열들..

Documentdocument는 텍스트 또는 구조화된 데이터 등의 정보를 저장하는 단위이다.Opensearch에서 문서는 JSON 형식으로 저장된다.IndexIndex는 document의 모음이다.Index는 여러가지 방법으로 생각할 수 있다.학생 데이터베이스에서 인덱스는 데이터베이스의 모든 학생을 나타냄.정보를 검색할 때는 인덱스에 포함된 데이터를 쿼리함.인덱스는 기존 데이터베이스의 데이터베이스 테이블을 나타냄.Cluster와 NodeOpensearch는 분산 검색 엔진으로 설계되었으며, 하나 이상의 노드에서 실행될 수 있음.즉, 데이터를 저장하고 검색 요청을 처리하는 서버이다.ShardsOpensearch는 Index를 Shard로 분할함.각 샤드는 다음 이미지에서 볼 수 있듯이 인덱스에 있는 모든 ..

pymongo로 mongoDB 조작하기 (INSERT / FIND / UPDATE / DELETE) 1) INSERT from pymongo import MongoClient client = MongoClient('localhost', 27017) # mongoDB는 27017 포트로 돌아간다. db = client.dbsparta # 'dbsparta'라는 이름의 db를 사용한다.(없으면 만든다.) # MongoDB에 insert 하기 # 'users'라는 collection에 {'name':'bobby','age':21}를 넣는다. db.users.insert_one({'name':'bobby','age':21}) db.users.insert_one({'name':'kay','age':27}) db...