눈감고 코딩,,

1. 쿠키와 세션을 사용하는 이유

-> HTTP 프로토콜의 약점 보안

• 비연결지향 : request를 받아서 response를 보낸 후 접속을 끊는다. 
• 상태정보유지안함 : 연결을 끊고 나서 통신이 끝나고 정보를 유지하지 않는 특성 -> 통신연결을 계속 유지하지 않아 리소스 낭비가 줄어드는 장점! 

-> 그러나, 통신할 때마다 커넥션을 열어야 -> 매 페이지에서 클라이언트는 내가 누구인지 인증을 계속 해야하는 단점

2. 쿠키

: 클라이언트 로컬에 저장되는 키와 밸류가 들어있는 작은 데이터 파일

• 사례: 자동로그인, 팝업에서 오늘 더이상 보지 않기 등
• 라이프사이클: 쿠키는 만료시간이 있지만, 파일로 저장되어서 브라우저 종료 후에도 정보가 남아있다

3. 세션

: 일정시간동안 같은 브라우저로 들어오는 상태를 유지

• 사례: 로그인 유지
• 라이프사이클: 만료시간 있지만 브라우저 종료 후에 시간 상관없이 삭제됨.

<<해당 인덱스의 템플릿 조정>>

• settings 

"settings" : {
      "index" : {
        "analysis" : {
          "analyzer" : {
            "korean" : {
              "type" : "custom",
              "tokenizer" : "seunjeon_default_tokenizer"
            }
          },
          "tokenizer" : {
            "seunjeon_default_tokenizer" : {
              "type" : "seunjeon_tokenizer",
              "index_eojeol" : "false",
              "decompound" : "false"
            }
          }
        }
      }
    }

• mapping 

분석하고 싶은 필드값에 추가

 "contents" : {
          "type" : "text",
          "analyzer" : "korean"
        }

<<결과>>

다음과 같이 "강아지"로 리퀘스트를 보내 줬을 때, "강아지가 귀여워" 가 검색된닷

GET sample4/_search
{
  "query": {
    "match": {
      "contents": "강아지"
    }
  }
}

          "contents" : "강아지는 귀여워",
          "mdate" : "2020-02-03T15:00:06.000Z",
          "blocked_type" : 0,
          "category" : null,
          "view_yn" : 0,
          "contents_type" : 3

<<참고>>

1. analyzer와 search analyzer는 서로 다른 분석기로 설정 가능

2. "match" 쿼리: inverted index에 저장되는 토큰에서 "분석"하여 찾아줌 - "강아지"로 "강아지는 귀여워" 못찾는다

3. "term" 쿼리: inverted index에 저장되어 있는 토큰에서 찾아줌

## logstash의 config 설정 파일

input { 
      jdbc{ 
           jdbc_driver_library => "/usr/share/java/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47.jar" 
   
          jdbc_driver_class => "com.mysql.jdbc.Driver" 
   
          jdbc_connection_string => ###
   
          jdbc_user =>"admin" 
   
          jdbc_password => ###
   
          jdbc_paging_enabled => true 
           tracking_column => "contents_code" 
           use_column_value => true 
           tracking_column_type => "numeric" 
           schedule => "*/1 * * * *"  # 1분마다
   
   
          statement => "SELECT * FROM tbl_contents_master 
          WHERE mdate > (SELECT DATE_SUB(NOW(), INTERVAL 60 MINUTE))" 
      } 
  } 
  filter{ 
   
   fingerprint { 
          key => "1234ABCD" 
          method => "SHA256" 
          source => ["contents_code"] 
          target => "[@metadata][generated_id]" 
          concatenate_sources => true 
      } 
  } 
  output { 
      amazon_es { 
           hosts => ###
           region => "ap-northeast-2" 
           aws_access_key_id => ###
           aws_secret_access_key => ###
          index =>"new" 
          document_id => "%{[@metadata][generated_id]}" 
          doc_as_upsert => true 
          action => "update" 
   } 
   
      stdout{ 
          codec => rubydebug{} 
      } 
  }

1. logstash 1분마다 갱신되도록 : schedule => "*/1 * * * *"  # 1분마다

2. 현재시간과 비교해서 1분 전 안에 들어온 데이터를 전부 삽입

: "SELECT * FROM tbl_contents_master WHERE mdate > (SELECT DATE_SUB(NOW(), INTERVAL 60 MINUTE))" 

3. contents_code 를 기준으로 같은 코드면 덮어쓰게 함 : source => ["contents_code"] 

4. 새로운 데이터가 삽입되면 반영 : doc_as_upsert => true 

5. <update!!> output에 document_type => "_doc"

삽질하면서 느낀 점 나열.... 딱히 해결책은 아닌거같다ㅎ

1. Logstash의 ouput plugin에서 elastisearch 와 amazon_es 구분해야함

elasticsearch - 서버에 엘라스틱서치 설치해서 쓸 경우

amazon_es - 말그대로 아마존 엘라스틱서비스 사용하고 있는 경우 - optional 이라고 공식 문서에서 설명하지만...

access_key와 secret key 를 다 넣어주어야 함

- 그리고 저 둘 사이에 버전차이가 있는듯 했다,, amazon_es가 업데이트가 좀 늦어서 버전 6을 인스톨 하라는 사람들이 있어서 인스톨 해줬는데 

bin/logstash-plugin install --version 6.0.0 logstash-output-amazon_es  (버전 6으로 다시)

그런데 굳이 플러그인을 인스톨을 해야되는건가 여전히 의문이 듬.. 이게 그렇게 큰 효과가 있었는지는 모르겠다

2. logstash output에 인덱스를 지정해주지 않으면 자동으로 logstash 날짜별 인덱스가 생성됨

반대로 만들어놓지 않은 인덱스를 써주면 인덱스가 생성됨

3. 템플릿으로 엄청 고생

인덱스를 설정 안해주고(로그스태시 날짜별 자동 생성된 인덱스 사용) logstash 실행하면

[ERROR] 2020-01-30 13:53:26.307 [[main]-pipeline-manager] amazones - Failed to install template: [400]
 {"error":{"root_cause":[{"type":"mapper_parsing_exception","reason":"Root mapping definition has unsupported parameters:  
[_default_ : {dynamic_templates=[{message_field={path_match=message, mapping={norms=false, type=text},

템플릿을 저렇게 지정하라고 나오는데,, 그래서 친절하게 누군가 올려준 json 형식 템플릿을 가져다가 그대로 썼었다. 

>>> https://stackoverflow.com/questions/48682000/logstash-conf-error-amazon-es/48687996#48687996

하지만 딱히 도움이 되지는 않앗다,,,ㅎㅅㅎ 

템플릿 에러도 계속 떴었고, 저 템플릿을 조금씩 수정하면 어쩌다 에러가 없어지기도 했는데, 인덱스 안에 그 어떤 값도 들어가잇지 않아서 그냥 계속 삽질했었음

4. 지금까지의 결론

여튼 logstash stdin input plugin을 통해서 amazon_es에 인덱스 생성하고 데이터 넣는 것을 성공함. 

인덱스는 새로 만들어 주었고, 템플릿은 기존에 있는것을 사용중. 그러니까 잘 들어간다

1. jdbc 다운로드

wget http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.20.tar.gz/from/http://cdn.mysql.com/

2. 압축 해제

# tar xzvf mysql-connector-java-5.1.20.tar.gz

*압축 해제 하고 나서 java connector bin jar 파일 잇는곳 -> /usr/lib/java/mysql-connector-java-5.1.30 이곳으로 이동!

3. connector-bin-jar 파일을 옮겨줘야함

mv mysql-connector-java-5.1.30-bin.jar  /usr/lib/jvm/java/jre/lib/ext/

1. 레디스란

• 데이터베이스 솔루션 중 하나
• 메모리를 사용하는 키-밸류 형식의 데이터베이스
• 속도가 매우 빠르나 공간이 작음 -> 데이터베이스 캐싱에 적합

2. 캐싱 Caching 

• 미리 읽어두었따가 요청이 올 경우 빠르게 응답하기 위한 목적

• 1. 엘라스틱 서치란?
• 엘라스틱 서치는 검색엔진이다. 
• 데이터 저장, 색인(검색 용이하게 데이터 가공), 검색 기능을 가지고 있음

2. 굳이 검색 엔진을 쓰는 이유는?

• RDB는 단순 텍스트 매칭 검색만 제공
• ES는 동의어, 유의어, 비정형데이터 색인 가능, 자연어 처리 가능
• ES는 역색인으로 빠른 검색 가능

• Uniform Resource Locators - 인터넷에서 자원 위치를 나타냄
• 각각의 url은 유일한 자원을 가리킨다

**절대 URL

http://www.example.com:80/path/to/myfile.html?key1=value1&key2=value2#SomewhereInTheDocument 

1. 프로토콜 : http
2. • 브라우저가 어떤 규약을 사용해야 하는지, 네크워크에서 데이터를 교환하는 방법
3. 도메인:www.example.com
   • 어떤 웹 서버가 요구되는지 가르킨다
   • IP 주소를 쓰기도 함
4. 포트:80
   • 기술적으로 웹서버에서 자원으로 접근하는 "관문"
   • http 표준 포트 80 을 사용한다면 생략
5. 경로 : path/to/myfile.html
   
   • 웹서버에서 자원에 대한 경로
   • 초기에는 물리적 파일 위치를 나타냈으나, 요새는 웹서버에서 추상화하여 보여줌
6. 파라미터
   • & 기호로 구분되는 키-밸류 짝으로 이룬 리스트
   • 웹서버에 제공하는 추가 파라미터들
   • 검색에서 주로 사용함
7. 앵커

**상대 URL

아래의 url이 위치한 문서 내에 또 다른 url을 부른다고 가정

https://developer.mozilla.org/en-US/docs/Learn

https://developer.mozilla.org/en-US/docs/CSS/display  = ../CSS/display