AWS Elastisearch + Logstash + Kibana 를 이용한 로그분석 환경 구성하기(part 1)

AWS Elasticsearch cluster 생성

  • AWS ElasticSearch 서비스 메뉴에 진입해 Get Started 버튼을 클릭.
  • Elasticsearch domain name 에 도메인 이름(예. test-lab)을 입력 후 Next 버튼 클릭
  • Instance count
    생성할 인스턴스 수량입력. 2대로 구성된 클러스터를 생성할 생각이므로 2를 입력.
  • Instance type
    사용할 인스턴스 타입을 선택. 테스트를 감안하여 t2.micro.elasticsearch를 선택한다.
  • Enable dedicated master
    해당옵션 체크시 Amazon ES는 클러스터 관리를 위한 별도의 master노드를 추가한다. Enable dedicated master에 대한 자세한 설명은여기를 참고합니다. 테스트이므로 체크하지 않고 넘어간다.

    Note : master노드는 문서데이터를 보유하지 않고 클러스터 관리만 관여한다. 안정성을 높이기 위해 최소 3개의 master노드를 지정하는 것을 권장하고, Amazon ES의 잠재적인 문제를 피하기 위해 홀수 값으로 설정한다.

  • Enable zone awareness
    해당 옵션 체크시 Amazon ES의 가용성 향상을 위해 동일리전의 가용 존들에 노드를 분산합니다. Enable zone awareness에 대한 자세한 내용은 여기를 참고합니다. (체크 하지 않음)
  • Storage type
    사용할 스토리지 타입을 선택한다. 위에서 인스턴스 타입을 t2.micro.elasticsearch을 선택했기 때문에 instance store를 사용할 수 없다. EBS선택한다.
  • EBS volume type
    EBS볼륨의 타입을 선택한다. General Purpose(SSD)를 선택.(높은 성능을 요한다면 Provisioned IOPS (SSD)를 선택한다.)
  • EBS volume size
    각 데이터 노드들에 붙일 스토리지 사이즈를 입력한다. 여기에서는 기본값(10)으로 넘어감.
  • Automated snapshot start hour
    은 하루 한번 자동으로 스넵샷 생성하는 시간을 선택합니다. 기본값으로 선택하고 Next를 눌러 넘어감.
  • Advanced optionsAmazon ES의 고급옵션들을 설정할 수 있다. 간략하게 살펴보자
    • rest.action.multi.allow_explicit_index : 도메인 하위 리소스에 대한 엑세스를 설정하기 위한 옵션, false로 설정하면 하위 리소스에 대해 우회해서 액세스하는 사용자를 방지할 수 있다. 자세한 내용은 여기를 참고합니다. sub-resource의 액세스 정책에 대한 더 많은 정보는 여기에서 확인 할 수 있다.
    • indices.fielddata.cache.size : fielddata의 캐시 사이즈를 설정. 자세한 내용은여기를 참고 합니다.
  • Set up access policy
    Amazon ES에 대한 액세스 할때의 정책을 설정하는 부분이다. 자세한 설명은 여기를 참고하고, 여기에서는 Allow open access to the domain을 선택하고 Next를 눌러 다음으로 넘어간다.

    Note : Allow open access to the domain 정책은 모든 액세스에 대한 허용이라 권장하지 않는다. 실제 서비스에서는 IP Address 또는 IAM Role을 사용하는 정책을 사용하도록 한다.

  • Review
    지금까지 설정한 내용을 확인 하고 Confirm and create를 클릭하고 약 10분정도 후 Amazon ES를 생성된다.
  • 완료
    생성이 완료 되면 다음과 같은 화면을 볼수 있다.
    Amazon_ES_Created-1

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다