[AWS] Developer Associate #9 모니터링(CloudWatch, X-Ray)

모니터링이란?

• 모니터링이란 시스템이나 애플리케이션의 상태와 성능을 관찰하고 분석하는 과정으로 이를 통해 문제를 사전에 감지하고, 성능 및 안정성을 유지할 수 있습니다.
• AWS는 CloudWatch, X-Ray, CloudTrail 등을 포함한 다양한 모니터링 서비스를 제공합니다.

CloudWatch란?

• CloudWatch는 시스템의 Metric, Log, Event를 수집하여 Alarm를 설정하고 Dashboard를 통해 시스템 상태를 실시간으로 모니터링하고 관리하는 서비스입니다.
• CloudWatch는 AWS, On-Premise에 상관 없이 리소스와 애플리케이션을 모니터링 할 수 있습니다.
• CloudWatch는 Internet Monitoring, Real User Monitoring과 같은 다양한 서비스를 제공하여 애플리케이션의 가용성과 성능을 종합적으로 파악할 수 있도록 지원합니다.

CloudWatch Metrics

• Metric(메트릭 또는 지표)은 시스템 성능에 대한 데이터로 CPU 사용률, 네트워크 트래픽 등이 될 수 있습니다.
• AWS 서비스 메트릭뿐만 아니라 사용자가 생성하는 메트릭도 AWS CLI 또는 API(PutMetricData)로 Custom Metric을 게시할 수 있습니다.
• Data Point(데이터 포인트)는 특정 시점에 Metric을 나타내는 값으로 여러 데이터 포인트들이 모여 시간에 따른 메트릭의 변화를 나타냅니다.
• Namespace는 Metric을 그룹화하는 논리적인 컨테이너입니다. EC2의 Metric은 AWS/EC2 Namespace에 저장되고 RDS의 Metric은 AWS/RDS Namespace에 저장됩니다.
• Dimension은 Metric를 구성하는 name/value 쌍으로 특정 리소스나 조건에 맞는 Metric를 식별하는데 사용됩니다.
• Unit은 Data Point를 해석하기 위한 측정 단위로 메트릭의 의미를 명확히 하는데 도움이 됩니다.
  CPU 사용률의 경우 Percent가 되고 네트워크 트래픽의 경우 Bytes가 될 수 있습니다.
• 60초 미만 간격의 Data Point는 3시간 동안 보존되고 1분, 5분, 1시간 간격의 Data Point는 각각 15일, 63일, 455일 동안 사용 가능합니다.
  예를 들어, 90일 이전의 메트릭을 확인하려면 1분, 5분 간격으로 수집된 데이터는 볼수 없고, 1시간 간격으로 수집된 데이터로 확인해야합니다.
• 지표는 1분 단위의 Standard resolution(표준 해상도)와 1초 단위의 High resolution(고해상도)로 구분됩니다.
  AWS 서비스에서 생성된 메트릭은 기본적으로 표준 해상도로 수집되고 고해상도 지표를 사용하기 위해서는 추가 비용을 지불해야합니다.
• CloudWatch Metric은 생성된 리전에만 존재하며 삭제할 수 없고 보관기간 이후에 만료됩니다.
• CloudWatch Metrics Insights는 대규모 메트릭을 쿼리하는데 사용할 수 있는 SQL 엔진입니다.
• Metric stream을 사용하면 거의 실시간(near-real-time)으로 CloudWatch metric을 목적지로 전달할 수 있습니다.

CloudWatch Logs

• Log란 시스템이나 애플리케이션에서 발생하는 이벤트나 활동을 기록한 데이터로 CloudWatch Logs는 모든 시스템 로그와 애플리케이션 로그를 저장하고 모니터링할 수 있습니다.
• Log stream은 동일한 소스에서 발생한 연속된 로그들의 모음입니다. Log stream은 일반적으로 애플리케이션 인스턴스 단위로 생성됩니다.
• Log group은 Log stream의 집합으로 Log stream은 하나의 로그 그룹에 속해야합니다.
• CloudWatch Logs 저장되는 로그는 기본적으로 서버 측 암호화됩니다.
• CloudWatch Logs는 두 가지 로그 클래스(Standard Log Class와 Infrequent Access Log Class)를 제공합니다.
• Infrequent Access log class는 자주 접근하지 않는 로그를 위한 저렴한 옵션으로 Standard log class에 비해 몇가지 기능이 제공되지 않습니다.
• Logs Insights를 사용하면 로그를 검색하고 분석할 수 있습니다.
• Metric filter는 로그를 특정 패턴이나 텍스트로 필터링하여 메트릭의 Data Point로 생성하는 기능입니다.
  예를 들어, ERROR라는 단어가 포함된 로그를 필터링하여 ErrorCount라는 Metric을 생성하고 Alarm을 구성하는데 사용할 수 있습니다.
• Live Tail은 실시간으로 로그를 스트리밍하는 기능으로 문제를 빠르게 해결하는데 도움이 됩니다.
• Subscription은 로그를 Lambda, Kinesis Stream, Data Firehose로 실시간으로 전달하여 실시간 처리, 분석, 및 저장을 가능하게 합니다.
• Export를 사용하면 로그를 S3 버킷으로 전송하여 장기 저장 및 분석할 수 있습니다.
• Metric filter와 Live Tail, Subscription은 Standard Log Class만 지원됩니다.

CloudWatch Alarm

• CloudWatch Alarm(경보)는 설정한 임곗값과 조건을 모니터링하여 조건을 충족하거나 초과할 때 알림을 보내거나 사전 정의된 액션을 수행할 수 있습니다.
• CloudWatch는 메트릭 알람(Metric Alarm)과 복합 알람(Composite Alarm) 두 가지 유형의 알람을 제공합니다.
• Metric Alarm은 단일 Metric 또는 메트릭 수식을 기준으로 조건을 만족하는 경우 동작합니다.
• Composite Alarm은 여러 개의 Metric를 조합하거나 복잡한 조건이 필요한 경우에 사용합니다.
• CloudWatch Alarm은 OK, ALARM, INSUFFICIENT_DATA의 세 가지 상태(State)를 가지며, 메트릭 데이터의 상태에 따라 자동으로 업데이트됩니다.

CloudWatch Events와 Dashboard

• CloudWatch Events는 Amazon EventBridge로 명칭이 변경되었습니다.
• Amazon EventBridge는 AWS 리소스의 상태 변경이나 시스템 이벤트를 거의 실시간(near-real-time)으로 감지하여 이슈에 대한 처리 및 대응을 자동화할 수 있습니다.
• CloudWatch Dashboards는 AWS 리소스의 메트릭과 로그 데이터를 시각적으로 모니터링할 수 있습니다.
• Dashboards는 여러 리전 및 계정의 데이터를 통합하여 단일 뷰로 확인할 수 있습니다.

CloudWatch Agent

• CloudWatch Agent는 EC2 인스턴스와 온프레미스 서버에서 시스템 수준의 지표와 로그를 수집할 수 있습니다.
• CloudWatch Agent가 수집한 지표와 로그는 CloudWatch metrics, Logs에서 확인 할 수 있습니다.
• CloudWatch Agent가 수집한 지표의 지표의 기본 네임스페이스는 CWAgent지만, 다른 네임스페이스를 지정할 수도 있습니다.

CloudWatch Application Monitoring

• CloudWatch Synthetics는 애플리케이션의 엔드포인트와 API를 모니터링하는 서비스로 Canary라는 스크립트를 만들어서 사용자와 동일한 작업을 수행하도록 구성할 수 있습니다.
  Canary는 Node.js 또는 Python으로 작성 가능하고 Synthetics 라이브러리가 포함된 Lambda Layer를 사용합니다.
• CloudWatch RUM(Real User Monitoring)은 실제 사용자 경험을 모니터링하고 분석할 수 있는 서비스입니다.
  이를 통해 실제 사용자가 애플리케이션을 어떻게 이용하고 있는지, 성는 문제나 오류를 겪고 있는지를 실시간으로 파악할 수 있습니다.
• CloudWatch Application Insights은 RDS, ELB와 같은 애플리케이션 구성 요소와 EC2를 사용하는 애플리케이션(JAVA, IIS 등)를 함께 모니터링할 수 있습니다.
  이를 통해 애플리케이션의 성능과 상태를 종합적으로 파악하고, 문제를 신속하게 감지하고 해결할 수 있습니다.
• CloudWatch Application Signals을 사용하면 애플리케이션을 자동으로 계측하고 애플리케이션 상태를 모니터링하여 비즈니스 목표에 대한 장기적인 성능 목표를 추적할 수 있습니다.

CloudWatch Network Monitoring

• CloudWatch Internet Monitor는 사용자와 AWS에 호스팅된 애플리케이션 간의 네트워크(인터넷)를 모니터링하는 서비스로 인터넷 문제가 성능과 가용성에 어떤 영향을 미치는지에 대한 가시성을 제공합니다.
  인터넷은 사용자와 AWS 사이의 네트워크로 사용자가 AWS에 호스팅된 애플리케이션으로 접근하는 경로를 모니터링하는 서비스입니다.
• CloudWatch Network Monitor는 AWS 네트워크와 온프레미스 네트워크 간에 문제가 있는지 모니터링하는 서비스입니다.
  Network Monitor는 VPC 서브넷과 온프레미스 IP 주소를 지정하여 서로 통신하도록 구성됩니다.

X-Ray란?

• X-Ray는 마이크로서비스 아키텍처와 같은 분산 애플리케이션(distributed application)에서 애플리케이션이 어떻게 동작하는지 이해하고 성능 문제 및 오류의 근본 원인을 찾고 해결(troubleshoot the root cause of performance issues and errors)하는데 도움을 주는 서비스입니다.
• 분산 애플리케이션(distributed application)이란 클라이언트의 요청이 여러 컴포넌트에 걸쳐 작업이 분산 처리되는 시스템을 말합니다.
  예를 들어 ELB가 클라이언트의 요청을 적절한 서비스에 라우팅하고, ECS Task가 애플리케이션 로직을 처리하면 결과를 RDS에 저장하는 것을 분산 애플리케이션의 예시라고 할 수 있습니다.
• 분산 애플리케이션에서는 요청이 여러 서비스와 리소스를 거쳐 처리되기 때문에 X-Ray와 같은 서비스로 전체 요청 흐름을 추적하고 문제의 근본 원인을 파악하는 것이 필요합니다.
• 세그먼트(Segment)는 분산 애플리케이션에서 각 컴포넌트가 수행한 작업과 성능 데이터를 기록한 단위입니다.
• 트레이스(Trace)는 여러 세그먼트를 연결하여 하나의 요청이 애플리케이션에서 어떻게 처리되었는지를 보여주는 기록입니다.
• 서비스 그래프(Service graph)는 분산 애플리케이션의 여러 구성요소 간의 상호작용을 시각화하여 병목 현상이나 오류가 발생한 지점을 쉽게 파악할 수 있습니다.
• 샘플링(Sampling)은 X-Ray 서비스로 전송되는 양을 조절하는 기능으로 비용 효율적으로 세그먼트를 수집할 수 있습니다.
• X-Ray Daemon은 UDP 2000 포트로 세그먼트를 수집하여 X-Ray 서비스로 전달하는 소프트웨어입니다.
• 어노테이션(Annotation)은 Trace를 그룹화하거나 검색 및 필터링하기 위해 사용되는 키-값 쌍입니다.
• 메타데이터(Metadata)는 어노테이션과 달리 필터링이나 검색에 사용되지 않지만 부가적인 정보를 저장하는 키-값 쌍입니다.

X-Ray가 분산 애플리케이션에서 요청을 추적하는 방법

1. X-Ray와 통합된 서비스(X-Ray SDK, AWS 서비스 등)이 클라이언트의 요청에 고유한 ID(Trace ID)를 포함하는 HTTP 헤더(X-Amzn-Trace-Id)를 추가합니다.
2. 요청이 여러 컴포넌트에서 처리될 때 마다 각 컴포넌트는 요청/응답 시간 등의 정보가 포함된 JSON 형태의 세그먼트를 생성합니다.
3. 생성된 세그먼트는 X-Ray SDK를 통해 로컬 X-Ray 데몬으로 전송(UDP)됩니다.
4. X-Ray 데몬은 세그먼트들을 모아서 X-Ray 서비스로 전송(HTTPS)됩니다.
5. X-Ray 서비스는 수집된 세그먼트들을 하나의 트레이스로 조합하여 요청의 흐름을 시각화합니다.