[AWS] Developer Associate #8 메세징(SQS, SNS)

메세징이란?

• 어플리케이션의 통신 방식에는 크게 Synchronous communication(동기 통신)과 Asynchronous communication(비동기 통신)이 있습니다.
• 동기 통신은 요청을 보낸 후 응답을 기다리는 방식이고 비동기 통신은 요청을 보낸 후 응답을 기다리지 않고 다른 작업을 수행하는 방식입니다.
• 동기 통신은 응답을 기다리는 동안 리소스를 점유하기 때문에 하나의 서비스가 느려지면 다른 서비스도 연쇄적으로 영향을 받게 되는 문제가 있습니다. 이런 경우 비동기 통신으로 애플리케이션 간의 결합도를 낮추는 것이 좋습니다.
• 메세징은 비동기 통신을 구현하는 주요 방법 중 하나입니다.
• 대표적인 메세징 패턴으로 Queue model과와 Pub/Sub model이 있습니다.
• AWS는 Messing Queue 서비스로 SQS, Pub/Sub 서비스로 SNS를 제공합니다.

메시지 큐란?

• 생산자(Producer)는 메시지를 Queue에 전송하고 소비자(Consumer)는 Queue에 있는 메시지를 처리합니다.
• Message Queue는 어플리케이션간의 직접적인 의존성을 줄일 수 있습니다.
• Message Queue는 트래픽 급증 시 메시지를 일시적으로 저장하는 버퍼 역할을 수행합니다.
• Message Queue는 생산자와 소비자를 독립적으로 추가하여 급증하는 트래픽에 대응할 수 있습니다.
• 많은 생산자와 소비자가 대기열을 사용할 수 있지만 각 메시지는 하나의 소비자에 의해 한 번만 처리됩니다. 그렇기 때문에 Message Queue를 One-to-One(일대일) 또는 Point-to-Point(점대점) 통신이라고 하기도 합니다.

SQS(Simple Queue Service)란?

• AWS SQS는 완전 관리형 Message Queue Service입니다.
• SQS는 Standard queue와 FIFO queue를 지원합니다.
• 메시지의 크기는 최소 1 byte에서 최대 256 KiB까지 가능합니다.
• 메시지의 보존 기간은 기본 4일이고 최소 60초에서 최대 14일까지 설정할 수 있습니다.
• SQS는 메시지의 안전성을 위해 여러 서버에 저장합니다.
• SQS는 Access Policy로 Queue에 접근할 수 있는 user와 role, 허용되는 작업을 정의합니다.
• SQS의 동작 방식
  1. 생산자가 Queue로 메시지를 전송(SendMessage)합니다.
  2. SQS는 SQS 서버들에 메시지를 중복하여 분산 저장합니다.
  3. 소비자가 Queue에 메시지를 요청하여 메시지를 수신(ReceiveMessage)합니다.
  4. 소비자에게 전달된 메시지는 즉시 큐에서 삭제되지 않고, Visibility Timeout 동안 다른 소비자에게 보이지 않게 됩니다.
  5. 소비자는 받은 메시지를 성공적으로 처리하면 SQS에 삭제를 요청(DeleteMessage)합니다.

SQS - Standard Queue

• Standard Queue는 메시지 순서를 최선의 노력(Best Effort)으로 유지하지만 정확한 순서를 보장하지 않습니다.
• Standard Queue는 최소 1회 전달(at-least-once delivery)되고 가끔 2개 이상의 메시지가 전달될 수 있습니다.
  그렇기 때문에 같은 메시지를 2번 이상 처리해도 영향이 없도록 어플리케이션을 멱등적으로 설계해야 합니다.
• Standard Queue는 무제한 처리량을 제공하기 때문에 높은 처리량이 필요한 경우에 사용합니다.
• Standard Queue는 명명 규칙이 없습니다.

SQS - FIFO Queue

• FIFO Queue는 메시지 순서를 엄격하게 유지합니다.
• FIFO Queue는 정확히 1번만 전달(Exactly-Once Delivery)되고 중복은 허용하지 않습니다.
  중복을 제거하기 위해서 Content-based deduplication를 활성화하거나 메시지에 MessageDeduplicationId를 삽입해야합니다.
  FIFO Queue에 Content-based deduplication을 활성화하지 않고 MessageDeduplicationId도 삽입하지 않으면 메시지 전송에 실패합니다.
• FIFO Queue는 메시지 처리량에 제한이 있기 때문에 정확한 순서로 1번만 처리해야 하는 경우에 적합합니다.
• FIFO Queue는 이름 끝에 .fifo 접미사가 필요합니다.
• FIFO Queue의 메시지를 전송하기 위해서는 MessageGroupId를 지정해야합니다.
  MessageGroupId는 FIFO Queue에서 메시지 그룹을 식별하는 데 사용되는 속성입니다.

SQS - Visibility Timeout

• SQS는 소비자가 메시지를 가져가더라도 메시지를 자동으로 삭제하지 않습니다. 그렇기 때문에 소비자는 메시지를 처리하고 DeleteMessage를 사용하여 명시적으로 삭제해야 합니다.
• 소비자가 Queue에서 메시지를 받으면 메시지는 대기열에 남아있지만 다른 소비자에게는 일시적으로 보이지 않게(temporarily invisible)되는데 이는 Visibility Timeout에 의해 제어되는 것입니다.
• 소비자가 Visibility timeout이 만료되기 전에 메시지를 삭제하지 못하면 Queue에 다시 보이게 되고 다른 소비자가 조회할 수 있습니다.
• Standard Queue에서 Visibility timeout은 여러 소비자가 동일한 메시지를 처리하는 것을 방지하지만 Visibility timeout 동안에 메시지가 2번 이상 전달되지 않는 것을 보장하진 않습니다.
• FIFO Queue에서 Visibility timeout이 만료되었지만 메시지를 삭제하지 않은 경우
  FIFO Queue에서 메시지가 다시 검색되거나 삭제되기 전까지 동일한 Group id를 가진 새 메시지를 전송할 수 없습니다.
  FIFO Queue에서는 메시지 처리 순서가 중요하기 때문에 앞의 메시지가 처리되지 않는 경우 메시지 그룹 전체의 처리가 멈출 수 있습니다.
• Visibility timeout은 기본 30초이고 최소 0초에서 최대 12시간까지 가능합니다.

SQS - Dead Letter Queue(DLQ)

• DLQ(Dead Letter Queue)는 시스템 오류로 인해 처리할 수 없는 메시지를 임시로 저장하는 메시지 대기열입니다.
• 메시지 자체의 문제나 애플리케이션 오류 등 다양한 이유로 메시지 처리가 항상 성공하는 것은 아닙니다.
  이러한 경우 DLQ를 사용하여 실패한 메시지를 이동시켜 시스템의 안정성을 유지하고 DLQ에 저장된 메시지를 통해 문제를 분석하고 디버깅할 수 있습니다.
• DLQ를 구성하기 위해서는 새로운 Queue를 만들어 기존 Queue에 연결해야 합니다.
• FIFO Queue는 FIFO DLQ를 사용하고, Standard Queue는 Standard DLQ를 사용해야 합니다. 서로 다른 유형의 Queue를 DLQ로 연결할 수 없습니다.
• Standard DLQ의 경우 메시지가 원래 Queue에 추가된 타임스탬프를 기준으로 하기 때문에, DLQ의 보존 기간을 원래 큐의 보존 기간보다 길게 설정하는 것이 좋습니다.
  FIFO DLQ의 경우 메시지가 DLQ에 추가된 시점의 타임스탬프를 기준으로 보존 기간이 설정됩니다.
• Standard DLQ의 경우 원래 대기열에 추가된 시간을 타임스탬프로 유지하기 때문에 항상 DLQ의 보존 기간을 원래 대기열의 보존 기간보다 길게 설정하는 것이 좋습니다.
  FIFO DLQ의 경우 DLQ에 추가된 시간을 타임스탬프로 재설정합니다.
• DLQ Redrive는 DLQ에서 소비되지 않은 메시지를 원래 Queue 또는 다른 Queue로 복원하는 기능입니다.

SQS - Delivery delay

• Delay Queue(Delivery delay)는 새로운 메시지를 지연시켜 소비자가 즉각적으로 보지 못하게 하는 기능입니다.
• Delivery delay를 사용하면 새로운 메시지를 지연시켜 소비자에게 전달되는 것을 지연시킬 수 있습니다.
• Delivery delay의 기본 값은 0초이고 최대 15분까지 가능합니다.
• Delivery delay는 Queue에 처음 추가 되었을 때 메시지가 숨겨지지만
  Visibility timeout은 Queue에서 소비된 후에 숨겨집니다.
• 개별 메시지를 지연시키려면 Message timer를 사용해야 합니다.

SQS - Long Polling과 Short Polling

• Queue에서 메시지를 수신하는 방법으로 Short Polling(기본값)과 Long Polling을 제공합니다.
• Short Polling은 메시지 존재 여부와 상관없이 바로 응답을 반환하고 메시지가 없는 경우 빈 응답을 반환합니다.
• Long Polling은 메시지가 있을 때까지 대기하고 Queue에 적어도 1개 이상의 메시지가 있을 때 응답을 반환하고 대기 시간이 만료된 경우에 빈 응답을 반환합니다.
• Long Polling은 빈 응답 수를 줄이고 SQS 요청을 줄여 비용을 줄이는 데 도움이 됩니다.
• Short Polling은 SQS 서버 중 몇개만 쿼리하고 Long Polling은 SQS 모든 서버에 쿼리합니다.
• Short Polling은 Queue에서 ReceiveMessageWaitTimeSeconds를 설정하거나 ReceiveMessage를 호출할때 WaitTimeSeconds를 0으로 설정하는 경우에 발생합니다.
• 일반적으로 Short Polling보다는 Long Polling이 비용이 저렴하고 성능은 향상되는 결과를 보입니다.

Pub/Sub 모델이란?

• Pub/Sub 모델은 발행자(Publisher)는 Topic에 메시지를 발행하고 구독자(Subscriber)는 Topic을 구독하여 메시지를 수신합니다.
• Pub/Sub 모델은 Push 방식으로 메시지가 전달되기 때문에 구독자는 주기적으로 메시지가 있는지 확인할 필요가 없습니다.
• Push 방식은 Polling 방식에 비해 실시간 메시지 전달에 유리합니다.
• Pub/Sub 모델은 여러 구독자가 동시에 비동기식으로 메시지를 수신할 수 있기 때문에 Pub/Sub 모델을 One-to-Many 통신이라고 하기도 합니다.

SNS(Simple Notification Service)란?

• AWS SNS는 Pub/Sub 모델을 제공하는 완전 관리형 서비스입니다.
• 구독자는 SNS Topic을 구독하고 Data Firehose, SQS, Lambda, HTTP, email, SMS와 같은 엔드포인트로 메시지를 수신할 수 있습니다.
• SNS는 동일한 메시지를 여러 수신자에게 동시에 전달해야 하는 경우에 사용합니다.
• 기본적으로 Topic 구독자는 게시된 모든 메시지를 수신하지만 메시지 필터링을 구성하여 원하는 메시지만 받을 수 있습니다.
• SNS는 전달하지 못한 메시지에 대해 SQS를 기반으로하는 DLQ를 제공합니다.
• FIFO Topic은 엄격한 메시지 순서를 보장하고 메시지 그룹과 메시지 중복을 지원합니다.
• FIFO Topic은 이름 끝에 .fifo 접미사가 필요합니다.

Fan-out이란?

• 하나의 출력이 여러 개의 입력이 되도록 구성하는 패턴을 Fan-out 패턴이라고 합니다.
• Fan-out 패턴은 하나의 Topic에 여러 개의 구독자를 설정하여 하나의 메시지를 여러 대상에게 동시에 전달할 수 있습니다.
• Fan-out 패턴은 시스템 결합도를 낮추고 메시지를 병렬 처리할 수 있습니다.