[FastAPI] 배포

 

🐰 FastAPI 공식문서를 보면서 개인적으로 정리한 글 입니다.

 

 

FastAPI의 배포는 비교적 쉽다. 

 

버전

FastAPI, Starlette, Pydantic의 버전이 호환되도록 설정한다.

Release Notes - FastAPI

 

 

배포

배포에 앞서 이 부분들을 신경써야한다.

• Security - HTTPS
• Running on Start Up
• Restarts
• Replication(the number of processes running)
• Memory
• Previous steps before starting

 

Security -HTTPS

이 부분은 SSL 같은 보안 세팅을 구매하여 호스팅 서버 등에 적용 하면되는 부분이므로 넘어가겠다.

 

 

Running on Start UP

원격 서버(클라우드, 가상머신 등)를 설정 할 때, Uvicorn(또는 유사 서버)을 수동으로 실행하게 세팅한다. 

그러나 서버 연결이 끊어지면 실행 중인 프로세스가 종료될 수 있다.

그리고 서버가 다시 시작되면 프로세스를 다시 시작하기 전까지는 API 서버는 죽은 상태로 유지된다.

 

일반적으로 서버 구축 시 사람의 개입 없이 프로세스가 항상 API(Uvicorn 같은 FastAPI 앱을 실행하는 것)와 함께 실행되기를 원한다.

이를 위해는 별도의 프로그램을 사용해야 한다.

이 별도의 프로그램은 DB와 같은 다른 구성 요소나 애플리케이션도 같이 실행되도록 해야한다.

 

예제 도구

• Docker
• Kubernetes
• Docker Compose
• Docker in Swarm Mode
• Systemd
• Supervisor
• Hadled internally by a cloud provider as part of their services
• Others....

 

Restarting

FastAPI App이 실행 중에 인간의 실수 또는 어떤 이유로 버그로 인해 오류를 발생 시킨다. 

 

작은 오류는 FastAPI 자체적으로 처리한다.

• 코드에 오류가 있으면 FastAPI는 일반적으로 오류를 발생시킨 단일 요청에 해당 오류를 포함한다.
• 클라이언트는 해당 요청에 대해 500 Error를 받게 되지만 App은 완전히 충돌하는 대신 다음 요청에 대해 계속 작업을 한다.

 

이러한 특성에도 불구하고 전체 App을 충돌 시키는 일부 코드로 인하여 오류가 발생하여 서버가 중단되는 경우가 있을 것이다.

 

이때는 수정 후 서버를 다시 시작하는 과정이 필요할 것 이다.

 

이러한 역할을 하는 도구는 다음과 같다.

• Docker
• Kubernetes
• Docker Compose
• Docker in Swarm Mode
• Systemd
• Supervisor
• Hadled internally by a cloud provider as part of their services
• Others....

 

 

Replication(복제)

FastAPI App을 사용하면 Uvicorn과 같은 서버 프로그램을 사용하여 하나의 프로세스에서 한 번 실행하면 여러 클라이언트에 동시에 서버스를 제공할 수 있다.

 

그러나 대부분의 경우 여러 프로세스를 동시에 실행하고 싶을 것이다.

 

단일 프로세스가 처리할 수 있는 것보다 더 많은 클라이언트가 있고, 서버의 CPU가 여러 코어가 있는 경우, 동일한 App으로 동시에 여러 프로세스를 실행할 수 있고 모든 요청을 프로세스들에게 분배한다.

 

동일한 API 프로그램의 여러 프로세스를 실행하는 경우 이를 일반적으로 "Workers"라고 한다.

 

서버의 하나의 포트와 IP 주소 조합을 하나의 프로세스만 수신할 수 있다.

따라서 동시에 여러 프로세스를 가지려면 어떤 방식으로든 각 "Worker 프로세스"에 통신을 전송하는 포트를 수신하는 단일 프로세스가 있어야 한다.

이런 동작을 하는 프로세스를 Process Manager라고 한다.

 

다중 프로세스의 예시

출처 : FastAPI Docs

 

이런 다중 프로세스 방식을 달성하려면 여러 도구들을 사용해야 한다.

• Gunicorn은 Uvicorn Worker를 관리한다.
  • Gunicorn은 IP 및 Port를 수신하는 Process Manager가 되며 복제는 여러 Uvicorn Worker Process를 사용함으로써 가능하다.

 

• Uvicorn Wokers들을 관리하는 Uvicorn
  • 하나의 Uvicorn Process Manager는 IP 및 Port를 수신하고 여러 Uvicorn Worker Process를 시작한다.

 

• Kubernetes 및 기타 분산 컨테이너 시스템
  • Kubernetes 계층의 무언가가 IP 및 Port를 수신한다.
  • 복제는 각각의 하나 Uvicorn Process가 실행되는 여러 컨테이너를 가짐으로써 이루어진다.

 

• 복제 처리를 해주는 클라우드 서비스
  • 클라우드 서비스 자체적으로 복제처리를 할 것이다.
  • 실행할 프로세스나 사용할 컨테이너 이미지를 정할 수 있다.

 

 

Server Worker - Gunicorn, Uvicorn

Gunicorn은 WSGI 표준을 주로 사용하는 App 서버이다. (Flask, Django와 같은 App을 제공할 수 있다.)

Gunicorn 자체는 ASGI 표준을 사용하기 때문에 FastAPI와 호환되지 않는다. 

 

그러나 Gunicorn은 Process Manager 역할을 하고 사용자에게 특정 Worker Process의 Class를 알려준다.

그런 다음 Gunicorn은 해당 Class를 사용하여 하나 이상의 Worker Process를 시작한다.

 

이 조합을 사용하여 Gunicorn은 Process Manager의 역할을 하며 Port와 IP를 관찰하고, Uvicorn Class를 실행하는 Worker Process로 통신 정보를 전송한다.

그리고 Gunicorn과 호환되는 Uvicorn Worker Class는 Gunicorn이 보낸 데이터를 FastAPI에서 사용하기 위한 ASGI 표준으로 변환하는 일을 담당한다.

 

Gunicorn, Uvicorn 설치

pip install "uvicorn[standard]" gunicorn

 

Gunicorn 실행하기

4개의 Process Worker 생성 후 실행

python3 -m gunicorn main:app --workers 4 --worker-class uvicorn.workers.UvicornWorker --bind 0.0.0.0:80

 

worker 4개가 실행되는 것을 볼 수 있다.

Process Manager의 PID는 80863이다.

 

gunicorn 옵션

• --workers : 프로세스 갯수다 (최대 vcpu 갯수 * 2 만큼 설정하기를 권장)
• --worker-class : 프로세스를 다중으로 실행하려면 필요한 옵션이다.(uvicorn.workers.UvicornWorker)
• --daemon : 백그라운드로 실행한다.
• --access-logfile ./log.log : log.log 이름으로 로그를 기록한다.

 

예시

gunicorn main:app --workers 2 --worker-class uvicorn.workers.UvicornWorker --daemon --access-logfile ./log.log

 

 

컨테이너 배포

'프로그래밍 공부/Docker' 카테고리의 글 목록

Docker 컨테이너를 생성하고 클라우드 같은 서버에 배포하면 된다.