[03] Model Serving

• Online Serving
  • 단일 데이터를 받아 실시간을 에측을 하는 문제. ex) 기계 고장 예측 모델, 음식 배달 소요 시간 에측
  • 직접 API 웹 서버 개발 : Flask, FastAPI
  • 클라우드 서비스 활용 : AWS의 SageMaker, GCP의 Vertex Ai 등
  • Serving 라이브러리 활용 : Tensorflow Serving, Torch Serve, MLFlow, BentoML 등
  • 바로 Serving 라이브러리를 활용해 개발하는 것보다 프로토타입, FastAPI 서버 개발을 먼저 해봐서
    여러가지 방법 중 이 방법을 왜 선택하는지에 대한 인식을 키우는 것이 중요하다. 오픈소스는 계속
    개발되고 있기 때문에 너무 라이브러리에 종속되지 말 것.
  • Serving 할 때 Python 버전, 패키지 버전 등 Dependency가 굉장히 중요 -> Virtualenv Poetry, Docker..
• Batch Serving
  • 장점 : Online Serving 보다 구현이 수월하며 간단. Latency 문제 되지 않음
  • 단점 : Cold Start 문제 - 오늘 새로 생긴 컨첸츠는 추천할 수 없음

 

---

 

https://zzsza.github.io/data/2019/12/15/rules-of-ml/

Rules of Machine Learning: Best Practices for ML Engineering 정리