API 응답속도 튜닝 > IT이야기

요즘 서비스에서 API 응답 속도가 일정하지 않아서 고민 중임. 같은 요청인데 가끔 100ms 안에 끝나고, 어떤 때는 800ms까지도 튀더라. DB 쿼리는 캐싱을 걸어 뒀고, 네트워크 구간도 안정적인데 이런 지연이 생기는 원인이 뭘까 궁금함. 현재 구조는 Nginx 앞단에 두고, 내부적으로 Node 기반 서버 여러 개가 API Gateway 역할을 하고 있음. 요청 수가 많을 때 특정 인스턴스에서만 딜레이가 생기는 느낌이라 로드밸런싱 방식이나 커넥션 풀 관리에 문제가 있을 수도 있을 것 같음. 혹시 비슷한 상황에서 해결했던 경험 있으면 공유 부탁. 특히 Node 환경에서 커넥션 풀 튜닝하거나, PM2 설정이나 event loop 블로킹 이슈 잡는 팁 있으면 좋겠음. 요즘은 미세한 지연도 SLA에 바로 잡혀서 신경 쓰이네....

좋아요16 이 글을 좋아요하셨습니다