4강. AI 서비스에 반드시 존재하는 4개의 서버

🤔 Question

👉 “AI 서비스면 서버 하나면 되는 거 아닌가요?”
많은 PM이 이렇게 생각한다. 하지만 실제 AI 서비스는 단일 서버로 절대 돌아가지 않는다.

AI 서비스는 최소한 네 종류의 서버가 역할을 나눠서 움직인다. 이 구조를 이해하지 못하면, 일정·비용·성능 예측은 항상 틀어진다.

 

🎯 AI 서비스의 기본 구조 한 줄 요약

👉 AI 서비스는 아래 네 개의 서버가 협력해서 동작한다.

앱 서버 → 검색 서버 → 벡터 DB → 모델 서버

이 중 하나라도 빠지면, 우리가 기대하는 “똑똑한 AI 서비스”는 만들어지지 않는다.

 

🎯 1️⃣ 앱 서버 (Application Server)

👉 PM이 가장 익숙한 서버다.

앱 서버는 다음을 담당한다.

- 사용자 요청 수신
- 인증 / 권한 처리
- 상태 관리
- 전체 흐름 오케스트레이션

중요한 점은, 앱 서버는 “AI 판단”을 하지 않는다는 것이다. 판단은 모델 서버가 하고, 앱 서버는 흐름을 통제한다.

 

🎯 2️⃣ 검색 서버 (Retrieval Server)

👉 AI가 똑똑해 보이는 이유의 절반은 검색 덕분이다.

검색 서버는 “지금 이 질문에 어떤 정보가 필요한가”를 결정한다.

- 키워드 검색
- 조건 필터링
- 최신성 / 권한 체크

검색이 잘못되면, 모델은 아무리 좋아도 틀린 답을 낼 수밖에 없다.

 

🎯 3️⃣ 벡터 DB (Vector Database)

👉 벡터 DB는 “의미 기반 검색”을 담당한다.

문서, 대화, 로그를 숫자 벡터로 저장하고 “비슷한 의미”를 기준으로 데이터를 찾아낸다.

PM 입장에서 중요한 포인트는 이것이다.

- 데이터가 많아질수록 중요해지고
- 품질 튜닝의 핵심이 되며
- 일정이 늘어나는 주범이 되기도 한다

 

🎯 4️⃣ 모델 서버 (Model Server)

👉 우리가 흔히 “AI”라고 부르는 부분이다.

모델 서버는 검색된 컨텍스트를 바탕으로 확률적으로 답변을 생성한다.

하지만 모델 서버는

- 상태를 기억하지 않고
- 정답 여부를 판단하지 않으며
- 책임을 지지 않는다

그래서 앞단의 서버들이 모델이 “판단만 하도록” 환경을 만들어줘야 한다.

 

☔ 정리

👉 AI 서비스는 하나의 서버가 아니라 네 개의 서버가 역할을 나눠서 동작한다.

PM이 이 구조를 이해하면, “이 기능은 왜 오래 걸리나요?” “왜 비용이 이렇게 나와요?” 같은 질문에 답할 수 있게 된다.

 

If I was of any help to you, please buy me coffee 😿😢😥

If you have any questions, please leave them in the comments

Buy me a coffee

▶ Youtube Sub

🧭 References

[1] reference : https://doctorson0309.tistory.com/

[2] Ads : https://apps.apple.com/us/app/beluga-classic-film-filters/id6744041061