1강. AI 서비스는 왜 “모델”이 아니라 “아키텍처”인가

🤔 Question

👉 “ChatGPT 같은 AI 서비스를 만들려면 좋은 모델만 쓰면 되는 거 아닌가요?”

많은 주니어 개발자들이 AI 서비스를 이렇게 생각합니다. 하지만 실무에서 AI 서비스는 모델의 문제가 아니라 아키텍처의 문제입니다.

 

🎯 기존 소프트웨어와 AI 서비스의 결정적 차이

👉 기존 웹·백엔드 서비스는 구조가 비교적 단순합니다.

요청 → 비즈니스 로직 → DB → 응답

입력이 같으면 출력도 항상 같습니다. 버그가 나면 재현이 쉽고, 원인도 명확합니다.

하지만 AI 서비스는 다릅니다.

요청 → 검색 → 데이터 가공 → LLM 판단 → 응답

같은 질문을 해도 매번 다른 결과가 나올 수 있습니다. 이 순간부터 문제는 모델 성능이 아니라 구조 설계가 됩니다.

 

🎯 “좋은 모델”이 모든 걸 해결해주지 않는 이유

👉 GPT-4, Claude, Gemini처럼 모델 성능은 이미 충분히 좋습니다.

그런데 실무에서는 이런 문제가 반복됩니다.

• 답변이 자꾸 바뀐다
• 회사 내부 데이터는 반영되지 않는다
• 그럴듯하지만 틀린 답을 한다
• 로그를 봐도 왜 이렇게 나왔는지 알 수 없다

이건 모델 문제가 아닙니다. “모델을 어디에 두고, 어떤 흐름으로 사용했는가”의 문제입니다.

 

🎯 AI 서비스의 진짜 역할 분담

👉 실무 AI 아키텍처에서는 각 구성 요소의 역할이 명확히 나뉩니다.

• 검색(Search): 정보를 “찾는 역할”
• 데이터 파이프라인: 정보를 “정제하는 역할”
• 벡터 DB: 의미 기반으로 후보를 “압축하는 역할”
• LLM: 최종적으로 판단하고 문장으로 표현하는 역할

즉, LLM은 모든 걸 처리하는 존재가 아니라 마지막 의사결정을 담당하는 엔진에 가깝습니다.

 

🎯 실무에서 아키텍처가 중요한 진짜 이유

👉 회사에서 AI 서비스를 만들면 반드시 이런 질문이 나옵니다.

“왜 이런 답변이 나왔죠?”

이 질문에 답하려면 다음을 설명할 수 있어야 합니다.

• 어떤 데이터를 검색했는지
• 어떤 문서가 선택됐는지
• 어떤 컨텍스트가 LLM에 전달됐는지
• LLM이 판단한 근거는 무엇인지

이 모든 것을 가능하게 만드는 것이 바로 아키텍처입니다.

 

🎯 주니어가 가장 많이 하는 착각

👉 “프롬프트만 잘 짜면 해결되지 않나요?”

프롬프트는 중요합니다. 하지만 프롬프트는 아키텍처를 대체할 수 없습니다.

프롬프트는 조미료이고, 아키텍처는 요리의 구조입니다.

실무 AI 개발자는 프롬프트를 잘 쓰는 사람이 아니라, 흐름을 설계하는 사람입니다.

 

☔ 정리

👉 AI 서비스는 모델로 시작하지만, 성공 여부는 아키텍처에서 결정됩니다.

• 모델은 바꿀 수 있지만
• 잘못된 아키텍처는 서비스 전체를 망칩니다

이 강의에서는 “어떤 모델을 쓰는가”보다 “모델을 어디에 두고, 어떻게 감쌀 것인가”를 다룹니다.

 

다음 글에서는 실무 AI 아키텍처 전체 지도를 한 장으로 정리해봅니다.

 

If I was of any help to you, please buy me coffee 😿😢😥

If you have any questions, please leave them in the comments

Buy me a coffee

▶ Youtube Sub

🧭 References

[1] reference : https://doctorson0309.tistory.com/

[2] Ads : https://apps.apple.com/us/app/beluga-classic-film-filters/id6744041061