1강: 「AI 서비스는 왜 항상 ‘예측 불가능’한가」

🤔 Question

👉 “왜 AI 서비스는 기획한 대로 동작하지 않을까?”
같은 질문을 해도 답변이 달라지고, 어제 잘 되던 기능이 오늘은 어색해진다. 요구사항도 분명했고 화면도 설계했는데, 결과는 늘 흔들린다. 이 혼란의 원인은 대부분 AI가 기존 소프트웨어와 전혀 다른 시스템이라는 사실을 제대로 이해하지 못했기 때문이다.

 

🎯 기존 소프트웨어 vs AI 서비스의 본질적 차이

👉 기존 소프트웨어는 결정론적 시스템이다.
입력이 같으면 출력은 항상 같다.

반면 AI 서비스는 확률적 시스템이다.
같은 입력이라도 컨텍스트, 검색 결과, 모델 상태에 따라 출력이 달라질 수 있다.

즉, AI는 정답을 계산하는 시스템이 아니라 ‘가능성이 높은 답’을 추론하는 시스템이다.

 

🎯 PM이 느끼는 ‘예측 불가능함’의 정체

👉 PM이 AI를 다루며 느끼는 불안은 대부분 여기서 시작된다.

❌ “이 버튼을 누르면 반드시 이 답이 나와야 합니다”
❌ “이 기능은 항상 이렇게 동작해야 합니다”

이런 요구사항 자체가 AI 시스템의 성질과 맞지 않는다. AI는 입력 문장의 미묘한 차이, 이전 대화, 검색 결과, 모델 업데이트에 따라 언제든 흔들릴 수 있다.

 

🎯 PM이 통제할 수 없는 것 vs 반드시 해야 할 것

👉 PM이 통제할 수 없는 영역

- 모델 내부 판단 과정
- 동일 입력에 대한 완전히 동일한 출력
- 모델 업데이트로 인한 미세한 품질 변화

대신 PM은 반드시 아래를 통제해야 한다.

- 입력은 어디서 오고
- 어떤 데이터를 검색하며
- 어떤 상태에서 모델이 호출되고
- 어떤 형식의 출력만 허용할 것인지

 

🎯 예측 불가능함을 줄이는 유일한 방법

👉 AI 서비스가 안정적으로 보이는 팀들의 공통점은 프롬프트가 아니라 시스템을 설계한다는 점이다.

- 검색 결과가 없으면 답변하지 않기
- 근거 문서가 있을 때만 출력 허용
- 애매한 경우 재질문 상태로 전환
- 중요한 답변은 사람 검증 단계 추가

이 순간부터 AI는 마법이 아니라 통제 가능한 백엔드 컴포넌트가 된다.

 

☔ 정리

👉 AI 서비스가 예측 불가능한 이유는 기획이 부족해서가 아니라 시스템의 성질이 다르기 때문이다.

AI는 기능이 아니라 확률적 의사결정 엔진이며, PM의 역할은 정답을 요구하는 것이 아니라 불확실성을 관리하는 구조를 설계하는 것이다.

 

If I was of any help to you, please buy me coffee 😿😢😥

If you have any questions, please leave them in the comments

Buy me a coffee

▶ Youtube Sub

🧭 References

[1] reference : https://doctorson0309.tistory.com/

[2] Ads : https://apps.apple.com/us/app/beluga-classic-film-filters/id6744041061