ChatGPT는 왜 어떤 말은 하고, 어떤 말은 안 할까?
LLM의 ‘선’을 정하는 사람들에 대한 가벼운 이야기
AI 챗봇을 쓰다 보면 한 번쯤 이런 생각이 듭니다.
“이건 왜 답해주지?”
“이건 왜 갑자기 거절하지?”
“그리고 얘는 왜 이렇게 말투가 조심스럽지?”얼핏 보면 AI가 자기 성격대로 대답하는 것 같지만,
사실 그 뒤에는 생각보다 많은 사람과 규칙이 얽혀 있습니다.
AI는 그냥 똑똑한 모델 하나가 혼자 답하는 것처럼 보입니다.
하지만 실제로는 그렇지 않습니다.
우리가 보는 한 줄의 답변 뒤에는
법, 회사 정책, 안전팀, 모델 설계자, 제품팀, 사용자 피드백,
심지어 그 서비스가 처한 여론과 시장 분위기까지 겹쳐 있습니다.
쉽게 말하면,
LLM은 혼자 말하는 것 같지만 사실은 꽤 많은 사람의 합의 위에서 말하고 있다는 뜻입니다.
이번 글에서는
LLM의 규제나 정책은 누가 설정할까?
라는 질문을 너무 무겁지 않게,
조금은 가십처럼 풀어보려 합니다.
TL;DR
- AI 챗봇의 답변 기준은 모델 혼자 정하는 게 아니다.
- 보통 그 기준은 법과 규제 → 회사 정책 → 모델 행동 지침 → 서비스 설정 → 사용자 반응 순으로 여러 겹 쌓여 있다.
- 그래서 같은 질문도 서비스마다 답이 다르고, 거절 기준도 다르게 느껴질 수 있다.
- 어떤 답변은 “기술적으로 못해서”가 아니라, 누군가 미리 그어둔 선을 넘지 않기 위해서 안 나오는 경우가 많다.
- 결국 AI의 답변은 기술이면서 동시에 편집과 운영의 결과물이다.
AI는 혼자 말하는 것처럼 보이지만, 사실 혼자가 아니다
우리는 보통 AI에게 질문을 던질 때
그 답변을 “모델의 생각”처럼 받아들이기 쉽습니다.
하지만 실제로는
그 답변은 꽤 여러 층을 통과한 결과에 가깝습니다.
예를 들면 이런 식입니다.
- 법적으로 위험한 내용은 어디까지 허용할 것인가
- 회사 브랜드 이미지상 어떤 답변은 피해야 하는가
- 안전상 문제가 될 수 있는 요청은 어디서 막을 것인가
- 모델이 너무 딱딱하게 거절하지 않도록 말투는 어떻게 조정할 것인가
- 사용자가 불편해하는 거절 패턴은 어떻게 바꿀 것인가
즉, 챗봇의 답변은
그냥 똑똑한 언어모델이 즉흥적으로 만들어내는 문장이 아니라,
보이지 않는 규칙표를 통과한 문장에 더 가깝습니다.
조금 과장해서 말하면,
AI 뒤에는 작은 편집국이 하나 있다고 생각해도 비슷합니다.
1. 첫 번째 선: 법과 규제
가장 바깥쪽에서 큰 선을 긋는 건 결국 법과 규제입니다.
이건 가장 재미없어 보이지만,
사실 제일 강한 레이어입니다.
예를 들어 어떤 나라에서는
개인정보, 허위정보, 선거, 아동 안전, 의료 조언, 금융 조언 같은 주제가
훨씬 더 민감하게 다뤄질 수 있습니다.
그러면 AI 서비스를 만드는 회사는
“모델이 기술적으로 할 수 있느냐”보다 먼저
“이걸 서비스로 허용해도 법적 리스크가 없느냐”를 보게 됩니다.
즉, 어떤 답변이 막히는 이유는
모델이 멍청해서가 아니라
그 답변이 위험한 법적 영역에 걸쳐 있기 때문일 수 있습니다.
이쯤 되면 AI는 단순한 기술 제품이 아니라
조금은 규제 산업의 성격도 띠게 됩니다.
2. 두 번째 선: 회사의 정책
같은 질문을 해도 어떤 AI는 답해주고,
어떤 AI는 더 조심스럽게 답하는 이유는
회사마다 감수하는 위험의 크기와 브랜드 방향이 다르기 때문입니다.
쉽게 말하면 이런 겁니다.
어떤 회사는
“조금 답답하더라도 안전한 게 낫다”고 생각할 수 있고,
어떤 회사는
“조금 더 유연하게 답하는 편이 사용자 만족도가 높다”고 볼 수 있습니다.
그러면 같은 기술 수준을 가진 모델이라도
정책 레벨에서 이런 차이가 납니다.
- 어떤 질문은 바로 거절
- 어떤 질문은 일반론만 제공
- 어떤 질문은 경고 문구를 붙이고 답변
- 어떤 질문은 특정 표현 자체를 피함
이 단계에서는 기술보다
회사 운영 철학이 꽤 크게 들어옵니다.
그래서 AI의 성격은
생각보다 “모델의 본성”이라기보다
회사의 서비스 철학을 닮아 있는 경우가 많습니다.
조금 웃기게 말하면,
모델이 대답하는 것 같지만
뒤에서는 정책팀이 팔짱 끼고 보고 있는 셈입니다.
3. 세 번째 선: 모델의 성격표
이쯤부터는 더 흥미로워집니다.
회사 정책이 “무엇을 할지 말지”를 정한다면,
그다음은 모델에게
“그걸 어떤 태도로 말할지”를 가르치는 단계가 옵니다.
여기에는 보통 이런 것들이 들어갑니다.
- 사용자의 요청을 얼마나 잘 따를 것인가
- 충돌하는 요청이 나오면 어떤 우선순위를 둘 것인가
- 위험한 요청은 어떻게 거절할 것인가
- 애매한 질문에는 얼마나 신중하게 답할 것인가
- 말투를 얼마나 친절하게 유지할 것인가
즉, 단순히 금지/허용의 문제가 아니라
모델의 행동 스타일을 조정하는 것입니다.
그래서 어떤 AI는
부드럽고 설명형이고,
어떤 AI는
짧고 보수적이고,
어떤 AI는
“이건 안 됩니다”를 꽤 단호하게 말합니다.
사용자 입장에서는
그걸 “성격”처럼 느끼지만,
사실은 꽤 많이 설계된 결과일 가능성이 큽니다.
AI도 그냥 생긴 성격으로 말하는 게 아니라,
어느 정도는 기획된 성격으로 말하고 있는 셈입니다.
4. 네 번째 선: 학습 데이터와 사람의 피드백
AI 정책 얘기를 할 때 많은 사람이
“정책은 시스템 프롬프트에 다 써놓는 거 아냐?”라고 생각합니다.
물론 그것도 맞습니다.
하지만 그것만으로 끝나진 않습니다.
모델은 학습 과정에서
사람들이 어떤 답변을 더 선호하는지,
어떤 답변을 위험하거나 부적절하다고 보는지에 대한
피드백도 받습니다.
즉, 정책은 문서로만 들어가는 게 아니라
모델이 좋아하도록 혹은 피하도록 학습되는 부분도 있습니다.
그래서 AI가 어떤 질문에
자동으로 조심스러운 톤을 취하거나,
도움이 되는 방향으로 우회해서 답하려고 하는 건
단순 규칙 외에도 훈련된 습관의 결과일 수 있습니다.
여기서 재밌는 점은,
사용자들은 종종 AI를 너무 인간처럼 느낀다는 것입니다.
하지만 실제로는
그 “인간적인 조심스러움”조차도
사람들이 설계하고 다듬은 결과일 가능성이 큽니다.
5. 다섯 번째 선: 서비스마다 다른 시스템 프롬프트와 제품 설정
같은 회사의 같은 기반 모델이어도
서비스에 따라 다르게 느껴지는 경우가 있습니다.
왜냐하면 최종 제품에 들어갈 때는
모델 위에 또 다른 레이어가 얹히기 때문입니다.
예를 들면 이런 것들입니다.
- 이 서비스는 업무용이라 더 신중하게 답하게 만들기
- 이 서비스는 창작 보조용이라 좀 더 자유롭게 답하게 만들기
- 특정 분야 질문에는 경고 문구 추가하기
- 이미지/코드/검색 기능이 붙었을 때 따르는 별도 규칙 적용하기
즉, 사용자가 체감하는 AI는
기반 모델 하나만으로 완성되지 않습니다.
그 위에
제품팀이 얹은 운영 로직과 시스템 프롬프트가 꽤 크게 작용합니다.
그래서 어떤 서비스는
같은 모델을 써도 훨씬 딱딱하고,
어떤 서비스는 더 유연하고,
어떤 서비스는 이상할 정도로 특정 주제에 민감하게 느껴집니다.
이건 모델이 하루아침에 성격이 바뀐 게 아니라
서비스 레벨에서 세팅이 다르기 때문인 경우가 많습니다.
6. 마지막 선: 사용자 신고와 여론
생각보다 중요한 마지막 변수는 사용자 반응입니다.
회사들은 꽤 민감하게 이런 걸 봅니다.
- 사람들이 어떤 답변에 불편해하는지
- 어떤 실패 사례가 SNS에서 퍼지는지
- 언론이 어떤 이슈를 크게 다루는지
- 어떤 답변이 브랜드 리스크가 되는지
이런 것들이 쌓이면
정책이 업데이트되거나,
모델의 거절 방식이 바뀌거나,
민감한 주제에 대한 응답 강도가 달라질 수 있습니다.
즉, AI의 정책은
처음부터 완성된 돌판에 새겨진 규칙이 아니라,
사회적 반응을 보며 계속 수정되는 운영 기준에 가깝습니다.
조금 냉정하게 보면
AI의 안전성은 기술 문제이기도 하지만,
동시에 PR 문제, 브랜드 문제, 고객 경험 문제이기도 합니다.
이쯤 되면 AI는 정말 제품 같아집니다.
똑똑한 두뇌이면서 동시에
매일 운영되는 서비스이기도 하니까요.
그래서 AI마다 성격이 다른 걸까?
결론부터 말하면,
그렇다. 그리고 그 차이는 꽤 의도적일 수 있다.
우리는 종종
“이 AI는 왜 이렇게 답답하지?”
“이 AI는 왜 이렇게 자유롭지?”
“이 AI는 왜 너무 착한 척하지?”
라고 느낍니다.
그런데 그 차이는 모델 자체의 차이도 있겠지만,
그보다 바깥에 있는
정책, 안전 기준, 회사 철학, 제품 설계 차이에서 오는 경우도 많습니다.
즉, AI의 개성은
그냥 모델의 개성이 아니라
그 모델을 둘러싼 조직의 개성이기도 합니다.
생각해보면 꽤 흥미롭습니다.
AI를 쓰는 우리는
기술을 만나는 동시에
그 기술을 만든 회사의 가치관과 운영 철학도 함께 만나고 있는 셈이니까요.
정책은 안전장치일까, 검열일까?
이 질문은 결국 빠질 수 없습니다.
어떤 사람은
“이건 안전을 위한 최소한의 장치다”라고 보고,
어떤 사람은
“너무 많이 막으면 사실상 검열 아닌가?”라고 느낍니다.
둘 다 어느 정도는 맞는 말입니다.
문제는 선이 항상 명확하지 않다는 점입니다.
- 위험한 정보를 막는 건 필요해 보이지만
- 어디까지가 위험이고 어디부터가 과잉 제한인지 애매할 때가 있고
- 사용자 보호와 정보 접근 사이의 균형도 늘 쉽지 않습니다
그래서 AI 정책은
정답이 딱 정해진 문제라기보다
계속 줄다리기하는 문제에 가깝습니다.
사용자는 더 자유롭길 원하고,
회사는 더 안전하길 원하고,
정책팀은 더 덜 위험하길 원하고,
제품팀은 덜 답답하길 원합니다.
이 모든 줄다리기 끝에
우리가 보는 한 줄의 답변이 나옵니다.
생각보다 한 줄이 가볍지 않습니다.
결국 AI의 답변은 기술이면서 동시에 편집이다
처음 질문으로 돌아가보면,
LLM의 규제나 정책은 누가 설정할까?
정답은
한 사람이 아니라 여러 층의 사람들이 함께 설정한다에 가깝습니다.
- 법과 규제를 보는 사람
- 회사의 정책을 정하는 사람
- 모델을 훈련하는 사람
- 안전성을 점검하는 사람
- 서비스로 출시하는 제품팀
- 그리고 그 결과에 반응하는 사용자들
우리가 보는 AI의 답변은
모델 혼자 떠올린 말처럼 보이지만,
실제로는 그 뒤에 꽤 많은 손길이 닿아 있습니다.
그래서 AI를 볼 때
“이 모델은 왜 이런 성격이지?”라고 느껴진다면,
그건 꽤 정확한 감각일 수 있습니다.
AI의 말투와 거절은
생각보다 자연 발생적인 것이 아니라,
누군가가 계속 다듬고 조정하고 관리하는 결과일 가능성이 크니까요.
마무리
AI는 종종 아주 자연스럽게 말합니다.
그래서 우리는 그 답변을
그냥 “모델의 생각”처럼 받아들이기 쉽습니다.
하지만 조금만 들여다보면
그 안에는 법, 규제, 정책, 훈련, 안전장치, 제품 기획, 여론 같은
여러 층의 판단이 들어 있습니다.
즉, AI의 답변은 단순한 생성 결과가 아니라
어느 정도는 기획된 결과이기도 합니다.
어쩌면 앞으로 AI를 더 잘 이해하려면
모델이 얼마나 똑똑한지만 보는 게 아니라,
그 모델이 어떤 규칙 위에서 말하고 있는지도 같이 봐야 할지 모르겠습니다.
AI는 말하고 있지만,
그 말을 어디까지 하게 할지는
생각보다 많은 사람이 함께 정하고 있으니까요.
너무 좋은글입니다...