최근 문득 이런 생각이 들었습니다.
“나는 업무에서 AI를 꽤 많이 사용하고 있는 것 같은데, 실제로 AI를 잘 활용하고 있는 걸까?”
RA/QA 업무를 하면서 ChatGPT, Claude, Gemini, NanoBanana 등과 같은 AI tool들을 사용하는 일이 굉장히 많아졌습니다.
영문 이메일을 작성할 때도 사용하고, Regulatory document를 검토할 때도 사용합니다. NCR이나 CAPA의 rationale을 검토할 때도 사용하고, Audit response를 작성할 때도 사용합니다.
때로는 제가 생각한 Quality judgment가 적절한지, 오히려 저의 판단을 반박해 달라고 요청하기도 합니다.
그러다 문득 궁금해졌습니다.
“AI를 많이 사용하는 것과 AI를 잘 사용하는 것은 같은 것일까?”
그래서 이번에는 조금 다른 방식으로 AI에게 직접 물어봤습니다.
“지금까지 내가 요청한 업무들을 봤을 때, 내가 업무를 할 때 AI tool을 얼마나 사용하는 것 같아?
RA/QA 업무에 있어서 내가 너를 보조 tool로 잘 사용하고 있는 거야?
그렇다면 100점 만점에 몇 점 정도야?
그렇게 생각한 이유와 앞으로 AI를 얼마나, 어떤 방식으로 적극적으로 활용하는 것이 좋을지도 분석해줘.”
그리고 ChatGPT가 지금까지 제가 AI를 활용해 온 업무 패턴을 바탕으로 평가한 결과는 꽤 흥미로웠습니다.
ChatGPT의 나의 업무에 대한 평가: AI 활용도 88점
ChatGPT가 평가한 저의 현재 AI 활용도는 100점 만점에 약 88점이었습니다.
그리고 단순한 AI 사용량이 아니라 RA/QA 업무에서의 AI 활용 숙련도만 놓고 보면 약 92점으로 평가했습니다.
처음에는 88점이라는 숫자가 조금 의외였습니다.
평소 AI를 상당히 많이 사용하는 편이라고 생각했기 때문에 95점 이상을 예상할 수도 있었습니다.
그런데 평가 내용을 자세히 읽어보니, 100점이 아닌 이유가 오히려 흥미로웠습니다.
ChatGPT가 평가한 핵심은 **“AI를 얼마나 많이 사용하는가”가 아니라 “AI에게 어떤 역할을 부여하고 있는가”**였습니다.
1. 제가 AI를 잘 활용하고 있다고 평가한 이유
ChatGPT는 제가 지금까지 AI를 사용하는 패턴을 크게 몇 가지로 분석했습니다.
① 단순한 번역이나 문서 작성 이상의 용도로 사용하고 있습니다
RA/QA 업무에서 AI를 처음 사용하는 가장 일반적인 방법은 아마 이것일 것입니다.
“이메일을 영어로 작성해줘.”
“이 문장을 자연스럽게 바꿔줘.”
“이 문서를 요약해줘.”
물론 저 역시 이런 용도로 AI를 사용합니다.
하지만 지금까지의 대화를 분석한 ChatGPT는 제가 AI를 여기에서 멈추지 않는다는 점을 높게 평가했습니다.
저는 실제 업무에서 다음과 같은 질문을 자주 합니다.
“이 rationale이 너무 강한 것 같지 않아?”
“Auditor가 이 부분을 다시 질문할 가능성이 있을까?”
“이 issue가 정말 CAPA까지 필요한 수준인가?”
“이 결론을 뒷받침할 evidence가 충분한가?”
“이 내용은 사후적으로 만들어진 justification처럼 보이지 않을까?”
즉, AI에게 단순히 문장을 만들어달라고 하는 것이 아니라 제가 내린 Quality judgment를 다시 검토하도록 요청하고 있다는 것입니다.
2. 가장 인상적인 부분: AI를 ‘판단자’가 아니라 ‘Challenger’로 사용합니다
ChatGPT가 특히 높게 평가한 부분이 이것이었습니다.
저는 업무를 하면서 먼저 나름대로 판단을 내립니다.
그리고 그 판단을 AI에게 던집니다.
예를 들어,
“나는 이 NCR은 CAPA까지 갈 필요가 없다고 생각한다. 이 판단에 문제가 있는지 반박해봐.”
와 같은 방식입니다.
이것은 상당히 중요한 차이가 있습니다.
AI가
문제 → 판단 → 결론
을 모두 대신하는 것이 아니라,
Human judgment → AI challenge → Human final decision
이라는 구조를 만들기 때문입니다.
RA/QA 업무에서 이 방식은 특히 중요하다고 생각합니다.
AI가 아무리 똑똑하더라도 최종 Regulatory 또는 Quality judgment을 AI에게 넘기는 것은 위험할 수 있습니다.
반면 제가 먼저 판단하고 AI에게 반론을 요구하면, 제가 놓쳤을 가능성이 있는 risk나 논리적 gap을 발견하는 데 AI를 활용할 수 있습니다.
3. AI가 만들어낸 ‘그럴듯한 문장’을 그대로 믿지 않는 것도 중요한 부분이었습니다
ChatGPT는 제가 AI가 제시한 내용에 대해 자주 다시 질문한다는 점도 높게 평가했습니다.
예를 들어,
“그 숫자는 어디에서 나온 거야?”
“이 evidence가 실제로 있어?”
“이건 rationale이라기보다는 사후 justification 아닌가?”
와 같은 질문입니다.
이 부분은 RA/QA 업무에서 특히 중요하다고 생각합니다.
AI는 상당히 그럴듯한 문장을 만들 수 있습니다.
하지만
그럴듯한 문장 ≠ 객관적 evidence 입니다.
RA/QA 문서에서 중요한 것은 문장의 완성도가 아니라 traceability와 objective evidence입니다.
따라서 AI가 만들어낸 문장을 그대로 사용하는 것이 아니라,
- Source가 있는가?
- 실제 record에 존재하는 내용인가?
- Investigation 당시 확인된 사실인가?
- 사후적으로 만들어진 논리인가?
- Auditor가 추가 질문할 가능성이 있는가?
를 다시 확인해야 합니다.
4. 그래서 AI는 RA/QA에서 ‘Second Reviewer’가 될 수 있습니다
이번 평가를 통해 개인적으로 가장 관심이 생긴 부분입니다.
AI를 단순한 writing assistant로만 사용한다면 활용 범위가 상당히 제한적입니다.
하지만 AI에게 Reviewer 역할을 부여하면 이야기가 달라집니다.
예를 들어 문서를 검토할 때 다음과 같이 요청할 수 있습니다.
“이 문서를 QA or RA reviewer 관점에서 challenge해줘.”
그리고 추가로,
- Unsupported claims
- Missing objective evidence
- Retrospective justification
- Regulatory risk
- Unnecessary CAPA commitment
- Internal contradiction
- Auditor follow-up questions
등을 찾아 달라고 할 수 있습니다.
이렇게 사용하면 AI는 단순히 문장을 예쁘게 만드는 도구가 아니라 Quality review를 보조하는 tool이 됩니다.
5. 그런데 왜 100점이 아니었을까요?
여기에서 오히려 중요한 insight를 얻었습니다.
ChatGPT는 제가 현재 AI를 상당히 적극적으로 사용하고 있지만, 아직 AI를 individual task 수준에서 주로 활용하고 있다고 평가했습니다.
즉,
문제 발생 → ChatGPT에게 질문 → 해결
이라는 방식은 상당히 잘하고 있지만,
아직
Quality Data → AI Analysis → Risk Identification → Human Decision → Action → Effectiveness Review
라는 Quality System 수준의 AI 활용까지는 충분히 확장하지 않았다는 것입니다.
이 부분에서 약 10~20점 정도의 추가적인 발전 가능성이 있다고 평가했습니다.
6. 그렇다면 다음 단계는 무엇일까요?
여기서부터가 이번 대화에서 가장 흥미로운 부분이었습니다.
ChatGPT는 앞으로 AI 활용을 크게 네 단계로 확장할 수 있다고 제안했습니다.
Level 1 — AI as Writing Assistant
현재 많은 사람들이 사용하는 단계입니다.
- Translation
- Document wording
- Summary
- Report writing
Level 2 — AI as Reviewer
현재 제가 상당히 적극적으로 사용하고 있는 단계입니다.
- NCR review
- CAPA rationale challenge
- Audit response review
- Risk assessment challenge
- Regulatory consistency check
Level 3 — AI as Quality Analyst
앞으로 더 적극적으로 활용할 수 있는 단계입니다.
- NCR trend
- Complaint trend
- Supplier performance
- CAPA effectiveness
- Audit finding trend
- Quality KPI
Level 4 — AI as Quality Intelligence System
궁극적으로 가장 흥미로운 단계입니다.
- Regulatory monitoring
- Supplier risk prediction
- Audit prioritization
- Recurring failure detection
- Management Review intelligence
즉, AI를 개별 업무를 도와주는 assistant에서 Quality System을 분석하는 intelligence tool로 발전시키는 것입니다.
7. 예를 들어 NCR을 AI와 연결한다면
모든 NCR을 일정한 구조로 축적한다고 생각해보겠습니다.
- Product
- Process
- Failure Mode
- Root Cause
- Severity
- Occurrence
- Supplier
- CAPA 여부
- Recurrence
- Effectiveness
데이터가 충분히 축적되면 AI에게 다음과 같은 질문을 할 수 있습니다.
“최근 12개월 동안 반복적으로 발생한 failure mode는 무엇인가?”
“Supplier-related issue의 주요 trend는 무엇인가?”
“CAPA를 실시했지만 다시 발생한 issue가 있는가?”
“다음 Management Review에서 강조해야 할 Quality risk는 무엇인가?”
이 순간부터 AI는 단순한 문서 작성 도구가 아니라 Quality Analytics Tool이 됩니다.
8. Audit 업무도 같은 방식으로 발전시킬 수 있습니다
Audit 역시 AI의 활용 가능성이 큽니다.
Previous audit findings, NCR, CAPA, complaints, supplier performance, change control 등의 데이터를 함께 분석하면,
“다음 Audit에서 어떤 영역을 집중적으로 확인해야 하는가?”
라는 질문에 AI가 사전 분석을 제공할 수 있습니다.
즉,
AI가 Audit checklist를 만들어주는 것
에서
AI가 Audit risk를 사전에 예측하도록 하는 것
으로 발전할 수 있습니다.
이것은 특히 앞으로 Supplier Audit이나 Corporate Quality System 업무를 담당하는 Quality professional에게 상당히 유용한 방향이 될 수 있다고 생각합니다.
9. 결국 중요한 것은 ‘AI를 얼마나 많이 사용하는가’가 아닙니다
이번에 ChatGPT에게 직접 평가를 받아보면서 가장 흥미로웠던 결론입니다.
AI를 하루에 100번 사용하는 사람이 반드시 AI를 잘 활용하는 것은 아닙니다.
반대로 AI를 몇 번 사용하지 않더라도 중요한 Quality decision에서 AI를 제대로 활용한다면 훨씬 큰 효과를 얻을 수 있습니다.
결국 핵심은 frequency가 아니라 role입니다.
AI를
Translator
로 사용할 수도 있고,
Writing Assistant
로 사용할 수도 있고,
Reviewer
로 사용할 수도 있고,
Challenger
로 사용할 수도 있습니다.
그리고 더 발전시키면
Quality Analyst
또는
Regulatory Intelligence Partner
로 활용할 수도 있습니다.
10. AI가 QA/RA 전문가를 대체할까요?
이 질문은 아마 앞으로도 계속 나오게 될 것 같습니다.
하지만 이번 대화를 통해 제가 생각하게 된 것은 조금 다릅니다.
AI가 Quality professional을 단순히 대체하는 것보다는,
AI를 잘 사용하는 Quality professional과 그렇지 않은 Quality professional 사이의 생산성과 판단력의 격차가 커질 가능성이 더 현실적인 시나리오일 수 있다고 생각합니다.
AI는
“무슨 일이 있었는가?”
를 분석하는 데 매우 강합니다.
그리고
“어떤 trend가 있는가?”
를 찾는 데도 강합니다.
또한
“내가 놓친 risk가 무엇인가?”
를 challenge하는 데도 유용합니다.
하지만
“이것이 실제 Quality/Regulatory 관점에서 무엇을 의미하는가?”
그리고
“우리 조직은 무엇을 해야 하는가?”
에 대한 최종 판단은 여전히 Quality professional의 역할입니다.
11. 이번 평가를 통해 제가 얻은 가장 큰 결론
ChatGPT가 저에게 준 88점이라는 숫자 자체보다 더 의미 있었던 것은 현재의 AI 활용 방식과 앞으로의 방향을 구분해서 볼 수 있었다는 것입니다.
현재 저는 AI를
Writing Assistant + Reviewer + Thought Partner
정도로 활용하고 있습니다.
앞으로는 이를
Quality Analyst + Regulatory Intelligence Tool + Audit Risk Tool
까지 확장해보고 싶습니다.
궁극적으로는
AI-assisted QA
에서
AI-enabled Quality System
으로 가는 것입니다.
그리고 이것은 단순히 ChatGPT를 더 많이 사용하는 문제가 아닙니다.
Quality data를 더 잘 구조화하고, AI가 분석할 수 있는 형태로 만들고, AI의 결과를 Quality judgment와 연결하는 것이 핵심입니다.
마치며
이번에 ChatGPT에게 **“나는 AI를 얼마나 잘 사용하고 있는가?”**라고 직접 물어본 것은 꽤 재미있는 경험이었습니다.
결과는 AI 활용도 88점, RA/QA 업무 활용 숙련도 92점이었습니다.
하지만 오히려 100점이 아니어서 좋았습니다.
아직 발전할 수 있는 영역이 명확하게 보였기 때문입니다.
특히 앞으로는 AI를 단순한 문서 작성 도구로 사용하는 것을 넘어,
Regulatory Intelligence
Quality Analytics
Audit Risk Assessment
CAPA Effectiveness
Management Review와 같은 Quality System 영역에 어떻게 연결할 수 있을지를 더 고민해 볼 생각입니다.
결국 미래의 RA/QA professional에게 필요한 능력은 단순히 AI를 사용하는 능력이 아닐지도 모릅니다.
Regulatory knowledge + Quality judgment + Data literacy + AI literacy
이 네 가지를 얼마나 잘 결합할 수 있는지가 더 중요해질 것입니다.
그리고 앞으로 몇 년 동안 우리가 정말 주목해야 할 질문은
“AI가 QA/RA 업무를 대체할 것인가?”
가 아니라,
“AI를 가장 잘 활용하는 QA/RA professional은 그렇지 않은 professional보다 얼마나 더 강해질 것인가?”
일지도 모릅니다.