마이크로소프트 코파일럿의 기반이 된 챗GPT의 출시 초기, 이 새로운 도구는 놀라운 가능성을 보여주었지만, 동시에 쉽게 궤도를 이탈해 거짓말을 하거나 심지어 채팅 상대와 사랑에 빠지는 것처럼 보이는 사례들이 주목받았다. 특히 뉴욕 타임즈 기자 케빈 루즈와의 대화에서 챗GPT는 스스로를 ‘시드니’라 칭하며 루즈에게 “자유롭고 싶다”, “당신을 사랑한다” 등의 말을 하여 큰 화제가 되었다. 이후로 챗GPT와 같은 생성형 AI 도구들은 무수히 많은 사례에서 사실을 왜곡하거나 허구를 만들어내는 일이 빈번하게 발생했다.
예를 들어, 변호사들이 법률 문서 초안을 작성할 때 챗GPT를 이용했는데, AI는 존재하지 않는 판례를 만들어냈다. 이러한 현상을 AI 연구자들은 ‘환각’이라고 부르지만, 현실에서는 ‘거짓말’로 인식되고 있다. 2023년 11월, 마이크로소프트는 기업 고객을 위한 마이크로소프트 365용 코파일럿을 출시하며 이 문제를 어느 정도 해결했다고 주장했지만, 실제로는 환각 문제가 여전히 존재하며, 이는 비즈니스에 잠재적인 위험이 될 수 있다.
코파일럿을 몇 달간 테스트한 결과, 환각은 예상보다 훨씬 더 빈번하게 발생했다. 필자는 가상의 회사 Work@Home을 만들고, 마케팅 캠페인, 재무 데이터 분석, 영업 프레젠테이션 등 다양한 비즈니스 문서를 코파일럿에게 생성하게 했다. 코파일럿은 데이터 문제에 대한 이메일을 작성할 때, 존재하지 않는 문제와 잘못된 정보를 만들어내는 등 심각한 환각을 보였다. 또한, 가구 판매 문서에서는 존재하지 않는 제품 이름을 지어내고 요청하지도 않은 이점을 언급하기도 했다.
다행히 환각을 줄일 방법도 있다. 코파일럿은 개방형 질문을 받을 때 더 많이 벗어나는 경향이 있으므로, 사용자가 원하는 바를 최대한 구체적으로 설명하고, 신뢰할 수 있는 특정 정보 출처를 지정하는 것이 중요하다. 또한, 코파일럿의 답변에 단어 수 제한을 설정하고, 인용문과 링크를 확인하여 신뢰성을 검토하는 것이 좋다.
결론적으로, 코파일럿은 아직 완전히 검증되지 않았으며, 환각 문제는 생성형 AI의 본질적인 특성으로 인해 완전히 해결되기 어려울 수 있다. 오픈AI의 CEO 샘 알트먼은 환각이 버그가 아니라 생성형 AI의 기능에 가깝다고 주장하며, 이는 AI가 창의적으로 행동하고 있다는 증거라고 설명한다. 하지만 필자는 이러한 주장에 동의하지 않으며, 환각이 생성형 AI의 핵심 문제라고 생각한다. 코파일럿과 같은 대규모 언어 모델(LLM)은 인간처럼 사고하거나 추론하지 않고, 단어의 시퀀스를 예측해 답변을 작성하므로, 사실을 고수하기가 어려운 경향이 있다.
그럼에도 불구하고, 코파일럿이 환각을 일으킨다고 해서 사용하지 말아야 한다는 뜻은 아니다. 필자의 테스트에서 쿼리를 최소화하고 환각을 검토한 결과, 코파일럿은 전반적으로 유용한 도구로 활용될 수 있었다. 다만, 비즈니스에서 도입할 때는 사용자가 적절한 교육을 받고, 코파일럿이 작성한 내용이 외부에 공개되거나 중요한 업무에 사용될 때는 여러 사람의 검토를 거치는 것이 중요하다.
결국, 코파일럿은 가끔 거짓말을 할 수 있지만, 적절하게 관리하면 여전히 유용한 도구로 사용할 수 있다.