OpenAI는 챗GPT(ChatGPT)를 통한 폭력적 의도나 실질적인 위해 행위의 확산을 방지하기 위해 안전 시스템을 강화하고 있다. 특히 대규모 총기 난사, 공직자에 대한 위협, 폭탄 테러 등 현실 세계의 폭력적 위협이 언어적 표현을 넘어 실제 행동으로 이어지는 것을 차단하는 데 집중하고 있다.

위험 완화 및 모델 행동 원칙

OpenAI는 모델 스펙(Model Spec)을 통해 모델이 준수해야 할 장기적인 원칙을 명시하고 있다. 핵심 원칙은 사용자의 유용성(Helpfulness)과 자유(User Freedom)를 극대화하는 동시에, 합리적인 기본 설정을 통해 위해(Harm)의 위험을 최소화하는 것이다. 이를 위해 챗GPT는 폭력을 실행하기 위한 구체적인 지침, 전술, 또는 계획을 요청하는 사용자의 입력을 거부하도록 훈련되었다.

다만, 역사적·교육적·예방적 목적의 중립적인 질문에 대해 허용 범위를 유지한다. 폭력에 대한 사실적 정보나 역사적 맥락을 다루는 대화는 허용하되, 실제 위해를 가할 수 있는 상세한 운영 지침이나 실행 가능한 단계(Actionable steps)는 제공하지 않는 것이 핵심이다. 무해한 사용과 유해한 사용 사이의 경계가 미묘하기 때문에, 전문가들과 협력하여 안전한 응답과 위험한 응답을 구분하는 정교한 접근 방식을 지속적으로 개선하고 있다.

다층적 위험 감지 체계

안전 시스템은 단일 메시지뿐만 아니라 대화의 흐름을 분석하는 데 중점을 둔다. 단일 메시지 자체로는 무해해 보일 수 있으나, 긴 대화 과정이나 여러 대화에 걸쳐 나타나는 패턴을 통해 잠재적인 위험 신호를 포착한다. 이를 위해 모델 훈련, 평가, 레드팀(Red Teint) 활동, 그리고 전문가의 피드백을 바탕으로 고위험 대화 내의 미세한 경고 징후를 인식하는 능력을 강화했다.

자해 및 심리적 위기 상황에 대한 대응도 포함된다. 사용자가 심리적 고통을 겪거나 자해 위험이 있는 경우, 챗GPT는 상황을 완화(De-escalate)하고 실질적인 도움을 받을 수 있도록 안내한다. 구체적으로는 지역별 위기 지원 자원을 제공하며, 정신 건강 전문가나 주변 지인에게 도움을 요청하도록 권고한다. 상황이 매우 심각한 경우에는 긴급 구조 서비스(Emergency help)를 찾도록 유도한다.

안전 시스템의 구성 요소

OpenAI의 안전 체계는 다음과 같은 요소들을 통해 운영된다. 모델 스펙(Model Spec) 준수: 유용성과 안전성 사이의 균형 유지 패턴 분석: 장기 대화 및 다중 대화에서의 위험 징후 포착 위기 대응: 자해 및 심리적 위기 시 지역별 지원 자원 연결 전문가 협업: 심리학자, 정신과 의사, 시민 자유 전문가, 법 집행 전문가의 피드백 반영

OpenAI는 향후 몇 주 내에 이러한 안전 강화 작업에 대한 더 구체적인 내용을 추가로 공유할 예정이다.