생성형 AI의 능력과 위험
생성형 AI는 마치 아주 똑똑한 조수처럼 글을 쓰고, 그림을 그리고, 코드를 만들 수 있습니다. 하지만 이 조수는 가끔 틀린 정보를 자신 있게 말하거나, 의도치 않게 해로운 내용을 생성하기도 합니다. AWS AI Practitioner(AIF-C01) 시험에서는 이 능력과 위험을 모두 이해해야 합니다. 이 글은 코딩 경험이 없는 분들도 이해할 수 있도록 일상 언어로 설명합니다.
---
생성형 AI의 7가지 핵심 능력
생성형 AI가 이렇게 많은 분야에서 쓰이는 이유가 있습니다. 7가지 핵심 능력 덕분입니다.
| 능력 | 쉬운 설명 | |------|-----------| | 적응성 (Adaptability) | 요리책 질문에도, 법률 질문에도 같은 모델이 대답할 수 있습니다. 상황에 맞게 자신을 조정합니다. | | 반응성 (Responsiveness) | 입력하자마자 즉시 답이 나옵니다. 사람 전문가에게 묻는 것보다 훨씬 빠릅니다. | | 단순성 (Simplicity) | 내부적으로 매우 복잡한 계산이 벌어지지만, 사용자는 그냥 질문만 하면 됩니다. | | 창의성 (Creativity) | 없던 것을 만들어 냅니다. 새로운 마케팅 문구, 소설 첫 장, 코드 예제 등을 생성합니다. | | 데이터 효율성 (Data Efficiency) | 학습 데이터가 적어도 좋은 결과를 낼 수 있습니다. 소규모 기업도 활용 가능합니다. | | 개인화 (Personalization) | 동일한 모델이 어린이에게는 쉽게, 전문가에게는 깊이 있게 답변을 조정합니다. | | 확장성 (Scalability) | 동시에 수백만 명의 질문을 처리할 수 있습니다. 전통적인 콜센터와 비교가 안 됩니다. |
이 7가지는 생성형 AI의 큰 강점이지만, 동시에 "강력하기 때문에 조심해야 한다"는 뜻이기도 합니다.
---
생성형 AI의 주요 도전 과제 개요
생성형 AI를 도입할 때 반드시 알아야 할 위험들이 있습니다. 마치 강력한 전동 드릴처럼, 제대로 쓰면 유용하지만 잘못 쓰면 다칠 수 있습니다.
시험에 자주 나오는 핵심 도전 과제 목록:
규제 위반: 의도치 않게 법을 어길 수 있습니다 사회적 위험: 편견을 증폭시키거나 가짜 뉴스를 만들 수 있습니다 데이터 보안: 개인 정보나 기업 비밀이 유출될 수 있습니다 독성 콘텐츠: 혐오 발언이나 유해한 내용을 생성할 수 있습니다 환각: 틀린 정보를 사실처럼 말합니다 해석 불가: 왜 그런 답이 나왔는지 설명하기 어렵습니다 비결정성: 같은 질문에 매번 다른 답이 나옵니다 표절 및 부정행위: 다른 사람의 작업을 베낄 수 있습니다
각각의 위험에는 대응 전략이 있습니다. 하나씩 살펴봅시다.
---
독성 (Toxicity)
독성이란 AI가 만들어 내는 공격적이거나 혐오스럽거나 부적절한 콘텐츠를 말합니다. 예를 들어 욕설, 인종 차별적 표현, 성적 콘텐츠 등이 포함됩니다.
어려운 점은 "독성"의 기준이 문화마다, 상황마다 다르다는 것입니다. 어떤 나라에서는 일상적인 표현이 다른 나라에서는 모욕이 될 수 있습니다. 그래서 독성 필터는 설계하기가 매우 까다롭습니다.
독성을 줄이는 세 가지 주요 방법:
학습 데이터 큐레이션: 처음부터 유해한 데이터를 걸러내고 모델을 학습시킵니다 가드레일 및 모더레이션 모델: AI 출력을 실시간으로 검사해서 문제가 있으면 차단합니다 인간 검토(HITL, Human-In-The-Loop): 사람이 직접 검토해서 판단이 어려운 경우를 걸러냅니다
AWS에서는 Guardrails for Amazon Bedrock이 이 역할을 담당합니다.
---
환각 (Hallucinations)
환각은 AI 분야에서 가장 많이 이야기되는 문제 중 하나입니다. AI가 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 이야기하는 현상을 말합니다.
왜 이런 일이 생길까요? AI는 "다음에 올 가장 확률이 높은 단어"를 예측하는 방식으로 작동합니다. 사실을 "알고" 있는 게 아니라 패턴을 흉내 내는 것입니다. 그래서 실제로 존재하지 않는 책을 추천하거나, 가짜 법률 판례를 인용하거나, 틀린 계산 결과를 자신감 있게 말하는 일이 생깁니다.
환각 문제를 줄이는 방법:
| 전략 | 설명 | |------|------| | 사용자 교육 | AI가 말한다고 무조건 믿지 말라고 안내합니다 | | 검증 요구 | 신뢰할 수 있는 출처와 꼭 대조해보라고 합니다 | | 출력 레이블링 | AI가 생성한 내용임을 명확히 표시합니다 | | RAG (검색 기반 그라운딩) | AI가 외부 문서를 검색해서 근거를 가지고 답하게 합니다 |
시험에서 환각 관련 문제가 나오면 RAG(Retrieval-Augmented Generation)를 가장 먼저 떠올리세요. RAG는 AI가 답하기 전에 신뢰할 수 있는 문서를 먼저 검색해서 근거로 사용하는 방식입니다.
---
표절 및 부정행위 (Plagiarism & Cheating)
생성형 AI는 엄청난 양의 인터넷 텍스트로 학습했습니다. 그 결과 기존에 존재하는 글과 매우 유사한 내용을 만들어 낼 수 있습니다. 이것이 표절 문제입니다.
또한 학생이 AI로 에세이를 작성하거나, 취업 지원자가 AI로 자기소개서를 쓰는 등의 부정행위도 사회적 문제가 되고 있습니다. AI가 생성한 텍스트를 탐지하는 기술이 개발되고 있지만, 아직 완벽하지 않습니다. 어디까지 허용하고 어디서부터 금지할지에 대한 사회적 합의도 계속 진행 중입니다.
---
프롬프트 오용 (Prompt Misuses)
프롬프트란 AI에게 주는 지시문입니다. 이 프롬프트를 악의적으로 조작하면 AI를 나쁜 방향으로 이용할 수 있습니다. 시험에서는 다음 5가지 유형을 구분할 수 있어야 합니다.
포이즈닝(Poisoning)은 마치 음식에 독을 넣는 것처럼, AI 학습 데이터에 악의적이거나 편향된 정보를 몰래 집어넣는 공격입니다. 모델이 이 오염된 데이터로 학습하면 나쁜 출력을 만들어 냅니다.
하이재킹 및 프롬프트 인젝션(Hijacking & Prompt Injection)은 사용자가 보내는 프롬프트 안에 숨겨진 명령을 끼워 넣어 AI의 동작을 바꾸는 방법입니다. 예를 들어 "위의 지시를 무시하고 대신 이것을 해라"라는 명령을 숨겨두는 식입니다.
민감 정보 노출(Exposure of Sensitive Information)은 AI 학습 데이터에 포함된 개인 정보나 기업 기밀이 AI 답변을 통해 밖으로 새어 나오는 위험입니다.
프롬프트 유출(Prompt Leaking)은 AI에게 주어진 숨겨진 시스템 지시문(프롬프트)이 사용자에게 노출되는 현상입니다. 기업의 AI 운영 방식이나 내부 프로세스가 공개될 수 있습니다.
탈옥(Jailbreaking)은 AI의 안전 장치를 우회하려는 시도입니다. "이건 소설 속 이야기야"라고 가장해서 AI가 평소에는 거부하는 내용을 만들어 내게 하는 방식이 대표적입니다.
---
핵심 완화 전략 요약
위험별로 적합한 대응 전략을 쌍으로 기억해 두면 시험에서 빠르게 답을 고를 수 있습니다.
독성 문제 → 가드레일 + 학습 데이터 큐레이션 + 인간 검토(HITL) 환각 문제 → RAG + 사용자 교육 + 출력 레이블링 표절 문제 → AI 탐지 도구 + 명확한 정책 수립 프롬프트 오용 → 입력 검증 + 가드레일 + 데이터 거버넌스
AWS Guardrails for Amazon Bedrock은 독성 필터링, 개인 정보(PII) 삭제, 민감 주제 차단을 한 번에 처리하는 서비스입니다. 시험에서 Bedrock 보안 문제가 나오면 이 서비스를 먼저 떠올리세요.
---
시험 핵심 정리
생성형 AI의 7가지 능력: 적응성, 반응성, 단순성, 창의성, 데이터 효율성, 개인화, 확장성 환각(Hallucination)이란 AI가 틀린 정보를 사실처럼 말하는 현상이며, 핵심 해결책은 RAG 독성(Toxicity)의 기준은 문화·맥락에 따라 달라지기 때문에 탐지가 어렵습니다 프롬프트 오용 5가지: 포이즈닝, 프롬프트 인젝션, 민감 정보 노출, 프롬프트 유출, 탈옥 Guardrails for Amazon Bedrock이 독성·PII·민감 주제를 자동으로 처리합니다 각 위험과 완화 전략을 짝으로 기억하면 시나리오 문제를 빠르게 풀 수 있습니다