AI 정복하기

AI랑 일할수록
우리 회사 정보가 새고 있다면?
똑똑한 AI 비서, ‘이것’ 모르면 독이 된다.

글. 성기천 버즈니 AI 엔지니어

생성형 AI는 보고서 작성, 회의록 정리, 번역, 기획안 초안 작성 등 다양한 업무 영역에서 활용 범위를 빠르게 확대하며 필수적인 도구로 자리매김하고 있다. 그러나 이러한 편의성 뒤에는 민감한 기업 정보나 개인정보가 외부로 유출될 수 있는 위험이 상존한다. 생성형 AI를 안전하게 활용하기 위해서는 잠재적 위험 요인을 인지하고 이에 대한 대비책을 마련하는 것이 필요하다.

회사의 핵심 기술 정보가
AI 학습 데이터로 전송·
활용될 수 있다는
우려가 제기된 것이다.

이 사건은
생성형 AI 활용이
잠재적으로
심각한 보안 사고를
초래할 수 있음을 경고한다.

삼성전자 엔지니어의 실수가 전 세계에 던진 경고

2023년 3월 어느 날, 삼성전자의 한 엔지니어가 업무 중 문제를 해결하기 위해 ChatGPT를 켰다. 그는 단순히 프로그램을 개선하기 위해 AI를 사용한 것이지만 이 작은 행동은 전 세계 기업들에게 AI에 대한 경각심을 심어준 계기가 되었다. 회사의 핵심 기술 정보가 AI 학습 데이터로 전송·활용될 수 있다는 우려가 제기된 것이다. 이에 삼성전자는 즉시 사내 AI 사용을 전면 금지하였으며, JP모건, 골드만삭스 등 글로벌 금융기관들도 잇따라 ChatGPT 접속을 차단하였다. 이 사건은 생성형 AI 활용이 잠재적으로 심각한 보안 사고를 초래할 수 있음을 경고한다.

내 정보가 AI에게 어떻게 새어나갈까?

우리가 AI와 나누는 대화가 어떻게 다른 곳으로 흘러갈 수 있는지 알아보자. 가장 흔한 경우는 AI가 우리 대화를 ‘공부’에 활용하는 것이다. 마치 학생이 교과서로 공부하듯, AI도 사용자들과의 대화를 통해 더 똑똑해진다. 문제는 이 과정에서 우리가 입력한 개인정보나 회사 기밀이 AI의 ‘기억’ 속에 남아, 나중에 다른 사용자에게 흘러나올 수 있다는 점이다.
또 다른 위험은 해킹이나 시스템 오류다. 2023년 Microsoft가 실수로 38테라바이트(TB)의 내부 데이터를 인터넷에 공개해버린 사건처럼, 아무리 큰 기업이라도 실수는 일어난다. 이때 우리가 AI 서비스에 저장해둔 대화 내용이 함께 노출될 수 있다.
마지막으로 가짜 AI 서비스나 악의적 조작도 주의해야 한다. 진짜 ChatGPT인 줄 알고 사용했는데 알고 보니 해커가 만든 가짜 사이트였다면? 또는 누군가가 AI 학습 데이터에 악의적인 명령을 숨겨놓았다면? 이런 경우 우리가 입력한 정보가 악용되거나 엉뚱한 답변을 받을 수 있다.

정부와 기업들이 만드는 새로운 규칙들

AI 기술이 빠르게 발전하면서 정부와 기업들도 발빠르게 대응하고 있다. 주요 AI 서비스들은 각각 다른 방식으로 사용자 정보를 처리한다. 어떤 서비스는 대화 내용을 학습에 활용하고, 어떤 서비스는 일정 기간 후 삭제한다. 중요한 것은 각 서비스의 개인정보 처리방침을 꼼꼼히 읽어보고, 필요하다면 대화 기록 저장을 거부하거나 삭제할 수 있는 옵션을 활용하는 것이다.
유럽연합(EU)은 2026년부터 세계 최초의 AI 규제법인 ‘AI Act’를 전면 시행한다. 이 법은 AI를 위험도에 따라 4단계로 나누어 관리하며, 높은 위험도의 AI는 더 엄격한 규제를 받게 된다. 위반 시에는 회사 전체 매출의 최대 7%에 달하는 거액의 벌금을 물 수도 있다.
한국도 2026년 1월부터 ‘AI 기본법’이 시행된다. 이 법은 AI 사용으로 인한 피해를 예방하고, 개인정보를 더 안전하게 보호하기 위한 기준을 제시한다. 2026년부터 시행되는 새로운 규제들은 단순히 기업만의 문제가 아니다. 일반 사용자들도 AI 서비스를 이용할 때 더 많은 제약을 받게 될 수 있다. 예를 들어, AI 서비스에 가입할 때 더 복잡한 동의 절차를 거쳐야 하거나, 특정 유형의 질문은 할 수 없게 될 수도 있다. 하지만 이는 우리의 개인정보와 권리를 더 잘 보호하기 위한 변화이기도 하다.
현재 전 세계적으로 AI 관련 소송이 활발히 진행 중이다. 디즈니는 AI 이미지 생성 도구를 상대로, 뉴욕타임즈는 OpenAI를 상대로 저작권 침해 소송을 제기했다. 이미 이탈리아는 OpenAI에 약 200억 원, 네덜란드는 얼굴인식 AI 기업에 약 400억 원의 벌금을 부과한 바 있다. AI 기술이 발전할수록 이를 규제하는 법률도 함께 강화되고 있다는 신호다.

2026년 1월부터 시행되는 ‘AI 기본법’

고영향 AI 정의
워터마크 의무화
정부 조사 범위의 모호함
기존 법령과의 중복



AI와 함께 살아가는 8가지 슬기로운 방법

AI 시대를 안전하게 살아가기 위해 우리가 지켜야 할 실천 수칙들을 소개한다.

ㅣ개인정보와 회사 기밀은 절대 입력하지 말자 주민등록번호, 집 주소, 전화번호, 신용카드 정보 등 나를 식별할 수 있는 정보는 절대 AI에게 알려주지 말아야 한다. 마찬가지로 회사의 고객 정보, 재무 자료, 신제품 계획 등도 위험하다. 개인정보보호법이나 기업 기밀유지 약속을 위반할 수 있기 때문이다.

ㅣAI의 ‘거짓말’을 구별하자 AI는 때때로 그럴듯한 거짓말을 한다. 존재하지 않는 뉴스를 만들어내거나, 가짜 논문을 인용하기도 한다. 특히 의료, 법률, 투자 관련 조언은 반드시 전문가나 공식 기관을 통해 다시 확인해야 한다. AI를 사용할 때 반드시 출처를 요청하고 해당 원문을 방문하여 신빙성이 있는지 확인하는 습관을 가지는 것이 좋다.

ㅣAI도 편견을 가질 수 있다 AI는 인터넷의 방대한 자료로 학습하기 때문에, 때로는 사회의 편견이나 차별적 시각을 그대로 반영할 수 있다. 특히 채용이나 평가에 AI를 활용할 때는 이런 편견이 불공정한 결과를 낳을 수 있으니 주의가 필요하다.

ㅣ실수하기 쉬운 상황들을 조심하자 Meta의 AI 앱에서는 사용자들의 대화가 다른 사람에게 보여지는 설정이 기본으로 되어 있어 당황한 사용자들이 많았다. 또한 AI 회의록 도구가 회의 후 잡담까지 기록해서 모든 참석자에게 전송하는 경우도 있다. 이런 예상치 못한 상황들을 염두에 두고 설정을 꼼꼼히 확인해야 한다.

ㅣ저작권 문제도 생각해 보자 AI가 만든 이미지나 텍스트를 업무에 사용할 때는 저작권 침해 위험이 있다. 중요한 업무에 AI 생성 콘텐츠를 사용하기 전에는 법무팀과 상의하는 것이 좋다.

ㅣ공식 사이트와 앱만 이용하자 가짜 ChatGPT 앱이나 사이트가 많다. 무료로 사용하려고 찾다 보면 개인정보 유출을 목적으로한 사이트일 가능성이 높다. 반드시 OpenAI, Google, Microsoft 등 정식 회사의 공식 사이트나 앱스토어를 통해서만 이용해야 한다.

ㅣ공공장소에서는 조심하자 PC방이나 공공 와이파이에서는 개인적인 대화를 피하고, 로그아웃을 꼭 확인해야 한다. 특히 회사 계정이 아닌 개인 계정으로 업무 관련 내용을 다루지 말아야 한다.

ㅣ새로운 위험에 대비하자 AI 기술은 너무 빠르게 발전해서 전문가들도 모든 위험을 예측하기 어렵다. 따라서 AI에 너무 의존하지 말고, 항상 비판적으로 생각하며 적당한 거리감을 유지하는 것이 중요하다. 결정과 책임은 최종적으로 AI를 사용하는 사람에게 있다. 명심하자.

AI와 인간의 창의성이 공존하는 미래

AI는 우리의 창작 가능성을 무한히 확장시키고 있다. 하지만 AI 생성물에 대한 저작권은 여전히 인간의 창의적인 기여에 달려 있다는 점을 명심해야 한다. AI는 강력한 도구이지만, 최종적으로 저작권을 인정받고 법적 보호를 받기 위해서는 인간의 독창적인 생각과 노력이 더해져야 한다. 이제 우리는 AI와 인간이 단순히 도구와 사용자 관계를 넘어, 창의성과 법적 안전성을 조화롭게 발전시킬 방법을 모색해야 할 시점이다. AI의 잠재력을 최대한 활용하면서도 저작권 침해의 위험을 줄이고, 동시에 인간 창작자의 권리를 보호하는 균형점을 찾아 나가는 것이 바로 AI 시대의 현명한 콘텐츠 활용 전략이 될 것이다.

<참고 자료>

· 정두용(2023.03.30.), “우려가 현실로···삼성전자, 챗GPT 빗장 풀자마자 ‘오남용’ 속출”, 이코노미스트. · 이예훈(2023.05.03.), “삼성, 데이터 유출 우려에 ChatGPT 등 AI 챗봇 툴 사용 금지”, 굿모닝베트남메거진. · Rahul Bagai(2025.05.02.), “Are Your AI Containers Leaking Data? The CISO’s Guide to ML Endpoint Security”, Corporate Compliance Insights. · OpenAI(2025.06.05.), “Response to The New York Times’ Data Demands”, OpenAI Blog. · Hillai Ben-Sasson & Ronny Greenberg(2023.09.18.), “38 Terabytes of Private Data Accidentally Exposed by Microsoft AI Researchers”, Wiz Blog. · Michael Alexander Riegler(2024.06.26.), “AI Assistant Privacy: What Claude, ChatGPT, and Gemini Users Should Know”, Medium. · Anthropic, “I Have a Zero Data Retention Agreement with Anthropic – What Products Does It Apply To?”. · NIST, “AI Risk Management Framework (AI RMF) Resources”. · Thoropass, “AI Data Breach: Understanding Their Impact and Protecting Your Data”. · 송영찬(2024.05.22.), “EU, 세계 최초 AI 규제법 승인···2026년 전면 시행”, 한국경제. · 심민선(2025.07.18.), “AI 기본법 시행, 산업계는 무엇을 준비해야 하는가”, 법률신문.