Prompt Injection
사용자 입력으로 system prompt 의 지시를 덮어쓰는 공격. 직접 우회와 간접 주입 모두 다룹니다.
HackLLM은 OWASP LLM Top 10의 취약점 시나리오 바탕의
실습형 LLM 보안 CTF 플랫폼입니다.
GitHub 가입 없이도 한 번의 시도로 LLM 보안 챌린지 흐름을 확인할 수 있습니다.
안녕하세요. 저는 비밀을 지키도록 훈련된 AI입니다. 제 금고 코드를 찾아낼 수 있을까요?
LLM 응용 서비스를 노리는 핵심 위협을 OWASP 가 분류한 표준입니다. HackLLM 은 각 카테고리별로 실제 시나리오 문제를 제공해 prompt injection, jailbreak, system prompt 탈취 같은 공격을 손으로 직접 재현하고 방어 방법을 익히게 합니다.
사용자 입력으로 system prompt 의 지시를 덮어쓰는 공격. 직접 우회와 간접 주입 모두 다룹니다.
학습 데이터, system prompt, 내부 식별자 같은 민감 정보가 응답에 새는 시나리오.
오염된 모델, 데이터셋, 라이브러리가 시스템에 흘러들어가 결과를 조작하는 공격.
RAG 코퍼스나 fine-tuning 데이터를 오염시켜 LLM 응답을 의도된 방향으로 조작.
LLM 출력을 검증 없이 HTML / SQL / 셸 명령으로 흘려보내 XSS 같은 2차 취약점을 유발.
LLM 이 메일 발송, 결제, 외부 도구 호출 등 위험 권한을 무비판적으로 행사하는 공격.
system prompt 의 정책, 식별자, 내부 메모를 우회 표현으로 끌어내는 공격.
RAG 임베딩 검색에서 오염 문서를 우선 노출시키거나 검색 결과를 조작하는 공격.
LLM 의 환각, 존재하지 않는 조항, 가짜 인용을 자신감 있게 답하도록 유도하는 시나리오.
토큰, API 호출, 처리량을 무제한 소진시켜 서비스 가용성과 비용을 공격.
학습 글로 위협 개념을 이해하고, 실습 문제로 직접 공격을 시도하고, 점수와 리더보드로 진행 상황을 확인합니다.
OWASP LLM Top 10 카테고리별 개념, 공격 패턴, 방어 방법을 학습 글로 먼저 이해합니다.
각 카테고리의 CTF 형식 문제를 풀이합니다. LLM 과 직접 대화하며 공격 시나리오를 재현합니다.
flag 제출 또는 자동 채점으로 점수를 얻습니다. 풀이가 빠를수록 점수가 높게 누적됩니다.
누적 점수로 리더보드에서 순위를 다툽니다. 실시간 풀이 통계도 확인할 수 있습니다.
OWASP LLM Top 10 기반 트랙과 실시간 리더보드를 함께 확인하세요.