Appearance
corp-docs.product.harness.overview
@lineage: phase.xyz.product.harness.overview @lineage: phase.xyz.product.fiber.runtime.harness @lineage: phase.xyz.product.runtime.harness @desc: 에이전트 코드 수정 없이(Zero-Code), 외부 통신 직전(Pre-I/O)에 보안·비용·고위험 실행을 물리적으로 통제하는 AI 런타임 하네스
0. 도입 배경: 기업 내 LLM 및 에이전트 도입의 현실적 딜레마
기업들이 생산성 향상을 위해 코딩 어시스턴트(Cursor, Claude Code)와 자율형 AI 워크플로우를 빠르게 도입하고 있으나, 실제 운영 환경에서는 다음 4가지 치명적인 통제 공백이 발생하고 있습니다.
- 개인정보(PII) 및 핵심 기밀 유출: 직원이 프롬프트에 고객 개인정보나 내부 소스코드를 입력하거나, 에이전트가 로컬 파일을 읽어들여 외부 클라우드 LLM 서버로 무단 전송하는 보안 사고가 발생합니다. 또한 각 직원 PC 설정 파일에 마스터 API 키가 평문으로 방치됩니다.
- 무한 루프 및 오류로 인한 과금 폭탄: 자율형 에이전트가 추론 루프에 빠지거나 네트워크 타임아웃으로 인해 동일한 유료 API/도구를 수백 번 중복 호출하면서, 하룻밤 사이에 예산을 초과하는 비용 폭탄이 발생합니다.
- 고위험 도구 실행에 따른 운영 사고: 에이전트에게 실제 업무 권한(MCP 도구)을 부여했을 때, 관리자 확인 없이 운영 DB를 삭제(
DELETE/DROP)하거나 외부 결제·인프라 변경을 임의로 실행하는 대형 사고 위험이 상존합니다. - 비결정론적 응답과 테스트 비용 낭비: 에이전트 로직이나 보안 정책을 검증(CI/CD)할 때마다 매번 유료 LLM API를 실제로 호출해야 하며, 호출 시마다 AI 답변이 달라져 일관된 품질 검증이 불가능합니다.
1. 왜 기존 솔루션으로는 이 문제를 막을 수 없는가? (The Gap)
위의 문제를 해결하기 위해 기존 보안 솔루션이나 LLM 모니터링 도구를 도입해도 3가지 구조적 한계에 부딪힙니다.
- 사후 약방문식 관측 (Post-Event Logging): 기존 모니터링 도구는 기밀 데이터가 이미 외부 서버로 넘어간 뒤, 혹은 월말에 과금 청구서가 나온 뒤에야 로그와 경고를 띄울 뿐 물리적인 전송을 막지 못합니다.
- 비효율적인 승인 대기 (Blocking & Re-run Waste): 위험 작업을 막기 위해 인간 승인(HITL)을 걸면, 승인 전까지 서버 프로세스가 자원을 점유한 채 멈춰 있거나, 승인 후 처음부터 워크플로우를 다시 실행해야 해서 시간과 토큰 비용이 이중으로 낭비됩니다.
- 도입을 위한 대규모 코드 수정: 가드레일이나 프록시를 적용하기 위해 사내에 파편화된 에이전트 설정과 애플리케이션 비즈니스 로직을 일일이 뜯어고쳐야 합니다.
2. Fiber의 핵심 강점 요약 (3 Unfair Advantages)
Fiber는 단순한 LLM 라우터나 사후 로깅 도구가 아닙니다. ‘물리적 실행 직전 단계(Pre-I/O)’를 단일 게이트웨이로 장악하여 기존 방식의 한계를 다음 3가지 강점으로 돌파합니다.
| 핵심 강점 (Killer Edge) | 기존 솔루션의 한계 | Fiber의 기술적 돌파구 (Why It Wins) | 비즈니스 임팩트 |
|---|---|---|---|
| ① 무손실 핀셋 결재 (Smart HITL & O(1) Resume) | 위험 작업 시 전체 중단 또는 승인 후 처음부터 재실행 | 조회 작업은 즉시 통과·저장하고, DELETE 등 고위험 작업 직전에만 무비용 일시정지 후 승인 즉시 중단 지점부터 바로 재개 | 대기 리소스 0, 재실행 토큰 낭비 0, 업무 속도 유지 |
| ② 전송 전 물리적 차단 (Pre-I/O Guard & Kill-Switch) | 데이터 유출 및 예산 초과 발생 후 사후 경고 | 네트워크가 열리기 전 ~0.01ms 내 개인정보 마스킹·기밀 원천 차단, 스트리밍 중 예산 초과 시 연결 즉시 절단 | 기밀 유출 가능성 0%, 예산 한도 초과 0원 |
| ③ 무수정 도입 & 0원 검증 (Zero-Code & VCR Replay) | 에이전트 코드 직접 수정 필요, 테스트마다 API 과금 | 설정 변경 없는 단일 게이트웨이 흡수, 실제 트래픽 녹화본(VCR)으로 외부 통신 없이 오프라인 재생 테스트 | 도입 시 코드 수정 0줄, CI/CD 테스트 API 비용 0원 |
3. 아키텍처 오버뷰: 어디서, 어떻게 통제하는가?
에이전트의 **‘생각(LLM 추론)’**과 **‘행동(MCP 도구 실행)’**이 외부 세계로 나가는 유일한 길목을 단일 데몬으로 장악하여, **4가지 통제 지점([★1]~[★4])**에서 실시간으로 개입합니다.
[통합 통제 토폴로지 (ASCII Topology)]
text
[ 내부 에이전트 / CI ] [ Fiber Runtime Harness (통합 통제 계층) ] [ 외부 세계 ]
• 코딩 에이전트 ──┐ ┌────────────────────────────────────────────────────────┐
• AI 워크플로우 ──┼────► │ [★1. 무수정 진입 & 키 은닉] │
• CI/CD 테스트 ───┘ │ • 클라이언트 설정 내 API 키 제거 (OS 환경변수 직접 주입) │
│ • 이종 LLM 요청/응답 규격 단일 정규화 │
└───────────────────────────┬────────────────────────────┘
▼
┌────────────────────────────────────────────────────────┐ (안전 통과)
│ [★2. 외부 전송 전(Pre-I/O) 차단 & 예산 킬스위치] ├──────────────► [ Cloud / Local LLMs ]
│ • ~0.01ms 개인정보(PII) 마스킹 / 33종 시크릿 통신 차단 │ (OpenAI, Gemini 등)
│ • 스트리밍 중 예산 한도 도달 시 즉시 연결 절단(aclose) │
└───────────────────────────┬────────────────────────────┘
▼
┌────────────────────────────────────────────────────────┐ (즉시 실행)
│ [★3. 무손실 조건부 승인 (Smart HITL)] ├──────────────► [ Safe Tools (MCP) ]
│ • 네트워크 오류 시 중복 호출 캐시 반환 (이중 과금 방지) │ (단순 조회 / 진단)
│ • 저위험 조회는 통과 후 상태 저장(Checkpoint) │
│ • 고위험 명령(DELETE/결제) 감지 시 실행 전 무비용 파킹 │
└─────────────┬────────────────────────────┬─────────────┘
│ │ (HTTP 202 대기 & 알림)
(트래픽 녹화/오프라인 재생) ▼
│ [ 관리자 Slack / OTP 결재 ]
│ │
▼ ▼ (앞단 재실행 없이 즉시 재개)
┌───────────────────────────┐┌─────────────────────────────────────────┐
│ [★4. 로컬 VCR 저장소] ││ High-Risk Tools (Prod DB / 결제 등) │
│ • 0원·0ms 결정론적 리플레이 ││ • 승인된 고위험 작업의 안전한 완료 │
└───────────────────────────┘└─────────────────────────────────────────┘[핵심 실행 및 결재 시퀀스 (ASCII Flow)]
text
[1. 무수정 진입] [2. Pre-I/O 물리적 차단] [3. 무손실 핀셋 결재 (HITL)]
┌──────────────────┐ ┌──────────────────────────┐ ┌──────────────────────────────┐
│ 에이전트 요청 │ │ 기밀 유출 및 예산 검사 │ │ 도구(MCP) 실행 위험도 판별 │
│ (API 키 노출 0) │ └────────────┬─────────────┘ └──────────────┬───────────────┘
└────────┬─────────┘ │ │
│ ┌────────────┴────────────┐ ┌────────────┴────────────┐
▼ ▼ (기밀/예산초과) ▼ (정상/PII) ▼ (저위험 조회) ▼ (고위험 DELETE/결제)
┌──────────────────┐ ┌────────────────────┐ ┌────────────────────┐ ┌────────────────────┐ ┌────────────────────────┐
│ OS 인증키 주입 & │ │ [즉시 차단/절단] │ │ ~0.01ms PII 마스킹 │ │ 즉시 실행 완료 및 │ │ 실행 직전 무비용 정지 │
│ 단일 스키마 변환 ├──►│ • 네트워크 I/O 차단 │ │ 후 LLM 스트림 진행 ├──►│ 상태 체크포인트 │ │ (HTTP 202 파킹) │
└──────────────────┘ │ • 스트림 강제 종료 │ └────────────────────┘ │ 저장 │ └───────────┬────────────┘
└────────────────────┘ └────────────────────┘ │
▼ (Slack/OTP 승인)
┌────────────────────────┐
│ [O(1) 즉시 재개] │
│ 앞단 재실행(토큰낭비) │
│ 없이 중단 지점부터 완료 │
└────────────────────────┘4. 핵심 역량 상세: 주력 통제 엔진(Core)과 도입 가속기(Enabler)
기획 및 마케팅 시, **고객이 도입을 결정하는 핵심 통제 가치(Core Engine)**와 **도입 및 테스트 장벽을 없애주는 기반 기술(Enabler)**을 구분하여 소구합니다.
Part A. 주력 통제 엔진 (Why Customers Buy)
1. 작업 흐름을 깨지 않는 ‘핀셋 일시정지’와 ‘O(1) 즉시 재개’
- 해결하는 문제: 보안을 위해 모든 도구 실행을 막으면 에이전트가 무용지물이 되고, 위험 작업 발견 시 세션을 강제 종료하면 앞단에서 수행한 추론과 조회 비용이 모두 증발합니다.
- Fiber의 차별점:
- 선조치 후 정지: 안전한 조회·진단 도구는 지연 없이 통과시키고 그 결과 상태를 보존합니다. 오직
DROP,DELETE, 결제 등 정규식으로 정의된 고위험 인자가 감지될 때만 워커가 실행되기 직전에 멈춰 세웁니다. - 무비용 대기 및 즉시 복원: 관리자가 Slack 버튼이나 OTP로 승인할 때까지 프로세스 점유 없이(Stateless Yield) 대기하며, 승인 즉시 앞선 1~2단계를 재실행하지 않고 **멈췄던 3단계 지점부터 즉시 복원(O(1) Resume)**하여 작업을 끝냅니다.
- 중복 실행 방어 (멱등성): 에이전트가 네트워크 타임아웃으로 동일한 유료 도구를 재호출해도 캐시된 결과를 반환해 중복 결제나 이중 처리를 막습니다.
- 선조치 후 정지: 안전한 조회·진단 도구는 지연 없이 통과시키고 그 결과 상태를 보존합니다. 오직
2. 사후 감사가 아닌 ‘외부 전송 전(Pre-I/O)’ 보안 및 예산 킬스위치
- 해결하는 문제: 프롬프트에 실수로 포함된 고객 개인정보나 API 키가 외부 클라우드 LLM으로 전송된 뒤에는 회수가 불가능하며, 에이전트 무한 루프로 인한 과금은 사후 알림으로 막을 수 없습니다.
- Fiber의 차별점:
- 2-Track 초저지연 가드레일: 외부 네트워크 I/O가 발생하기 전에 작동합니다. 개인정보(PII)는 체감 지연 없이(
~0.01ms) 인플레이스 마스킹하여 정상 진행시키고, 33종의 시크릿/암호화 키가 감지되면 아예 외부 통신을 열지 않고 즉시 차단(Short-Circuit)합니다. - 실시간 스트림 브레이커: AI가 답변을 스트리밍하는 도중 실시간으로 토큰을 계산하여, 할당된 예산을 초과하거나 권한이 회수되는 즉시 연결을 물리적으로 절단(
aclose)해 초과 과금을 원천 차단합니다.
- 2-Track 초저지연 가드레일: 외부 네트워크 I/O가 발생하기 전에 작동합니다. 개인정보(PII)는 체감 지연 없이(
Part B. 도입 및 운영 가속기 (Why It's Easy to Adopt)
3. 비즈니스 로직을 건드리지 않는 ‘무수정 통합 게이트웨이’
- 해결하는 문제: 보안 솔루션을 도입하기 위해 사내에 퍼져 있는 에이전트 코드와 IDE 설정을 일일이 뜯어고치는 것은 불가능에 가깝습니다.
- Fiber의 차별점:
- Drop-in 연동 및 키 은닉: 기존 코드나
.mcp.json설정 변경 없이 루프백 데몬과 SDK 진입점만으로 트래픽을 흡수합니다. 각 직원 PC 설정 파일에 있던 마스터 API 키를 모두 지우고, 게이트웨이가 호스트 OS 환경변수에서 직접 키를 주입해 클라이언트 단의 키 유출을 뿌리 뽑습니다. - 멀티 모델 단일 정규화: OpenAI, Gemini, 로컬 모델 등 제각각인 입출력 스키마를 게이트웨이가 단일 규격으로 자동 변환하여 특정 모델 종속(Lock-in)을 막습니다.
- Drop-in 연동 및 키 은닉: 기존 코드나
4. 테스트 비용을 0원으로 만드는 ‘결정론적 VCR 리플레이’
- 해결하는 문제: 에이전트 워크플로우와 보안 규칙을 CI/CD에서 자동 테스트할 때마다 외부 LLM 비용이 발생하고, AI의 답변이 매번 달라져 테스트가 깨집니다.
- Fiber의 차별점:
- 실시간 스트림 녹화 및 오프라인 재생: 실제 운영/개발 중 발생한 LLM 스트리밍 청크와 가드레일 차단 상태를 로컬 JSON 픽스처로 정교하게 녹화합니다.
- 비용 0원·지연 0초 QA: 테스트 환경(
VCR_MODE=replay)에서는 외부 네트워크 연결 없이 로컬 디스크에서 녹화본을~0ms속도로 재생하여, 외부 API 비용 0원으로 언제나 100% 동일한 결과를 재현합니다.
5. 기존 솔루션 카테고리 대비 포지셔닝 (Market Positioning)
| 비교 영역 | 단순 LLM 라우터 / 프록시 | 사후 모니터링 (Observability) | Fiber Runtime Harness |
|---|---|---|---|
| 핵심 목적 | 다중 LLM 연결 및 단순 라우팅 | 로그 수집, 추적 및 사후 분석 | 실시간 실행 통제 (보안·비용·도구 승인) |
| 통제 범위 | LLM 추론 요청에 한정 | LLM 및 체인 실행 로그 관측 | LLM 추론 + 외부 도구(MCP) 실행 통합 통제 |
| 보안/예산 개입 | 단순 호출 횟수 제한(Rate Limit) | 유출·예산 초과 발생 후 알림 | 외부 전송 전 기밀 차단, 스트림 중 즉시 절단 |
| 고위험 도구 제어 | 제어 불가 (에이전트에 일임) | 실행 완료된 이력만 사후 감사 | 실행 직전 무비용 일시정지 → 승인 시 즉시 재개 |
| 테스트(CI/CD) | 매 테스트마다 실제 LLM 과금 발생 | 테스트 결과 로그 기록 | 트래픽 녹화 후 0원·0ms 오프라인 무한 재생 |