Throne

온프레미스 AI 어플라이언스 분석

Seongah Kim·

온프레미스 AI 어플라이언스 기업 분석

데이터 유출 우려와 규제(EU AI Act, 전자금융감독규정 등)로 인해 클라우드 AI를 도입하지 못하는 금융, 국방, 공공 부문을 타깃으로 '하드웨어+소프트웨어 통합 패키지(Appliance)'를 제공하는 글로벌 주요 기업들의 분석 보고서이다.


1. 글로벌 주요 기업별 상세 분석

① Wavenetic (웨이브네틱스)

  • 본사: 슬로베니아 류블랴나 (Slovenia)
  • 체급: 직원 2명의 극초기 스타트업 (2024년 매출 약 2.7억 원, 전년비 +74.48%)
  • 패키지 구성:
  • 장비: 자체 설계 소형/저소음 서버 'WaveNode' (사무실 책상 밑이나 변전소 배치 가능)
  • 모델: 오픈소스 기반 온프레미스 모델
  • 솔루션: 문서 기반 RAG 도구 'WaveOps', EV 충전 관리 플랫폼 'NEXUS'
  • 시장 어필 방식: "클라우드를 믿지 못하는 규제 산업을 위한 AI 가전제품". 슬로베니아 국영 전력망(ELES) 납품 레퍼런스를 바탕으로 완전한 망분리(Air-gapped) 환경에서의 보안성을 강조한다.

② SambaNova Systems (삼바노바 시스템즈)

  • 본사: 미국 캘리포니아 (USA)
  • 체급: 누적 투자 유치액 수억 달러 규모의 글로벌 메가 스타트업 (SoftBank, Temasek, Intel 등 투자)
  • 패키지 구성:
  • 장비: 자체 설계 AI 전용 반도체 RDU(Reconfigurable Dataflow Unit) 탑재 랙 시스템
  • 모델: 자체 최적화한 초거대 오픈소스 모델 (BF16 정밀도 유지)
  • 솔루션: 엔터프라이즈용 풀스택 AI 플랫폼 'SambaNova Suite'
  • 시장 어필 방식: "The Fastest AI Inference. Period." (가장 빠른 AI 추론. 그게 전부다.) 엔비디아 GPU의 메모리 병목을 해결하여 대형 모델 구동 시 최대 10배 빠른 속도와 5배 높은 에너지 효율을 제공하는 'AI 시대의 IBM' 전략을 취한다.

③ Lamini (라미니)

  • 웹사이트: lamini.ai (현재 SSL 인증서 만료 및 관리 방치로 접속 불가)
  • 본사: 미국 캘리포니아 (USA)
  • 체급: 사실상 영업 종료 및 인재 인수(Acqui-hire) 상태 (2025년 중순 공동 창업자 및 핵심 엔지니어 팀 전체가 AMD로 이직하며 사실상 공중분해됨)
  • 패키지 구성:
  • 장비: AMD GPU 및 ROCm 인프라 기반 최적화 하드웨어 'Lamini Appliance'
  • 모델: 고객 맞춤형 미세조정(Fine-tuning)이 가능한 오픈웨이트 모델
  • 솔루션: 엔터프라이즈 전용 프라이빗 LLM 빌더 및 배포 플랫폼
  • 시장 어필 방식: "Enterprise AI on your terms." (당신의 방식대로 구현하는 기업용 AI). 단 10줄의 코드로 사내 데이터를 안전하게 학습시키고 배포할 수 있는 극도의 개발자 편의성과 데이터 유출 제로(Zero Data Leakage)를 보장했으나, 하드웨어 파트너인 AMD에 흡수되면서 독자 비즈니스는 마감했다.

④ BtMData (비티엠데이터)

  • 본사: 유럽 (Europe)
  • 체급: 유럽 내 친환경 데이터센터 인프라 및 소버린 GPU 클라우드 구축 전문 기업
  • 패키지 구성:
  • 장비: 4U 규격 랙 어플라이언스 'Edge Pod Mini' (NVIDIA Blackwell GPU 탑재)
  • 모델: Llama 3.1, Mistral Large, DeepSeek-R1 등 소버린 오픈소스 모델 프리로드
  • 솔루션: vLLM 추론 엔진, RAG 파이프라인, SSO 및 사용자 UI 통합 패키지
  • 시장 어필 방식: "유럽 AI 법안(EU AI Act) 및 GDPR을 완벽히 준수하는 소버린 인프라". 모든 AI 답변에 암호화 서명(Intel TDX, NVIDIA Confidential Computing)을 적용하여 위변조가 불가능한 감사 로그(Audit Log)를 제공함으로써 금융권 감사에 특화된 포지셔닝을 취한다.

⑤ FuriosaAI (퓨리오사AI)

  • 본사: 대한민국 서울 (Korea)
  • 체급: 한국의 대표적인 AI 반도체 유니콘 (최근 국가 성장금융 등으로부터 대규모 투자 확보)
  • 패키지 구성:
  • 장비: 자체 설계 2세대 AI NPU 'RNGD(랑게)' 탑재 서버
  • 모델: LG유플러스의 거대 언어모델 'EXAONE 4.0'
  • 솔루션: 엘지유플러스의 기업용 AI 플랫폼 'ixi-Enterprise' 통합 패키지
  • 시장 어필 방식: "Sustainable AI Compute." (지속 가능한 AI 컴퓨트). 엔비디아 GPU 대비 압도적인 '와트당 성능(Performance-per-watt)'을 무기로 삼으며, 국산 칩과 국산 모델을 결합한 완벽한 '국산 소버린 AI' 패키지를 공공 및 금융권에 제안한다.

⑥ Infercom (인퍼컴)

  • 본사: 룩셈부르크 (Luxembourg)
  • 체급: 유럽 내 소버린 AI 인프라 및 추론 서비스 제공 신흥 강자
  • 패키지 구성:
  • 장비: SambaNova RDU 기반 전용 하드웨어 (고객사 데이터센터 내 90일 이내 구축)
  • 모델: MiniMax, gpt-oss-120b, Gemma 3 등 유럽 내 호스팅 모델
  • 솔루션: OpenAI 호환 API, 제로 데이터 보존(Zero Data Retention) 보안 솔루션
  • 시장 어필 방식: "미국 CLOUD Act 노출이 전혀 없는 진정한 유럽 데이터 주권". 미국계 클라우드 기업의 유럽 자회사를 쓰더라도 피할 수 없는 미국 정부의 데이터 압수 권한(CLOUD Act)을 원천 차단하는 유럽 사법권 관할 인프라임을 강조한다.

⑦ Open Hippo (오픈 히포)

  • 본사: 독일 아우크스부르크 (Germany)
  • 체급: 독일 친환경 데이터센터(LEW GDC) 파트너십 기반의 소버린 AI 솔루션 기업
  • 패키지 구성:
  • 장비: NVIDIA Blackwell GPU 기반 고성능 서버 'Hippo Server'
  • 모델: 특정 모델에 종속되지 않는 오픈웨이트 모델 (Llama, Mistral 등 자유 교체)
  • 솔루션: 프라이빗 채팅 UI 'Hippo Chat', vLLM 및 LiteLLM 기반의 'Hippo API' 대시보드
  • 시장 어필 방식: "Your data never leaves your network." (당신의 데이터는 절대 네트워크를 떠나지 않습니다). 계약 체결 후 단 4주 만에 하드웨어 조달부터 소프트웨어 배포, 사내망 연동까지 끝내는 **'4주 완성 초고속 턴키 구축'**과 의료/금융 데이터의 완벽한 로컬 통제를 내세운다.


2. 한눈에 보는 비교 매트릭스

기업명
하드웨어 기반
핵심 소프트웨어 솔루션
주요 타깃 및 소버린 내러티브
구축 속도 및 확장성
Wavenetic
자체 소형 서버 (WaveNode)
WaveOps (RAG), NEXUS (EV)
슬로베니아 공공/에너지 (망분리 보안)
느림 (2인 기업의 수작업 구축)
SambaNova
자체 RDU 칩 랙
SambaNova Suite (풀스택)
글로벌 대형 금융, 국방 (초고속 추론)
보통 (대형 인프라 구축 중심)
Lamini
AMD GPU (ROCm)
프라이빗 LLM 튜닝 플랫폼
포춘 500, 대기업 개발팀 (쉬운 미세조정)
빠름 (소프트웨어 자동화 수준 높음)
BtMData
NVIDIA Blackwell 랙
vLLM, LiteLLM, RAG, SSO
유럽 금융, 로펌 (EU AI Act 감사 로그)
보통 (12주 이내 구축)
FuriosaAI
자체 RNGD NPU
LGU+ ixi-Enterprise, EXAONE
한국 공공, 금융 (국산 소버린 AI)
보통 (통신사 연계 패키지)
Infercom
SambaNova RDU
OpenAI 호환 API, Zero-Retention
유럽 금융, 정부 (미국 CLOUD Act 차단)
보통 (90일 이내 온프레미스 구축)
Open Hippo
NVIDIA Blackwell 서버
Hippo Chat, Hippo API (LiteLLM)
독일 의료, 금융 (데이터 사내망 통제)
매우 빠름 (4주 완성 턴키)


3. 아키텍트 관점의 시장 인사이트 및 벤치마킹 포인트

  1. 하드웨어의 이원화 전략
  • 자체 칩 진영 (SambaNova, FuriosaAI): 엔비디아 GPU 수급 대란을 우회하고 TCO(총소유비용)를 낮추기 위해 자체 실리콘 기술력을 무기로 삼는다. 기술 장벽은 높으나 대규모 자본이 필수적이다.
  • 범용 칩 진영 (Lamini, BtMData, Open Hippo): 검증된 엔비디아나 AMD 하드웨어를 빠르게 조달하되, 그 위에 얹는 소프트웨어 스택(vLLM, LiteLLM, RAG, UI)의 통합 편의성으로 승부한다. 초기 시장 진입 속도가 압도적으로 빠르다.
  1. 규제와 감사(Audit)가 곧 세일즈 포인트
  • 금융권과 공공기관이 온프레미스를 찾는 진짜 이유는 단순히 '보안이 좋아서'가 아니라 **'규제 기관의 감사를 통과해야 해서'**이다.
  • BtMData처럼 하드웨어 수준에서 암호화 서명을 적용해 **위변조 불가능한 AI 답변 감사 로그(Audit Log)**를 제공하는 기능은 금융권 세일즈에서 가장 강력한 킬러 피처(Killer Feature)가 된다.
  1. '4주 완성'과 같은 명확한 타임라인 제시
  • 대기업들은 AI 인프라를 구축할 때 기획부터 배포까지 수개월이 걸리는 병목에 지쳐있다. Open Hippo처럼 **"4주 만에 전원 꽂아 쓰게 해준다"**는 명확한 타임라인 제시는 고객의 의사결정 속도를 극적으로 단축시킨다.
Throne 에서 공유된 문서예요.