IBM과 AI 인프라 기업 Together AI가 대규모 인공지능(AI) 추론 시장을 겨냥해 손잡았다.

 

두 회사는 11일, IBM 클라우드에 엔비디아 최신 AI 시스템을 활용한 대규모 추론 클러스터를 구축하는 다년간 계약을 체결했다고 밝혔다. 계약 규모는 2억4천만 달러입니다. 클러스터는 2027년 1분기부터 가동될 예정이다.

 

이번 프로젝트의 핵심은 오픈소스 AI 모델의 대규모 추론을 지원할 수 있는 전용 컴퓨팅 인프라를 구축하는 것이다.

 

AI 추론은 학습이 완료된 AI 모델이 사용자의 질문이나 명령을 처리해 실제 답변을 생성하는 과정이다. 생성형 AI 사용이 확대되면서 모델을 학습시키는 것뿐 아니라, 이를 실제 서비스에서 지속적으로 실행하는 데 필요한 컴퓨팅 수요도 빠르게 증가하고 있다.

 

엔비디아 최신 B300 시스템 탑재

IBM 클라우드에 들어설 클러스터에는 엔비디아의 HGX B300 시스템과 Spectrum-X 이더넷 네트워킹 기술이 적용된다.

 

HGX B300은 엔비디아의 블랙웰(Blackwell) 계열 기반 시스템으로, 대규모 AI 작업과 추론을 처리하기 위한 고성능 컴퓨팅 환경을 구성하는 데 사용된다.

 

Together AI는 이 인프라를 활용해 기업 고객들에게 오픈소스 AI 모델의 추론 서비스를 제공할 계획이다.

 

Together AI 플랫폼에서는 DeepSeek, MiniMax, Kimi 등 다양한 개방형 모델을 활용할 수 있다. 회사는 기업들이 특정 AI 업체의 폐쇄형 모델에만 의존하지 않고 여러 모델을 선택할 수 있도록 지원하고 있다.

 

오픈소스 AI 인프라 경쟁도 가속

이번 계약은 생성형 AI 시장의 경쟁이 모델 개발을 넘어 컴퓨팅 인프라 확보 경쟁으로 확대되고 있다는 점에서도 주목된다.

 

기업들이 AI 서비스를 확대할수록 모델을 실제로 운영하기 위한 GPU와 네트워크 인프라 수요도 커지기 때문이다.

 

IBM 역시 엔비디아와의 협력을 확대하며 AI 인프라 시장 공략에 속도를 내고 있다. IBM은 앞서 엔비디아의 블랙웰 울트라 GPU를 IBM 클라우드에서 제공하고 대규모 학습과 고처리량 추론을 지원하겠다고 밝힌 바 있다.

 

Together AI의 성장세도 빠릅니다. 샌프란시스코에 본사를 둔 이 회사는 지난해 3억500만 달러 규모의 시리즈B 투자를 유치했으며, 올해 7월 기업가치 83억 달러를 인정받았다.

 

이번 계약을 통해 IBM은 클라우드 인프라를 제공하고 Together AI는 이를 기반으로 오픈소스 AI 모델 서비스를 확대하는 구조를 구축하게 된다.

 

AI 경쟁의 무대가 '더 좋은 모델'에서 '그 모델을 얼마나 빠르고 효율적으로 돌릴 수 있느냐'로 이동하면서, AI 추론 인프라 시장을 둘러싼 기업들의 경쟁도 한층 치열해질 전망이다.

 

 

*CTV뉴스의 글을 번역,편집한 것입니다.