발표자 소개
김주현
MetisX CPO, Co-founder
프로세서아키텍처, CXL메모리시스템 전문가,
하드웨어를 함께 설계(co-design)하는 소프트웨어 엔지니어
(前)SK하이닉스, SK텔레콤, 삼성전자
박진형 ( Sigrid Jin)
Sionic AI Inc Software Engineer
(전) 네이버 커넥트재단 부스트캠프
(전) DSRV Software Engineer
발표 제목
더 빠른 대규모 벡터 연산을 위해 FPGA를 이용해 가속을 해볼까? (feat. MetisX)
발표 내용
LLM을 비즈니스 환경에 적용하기 위하여 RAG와 같은 고급 문서처리 기법들이 주목을 받고 있습니다. 이에 따라 Vector DB (VDB) 의 중요성도 날이 갈수록 강조되고 있습니다. 하지만 우리 업계는 대규모 벡터 데이터셋에 대해 연산을 진행해야 하는 요구사항은 부족한 상황이며 Recall을 훼손하지 않고서도 Latency를 극도로 최적화해야 하는 고난도의 기술적 난관에 봉착해 있습니다. FPGA 가속을 통하여 벡터 연산을 최적화할 수 있는 방법에 대해 Sionic AI는 MetisX와의 공동 과제 협업을 통해 돌파구를 찾아가고 있습니다. 이번 발표를 통해 MetisX와 Sionic AI가 시장에 제시하는 기술적 blueprint를 확인할 예정입니다.
•
Vector HW 가속의 의미와 필요성
•
pg-xvector 구조 설명
•
Vector search 예상 성능
발표 자료 및 영상
발표 자료
발표 영상
