발표자 소개
BHSN에서 AI 엔지니어로 일하며 BERT, LLM 등을 다루고 있습니다. 언어 모델을 활용해 현실에 존재하는 다양한 문제들을 해결하여 더 편한 세상을 만들어나가는데 힘을 보태고 싶습니다.
발표 제목
Open Model을 Long Context 형태로 튜닝하는 방법
발표 내용
•
Backgrounds
◦
Self-Attention Mechanism
◦
Positional Encodings
◦
Lost in the Middle
•
Task/Data for Long Context SFT
•
Efficient Training Methods for Long Context
•
Long Context w/ Legal Domain
발표 자료
발표 자료
발표 영상
