Saxo commited on
Commit
2151144
·
verified ·
1 Parent(s): e7ebdcf

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -27,7 +27,7 @@ pipeline_tag: text-generation
27
  </div>
28
 
29
 
30
- AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성 박사(Saxo)가 Meta-Llama-3.1-8B-Instruct 베이스모델을 KT-CLOUD상의 H100-40G 4개를 통해 SFT->DPO 파인 튜닝을 한
31
  한글 언어 모델로 한국어-중국어-영어-일본 교차 학습 데이터와 로지컬 데이터를 통하여 복잡한 한글 논리문제 역시 대응 가능하도록 훈련한 모델이며 토크나이저는 단어 확장 없이 베이스 모델 그대로 사용.
32
  Deepspeed Stage=3, rslora, flash attention 2 를 사용
33
 
 
27
  </div>
28
 
29
 
30
+ AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성 박사(Saxo)가 Meta-Llama-3.1-8B-Instruct 베이스모델을 KT-CLOUD상의 H100-80G 4개를 통해 SFT->DPO 파인 튜닝을 한
31
  한글 언어 모델로 한국어-중국어-영어-일본 교차 학습 데이터와 로지컬 데이터를 통하여 복잡한 한글 논리문제 역시 대응 가능하도록 훈련한 모델이며 토크나이저는 단어 확장 없이 베이스 모델 그대로 사용.
32
  Deepspeed Stage=3, rslora, flash attention 2 를 사용
33