File size: 5,831 Bytes
b84e5a0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
---
language:
- multilingual
- af
- am
- ar
- as
- az
- be
- bg
- bn
- br
- bs
- ca
- cs
- cy
- da
- de
- el
- en
- eo
- es
- et
- eu
- fa
- fi
- fr
- fy
- ga
- gd
- gl
- gu
- ha
- he
- hi
- hr
- hu
- hy
- id
- is
- it
- ja
- jv
- ka
- kk
- km
- kn
- ko
- ku
- ky
- la
- lo
- lt
- lv
- mg
- mk
- ml
- mn
- mr
- ms
- my
- ne
- nl
- 'no'
- om
- or
- pa
- pl
- ps
- pt
- ro
- ru
- sa
- sd
- si
- sk
- sl
- so
- sq
- sr
- su
- sv
- sw
- ta
- te
- th
- tl
- tr
- ug
- uk
- ur
- uz
- vi
- xh
- yi
- zh
license: mit
library_name: sentence-transformers
tags:
- korean
- sentence-transformers
- transformers
- multilingual
- sentence-similarity
- feature-extraction
- llama-cpp
- gguf-my-repo
base_model: upskyy/e5-large-korean
datasets: []
metrics:
- pearson_cosine
- spearman_cosine
- pearson_manhattan
- spearman_manhattan
- pearson_euclidean
- spearman_euclidean
- pearson_dot
- spearman_dot
- pearson_max
- spearman_max
widget:
- source_sentence: 이집트 군대가 형제애를 단속하다
  sentences:
  - 이집트의 군대가 무슬림 형제애를 단속하다
  - 아르헨티나의 기예르모 코리아와 네덜란드의 마틴 버커크의  다른 준결승전도 매력적이다.
  - 그것이 사실일 수도 있다고 생각하는 것은 재미있다.
- source_sentence: 오, 그리고 다시 결혼은 근본적인 인권이라고 주장한다.
  sentences:
  - 특히 결혼은 근본적인 인권이라고 말한 후에.
  - 해변에 있는 흑인과 그의 개...
  - 이란은  프로그램이 평화적인 목적을 위한 것이라고 주장한다
- source_sentence: 조지 샤힌은 안데르센 컨설팅 사업부에서 일했다.
  sentences:
  - 112건의 퇴거를 예방하거나 미연에 방지하여 151,619달러의 피난처 비용과 그들이 실향민이 되었을  가족들이 겪는 혼란을 덜어주었다.
  - 안데르센 컨설팅은 여전히 번창하는 사업이다.
  - 이것은 내가 영국의 아서 안데르센 사업부의 파트너인  와디아를 아서 안데르센 경영진이 선택한 것보다 래리 웨인바흐를 안데르센 월드와이드의
    경영 파트너로 승계하기 위해 안데르센 컨설팅 사업부(현재의 엑센츄어라고 알려져 있음)의  관리 파트너인 조지 샤힌에 대한 지지를 표명했을
     가장 명백했다.
- source_sentence:  표는 주요 경제 정보를 보여준다.
  sentences:
  - 표는 모집단 밀도를 나타냅니다.
  - 아이들이 야외에서 놀고 있다.
  -  3 배출량 감소가 개인 소비와 국내총생산(GDP)의 다른 구성 요소에 미치는 영향을 비교하기 위해 2010년의 주요 거시경제 데이터를
    요약한 것이다.
- source_sentence: 안경을  나이든 남자가 바닥에 누워 갓난아기와 장난감 소방차를 가지고 놀고 있다.
  sentences:
  -  검은 머리와 초록색 탱크톱을 가진 남자가 손가락을 보고 있다.
  - 안경을  남자는 원숭이이고 아기 원숭이와 놀고 있다.
  - 안경을  남자가 바닥에 누워 놀고 있다.
pipeline_tag: sentence-similarity
model-index:
- name: upskyy/e5-large-korean
  results:
  - task:
      type: semantic-similarity
      name: Semantic Similarity
    dataset:
      name: sts dev
      type: sts-dev
    metrics:
    - type: pearson_cosine
      value: 0.8710078333363093
      name: Pearson Cosine
    - type: spearman_cosine
      value: 0.8698788475177747
      name: Spearman Cosine
    - type: pearson_manhattan
      value: 0.8598807479137434
      name: Pearson Manhattan
    - type: spearman_manhattan
      value: 0.8682945370063891
      name: Spearman Manhattan
    - type: pearson_euclidean
      value: 0.8596482760879562
      name: Pearson Euclidean
    - type: spearman_euclidean
      value: 0.8679655812613122
      name: Spearman Euclidean
    - type: pearson_dot
      value: 0.8684600033706916
      name: Pearson Dot
    - type: spearman_dot
      value: 0.8668368265035578
      name: Spearman Dot
    - type: pearson_max
      value: 0.8710078333363093
      name: Pearson Max
    - type: spearman_max
      value: 0.8698788475177747
      name: Spearman Max
---

# hongkeon/e5-large-korean-Q8_0-GGUF
This model was converted to GGUF format from [`upskyy/e5-large-korean`](https://huggingface.co/upskyy/e5-large-korean) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
Refer to the [original model card](https://huggingface.co/upskyy/e5-large-korean) for more details on the model.

## Use with llama.cpp
Install llama.cpp through brew (works on Mac and Linux)

```bash
brew install llama.cpp

```
Invoke the llama.cpp server or the CLI.

### CLI:
```bash
llama-cli --hf-repo hongkeon/e5-large-korean-Q8_0-GGUF --hf-file e5-large-korean-q8_0.gguf -p "The meaning to life and the universe is"
```

### Server:
```bash
llama-server --hf-repo hongkeon/e5-large-korean-Q8_0-GGUF --hf-file e5-large-korean-q8_0.gguf -c 2048
```

Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.

Step 1: Clone llama.cpp from GitHub.
```
git clone https://github.com/ggerganov/llama.cpp
```

Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
```
cd llama.cpp && LLAMA_CURL=1 make
```

Step 3: Run inference through the main binary.
```
./llama-cli --hf-repo hongkeon/e5-large-korean-Q8_0-GGUF --hf-file e5-large-korean-q8_0.gguf -p "The meaning to life and the universe is"
```
or 
```
./llama-server --hf-repo hongkeon/e5-large-korean-Q8_0-GGUF --hf-file e5-large-korean-q8_0.gguf -c 2048
```