meandyou200175/paraphrase-multilingual-MiniLM-L12-v2_finetune

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/paraphrase-multilingual-MiniLM-L12-v2_finetune")
# Run inference
sentences = [
    'Chào bác sĩ. Em đi khám ở bệnh viện đa khoa bác sĩ kết luận là em bị đa nhân 2 thùy tuyến giáp tirads 3 kém đồng nhất 2 thùy tuyến giáp. Nang thùy trái tuyến giáp vậy có nguy hiểm không ạ? Em hoang mang quá ạ.',
    'Chào em, Phân loại Ti-rads là phân loại tiên lượng ác tính của nhân giáp trên siêu âm. + TI-RADS-1: Mô giáp lành. + TI-RADS-2: Các tổn thương lành tính (0% nguy cơ ác tính). + TI-RADS-3: Các tổn thương nhiều khả năng lành tính (1,7% ác tính). + TI-RADS-4: 4a: Tổn thương có 1 dấu hiệu siêu âm nghi ngờ (3,3% ác tính). 4b: Tổn thương có 2 dấu hiệu siêu âm nghi ngờ (9,2% ác tính). 4c: Tổn thương có 3-4 dấu hiệu siêu âm nghi ngờ (44,4-72,4% ác tính). + TI-RADS-5: có từ 5 trở lên dấu hiệu siêu âm nghi ngờ (87,5% ác tính). + TI-RADS-6: Biết chắc chắn bướu ác tính trước đó. Theo kết quả mô tả siêu âm tuyến giáp của em thì hai nhân giáp thùy phải và thùy trái của em được đánh giá là tirads 3 (phân độ nguy cơ ác tính của nhân giáp), tức là nhiều khả năng lành tính và có 1,7% nguy cơ ác tính mà thôi. Đối với nhân giáp tirads 3, nguy cơ ác tính thấp, thì việc quyết định nên sinh thiết hay theo dõi sẽ cần dựa vào nhiều yếu tố khác, như nhân giáp này có làm rối loạn hormone tuyến giáp hay không, tiền căn gia đình có ai bị ung thư không, bản thân em có từng chiếu xạ vùng đầu mặt cổ không… Do đó, em cần khám chuyên khoa Giáp, thuộc chuyên khoa Nội tiết hoặc chuyên khoa Ung bướu để bác sĩ xem lại biên bản siêu âm, khai thác thêm những thông tin về bản thân và gia đình em, làm thêm xét nghiệm nếu chưa đủ (như xét nghiệm kiểm tra chức năng tuyến giáp) từ đó mới đưa ra kết luận về hướng xử trí phù hợp tiếp theo, em nhé.',
    'Hình minh họa.\r\nNguồn Internet Chào bạn, Nếu như đã có\r\ný định đi thì bạn nên đến các phòng khám có bác sĩ chuyên khoa Da liễu để\r\nđược tư vấn cụ thể hơn về vấn đề chăm sóc da và điều trị dứt điểm mụn bạn nhé.\r\nTránh việc đến các cơ sở không uy tín dễ để lại di chứng sẹo xấu cho da mặt. Thân mến! AloBacsi.com Cổng thông tin tư vấn sức khỏe miễn phí',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Reranking

• Dataset: dev-eval
• Evaluated with RerankingEvaluator

Metric	Value
map	0.9982
mrr@1	0.9964
ndcg@1	0.9964

Training Details

Training Dataset

Unnamed Dataset

• Size: 43,000 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 66.63 tokens max: 128 tokens	min: 32 tokens mean: 120.11 tokens max: 128 tokens	min: 31 tokens mean: 119.58 tokens max: 128 tokens

• Samples:

  query	positive	negative
  Chào bác sĩ,
  Em là nam nhưng vú to làm em rất mặc cảm. Em đã đi khám bệnh, sau khi làm các xét nghiệm và chiếu chụp, bác sĩ xác định em phì đại tuyến vú.
  Theo bác sĩ em nên dùng thuốc (nội khoa) hơn hay phẫu thuật (ngoại khoa) hơn? Mỗi phương pháp có lợi hay hại gì ạ? Em băn khoăn lắm, rất mong được bác sĩ tư vấn. Em cảm ơn bác sĩ!	Hùng thân mến, Vú to nam giới là tình trạng phì đại tuyến vú , thường không đối xứng hoặc một bên và có thể có mật độ mềm. Chẩn đoán phân biệt với ung thư vú và vú to nam giới giả, thường thấy ở nam giới béo phì và được đặc trưng bởi lắng đọng mô mỡ mà không có tăng sinh tuyến. Nguyên nhân là do tăng hoạt động của estrogen hoặc tăng tỷ số estrogen-androgen Điều trị phụ thuộc vào nguyên nhân gây vú to nam giới, phẫu thuật hay điều trị nội khoa phù hợp với các trường hợp khác nhau. Nội khoa điều trị hormon thay thế sẽ làm cải thiện vú to nam giới ở bệnh nhân nam suy sinh dục. Vú to nam giới do thuốc thì ngưng thuốc, vú to nam giới do dậy thì thì theo dõi. Phẫu thuật được chỉ định nếu có các vấn đề tâm lý, thẩm mỹ trường hợp nhu mô vú tiếp tục phát triển, ác tính. Trân trọng.	Tại Việt Nam, chưa ban hành tiêm vắc xin mũi 3 cho người dân. Chào em, Hiện tại ở nước ta chưa có ban hành chỉ thị tiêm mũi thứ 3 vắc xin phòng COVID, vì còn rất nhiều người dân trên cả nước chưa được tiêm chủng mũi vắc xin phòng COVID nào cả, vì chúng ta đang thiếu vắc xin. Vắc xin phòng COVID cho đến hiện nay toàn bộ là miễn phí và phân đồng đều cho tất cả người dân theo chỉ thị của bộ y tế, chưa có cơ sở y tế nào được phép mua bán tiêm vắc xin theo yêu cầu riêng của khách hàng. Vì thế, việc kê khai gian dối tìm cách tiêm mũi thứ 3 vắc xin phòng COVID nếu bị phát hiện có thể bị truy tố pháp luật sau này. Ở các nước phát triển, nguồn vắc xin dự trữ đầy đủ thì họ đã triển khai tiêm mũi thứ 3 vắc xin phòng COVID cho tất cả người dân sau 6-9 tháng từ thời điểm tiêm mũi 2. Cách phối trộn vắc xin mũi thứ 2 cũng tương tự như mũi thứ 3, đó là Astra mũi đầu thì có thể theo sau là Astra hoặc Moderna hoặc Pfizer. Thân mến!
  Thuốc xịt mũi Thái Dương điều trị hắt hơi, sổ mũi, nghẹt mũi (20ml)	Mô tả ngắn: Thuốc Xịt Mũi Thái Dương là sản phẩm được sản xuất bởi Công ty Cổ phần Sao Thái Dương, thuốc có thành phần chinh là Nghệ vàng ( Rhizoma Curcuma longae ), Menthol ( Mentholum ), Camphor ( Comphora ), được dùng trong các trường hợp: hắt hơi liên tục nhiều lần không dứt, sổ mũi, nghẹt mũi, ứ đọng dịch đờm nhầy trong xoang mũi, xoang trán...mỗi khi thay đổi thời tiết hay hít phải bụi nhà, phấn hoa, mùi lạ...; ngứa mũi, khô mũi, sổ mũi, cảm giác khó chịu ở mũi, viêm mũi do cảm cúm... Thuốc Xịt Mũi Thái Dương được bào chế dưới dạng chất lỏng màu vàng, mùi thơm tinh dầu, pH 5-7. Hộp 1 lọ x 20 ml. Thành phần: Nghệ: 2 Menthol: 20 DL-camphor: 20mg Chỉ định: Thuốc Xịt Mũi Thái Dương được chỉ định dùng trong các trường hợp sau: Hắt hơi liên tục nhiều lần không dứt, sổ mũi, nghẹt mũi, ứ đọng dịch đờm nhầy trong xoang mũi, xoang trán...mỗi khi thay đổi thời tiết hay hít phải bụi nhà, phấn hoa, mùi lạ... Ngứa mũi, khô mũi, sổ mũi, cảm giác khó chịu ở mũi, viêm mũi do cảm cúm...	Mô tả ngắn: Triplixam của Công ty Servier, Ireland, thành phần chính perindopril, indapamid và amlodipin; là nhóm thuốc điều trị tăng huyết áp, có các dụng hạ huyết áp; được sử dụng trong điều trị thay thế cho bệnh nhân đã được kiểm soát huyết áp khi kết hợp perindopril/indapamid và amlodipin có cùng hàm lượng. Thuốc được bào chế dưới dạng viên nén bao phim, màu trắng, đựng trong hộp chứa 30 viên. Thành phần: Amlodipine: 10mg Indapamide: 2.5mg Perindopril: 5mg Chỉ định: Thuốc Triplixam được chỉ định dùng trong các trường hợp sau: Điều trị thay thế trong điều trị tăng huyết áp cho bệnh nhân đã được kiểm soát huyết áp khi kết hợp perindopril/indapamid và amlodipin có cùng hàm lượng.
  Khoảng 1 tuần nay chân em bị nổi những mụn nhỏ li ti rất ngứa và lây lan, có mụn mềm, có mụn có mài ngay đầu mụn. 3 ngày đầu còn lây sang vùng cánh tay và bụng (nhưng không nhiều), ngay cả vết trầy xước nhỏ ở đầu gối cũng lâu lành.
  Em có đi nhà thuốc và được tư vấn thoa kem Mật Ong Madeleine Ritchie nhưng không thấy hiệu quả. Hiện tại em đang thoa kem Beprosone nhưng cũng không thấy cải thiện nhiều.
  Em không bị côn trùng đốt cũng nhưng không sử dụng mỹ phẩm gì cả, nên không hiểu sao lại bị như vậy. BS có thể tư vấn cho em thuốc thoa đồng thời trị thâm không ạ? Em sợ sẽ để lại thâm rất xấu nên lo lắng. Đây là những loại kem thoa em đã sử dụng nhưng không thấy hiệu quả. Chân thành cảm ơn BS.
  (Bạn đọc Nguyễn Lê Thanh Tâm)	Chào em, Em chụp hình những tuýp kem đã dùng nhưng không đưa kèm hình sang thương nên rất khó cho bác sĩ để chẩn đoán bệnh của em là gì và không thể kê toa cho em trong lúc này. Nếu được em vui lòng cung cấp hình ảnh cho chương trình. Em cũng không nên tự ý bôi thuốc vì có thể không điều trị được bệnh mà còn gây ra nhiều tác dụng phụ ảnh hưởng sức khỏe. Nếu quá lo lắng, em nên đến gặp bác sĩ chuyên khoa Da Liễu để được thăm khám trực tiếp và chỉ định xét nghiệm cần thiết để chẩn đoán bệnh em nhé! Thân mến!	Chào em, Khi bệnh ung thư gan giai đoạn cuối hay các bệnh ung thư giai đoạn cuối khác thì khả năng sống tiếp là rất thấp. Những thống kê tại bệnh viện cho thấy, bệnh nhân ung thư giai đoạn cuối chỉ sống được khoảng 6 đến 8 tháng, nhanh chỉ trong 1 tháng. Thường các phương pháp điều trị ung thư gan chủ yếu là hóa trị, xạ trị hoặc phẫu thuật cắt bỏ khối u, tiêm Ethanol hoặc nhiệt RFA. Tuy nhiên, đối với ung thư giai đoạn cuối thường không có một phương pháp nào trong y học có thể chữa khỏi bệnh, bởi bệnh đã di căn và lây sang các cơ quan khác của cơ thể như mạch máu, phổi, thận… Thường bác sĩ sẽ cố gắng kiểm soát khối u và kéo dài sự sống cho người bệnh bằng hóa trị và xạ trị, đồng thời cải thiện sức khỏe và động viên tinh thần cho bệnh nhân. Thân mến.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 7,000 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 5 tokens mean: 65.65 tokens max: 128 tokens	min: 41 tokens mean: 119.4 tokens max: 128 tokens	min: 31 tokens mean: 119.51 tokens max: 128 tokens

• Samples:

  query	positive	negative
  Thuốc Esseil-10 Davipharm điều trị tăng huyết áp (10 vỉ x 10 viên)	Mô tả ngắn: Thuốc Esseil-10 là sản phẩm được sản xuất bởi Công ty Cổ phần Dược phẩm Đạt Vi Phú. Thuốc có thành phần chính là cilnidipin, được chỉ định để điều trị tăng huyết áp. Thuốc Esseil-10 được bào chế dưới dạng viên nén tròn, bao phim màu vàng, một mặt có dập logo, mặt kia có dập gạch ngang và được đóng gói theo quy cách hộp 10 vỉ x 10 viên. Thành phần: Cilnidipine: 10mg Chỉ định: Thuốc Esseil-10 được chỉ định dùng trong các trường hợp sau: Cilnidipin được chỉ định để điều trị tăng huyết áp.	Mô tả ngắn: Thuốc Althax là sản phẩm của Mediplantex chứa hoạt chất Thymomodulin có tác dụng hỗ trợ dự phòng tái phát nhiễm khuẩn hô hấp ở trẻ em và người lớn; viêm mũi dị ứng, dự phòng tái phát dị ứng thức ăn; cải thiện các triệu chứng lâm sàng ở bệnh nhân HIV/AIDS và tăng cường hệ miễn dịch đã suy giảm ở người cao tuổi. Thành phần: Thymomodulin: 120mg Chỉ định: Thuốc Althax được chỉ định dùng trong các trường hợp sau: Hỗ trợ dự phòng tái phát nhiễm khuẩn hô hấp ở trẻ em và người lớn. Hỗ trợ điều trị viêm mũi dị ứng , dự phòng tái phát dị ứng thức ăn. Hỗ trợ cải thiện các triệu chứng lâm sàng ở bệnh nhân HIV/AIDS . Hỗ trợ tăng cường hệ miễn dịch đã suy giảm ở người cao tuổi.
  Thưa BS,
  Con là nữ, năm nay 14 tuổi. Dạo gần đây do uống thuốc nhiều con hay bị táo bón. Con có tìm hiểu sơ về bệnh trĩ, nhưng khi đi đại tiện con không bị chảy máu gì cả. Gần đây con có cảm giác hơi vướng ở hậu môn, không hẳn là ở hậu môn, cứ như ở ngoài phía 2 bên mép thôi.
  Cứ thi thoảng là bị rồi hình như tự hết thì phải, có cảm giác khi đi ngoài chưa đi hết và thi thoảng thấy như có vật gì nhỏ lòi ra ngoài nhưng tự cơ thể có thể đẩy vô được bình thường. Dấu hiệu như vậy giống với bệnh nào nhất vậy BS? Con cảm ơn BS.	Chào em, Theo thông tin em cung cấp, nhiều khả năng em có , nhưng ở mức độ nhẹ khoảng trĩ độ 1 mà thôi. Cảm giác đi cầu chưa hết thường là do khối phân tròn nhỏ sót lại, khó xuất ra do mô xung quanh hậu môn đã phù nề kèm với búi trĩ sau khi em đã cố rặn một lúc lâu, cũng có thể đó chính là búi trĩ nội. Vì thế em không cần và không nên ráng rặn tiếp để xuất hết khối phân này, ở lần đi tiêu tiếp theo sẽ tự khắc thải ra được. Tình trạng này thì không cần dùng thuốc, chỉ cần thay đổi lối sống bằng cách ăn nhiều rau xanh, trái cây, hạn chế thực phẩm cay, nhiều dầu mỡ, uống nhiều nước, tối thiểu phải 2-3 lít nước mỗi ngày, không ngồi lâu trên 5 phút khi đi vệ sinh, tập thể dục đều đặn sẽ giúp em cải thiện tình trạng này, em nhé. Thân mến!	Nếu bạn là phụ nữ nhiễm virus viêm gan B, khi có thai bạn nên đi khám đúng chuyên khoa Trong bệnh nhiễm virus viêm gan B thì có những thể lâm sàng sau: Nhiễm virus viêm gan B thể không hoạt động: tế bào gan không bị tổn thương, men gan không tăng, không cần điều trị, chỉ theo dõi định kỳ men gan, tầm sóat ung thư gan (AFP, siêu âm bụng) và sống lối sống lành mạnh, hạn chế các chất độc gan (bia rượu, thuốc uống bừa bãi, thuốc đông nam không rõ loại). Viêm gan B, tức là vừa nhiễm virus viêm gan B và virus này đang làm tổn thương gan, men gan sẽ tăng. Viêm gan B được chia thành viêm gan B cấp và viêm gan B mạn tính. Viêm gan B cấp tính là tổn thương tế bào gan cấp do nhiễm HBV, hiện tượng tế bào gan bị phá hủy không phải do virus mà do chính cơ thể chống lại virus gây ra, và trong vòng 6 tháng là cơ thể sẽ thải toàn bộ virus và tạo miễn dịch bảo vệ suốt đời. Viêm gan B mạn là cơ thể không thể tự thải trừ HBV ra khỏi cơ thể sau 6 tháng. BS không rõ em thuộc thể nào, có đang dùng thuốc đặc trị viêm gan B hay không, nhưng nhìn chung bây giờ bệnh này nước ta kiểm soát lây truyền từ mẹ sang con rất là tốt, có nhiều chiến lược cho từng trường hợp khác nhau: mẹ nhiễm virus viêm gan B thể không hoạt động hay mẹ viêm gan B mạn đang dùng thuốc dự định có con, mẹ viêm gan B mạn đang dùng thuốc và vô tình phát hiện co con. Do đó, vợ chồng em nay muốn có em bé thì nên đến khám tại chuyên khoa gan mật trước, trình bày ý định này của mình để bs kiểm tra lại tổng quát cho em, tùy tình huống mà sẽ có hướng dẫn cụ thể riêng, em nhé.
  Thuốc Fexet Getz điều trị viêm mũi dị ứng, mày đay tự phát mãn tính (2 vỉ x 5 viên)	Mô tả ngắn: Fexet 120 mg có thành phần chính fexofenadine, do công ty Getzpharma sản xuất, được dùng để điều trị làm giảm các triệu chứng có liên quan đến bệnh viêm mũi dị ứng theo mùa và nổi mề đay tự phát mãn tính. Thành phần: Fexofenadine: 120mg Chỉ định: Thuốc Fexet 120 mg được chỉ định dùng trong các trường hợp sau: Ðiều trị làm giảm các triệu chứng có liên quan đến bệnh: Viêm mũi dị ứng theo mùa bao gồm hắt hơi, sổ mũi , ngứa mũi, miệng, cổ họng, chảy nước mắt, đỏ mắt. Nổi mề đay tự phát mãn tính.	Mô tả ngắn: Hoạt Huyết Dưỡng Não được phân phối bởi Công ty cổ phần dược phẩm Xanh, thành phần chính là cao khô lá bạch quả, cao khô rễ đinh lăng, là thuốc dùng trong trường hợp đau đầu, chóng mặt, giảm trí nhớ; thiểu năng tuần hoàn não, ù tai, giảm thính lực. Ngoài ra, thuốc còn được dùng trong chứng đau cách hồi do tắc động mạch chi dưới mãn tính, hội chứng Raynaud và chứng nhược dương. Thành phần: Bạch quả: 80mg Đinh lăng: 75mg Chỉ định: Thuốc Hoạt Huyết Dưỡng Não được chỉ định dùng trong các trường hợp sau: Đau đầu , chóng mặt, giảm trí nhớ. Thiểu năng tuần hoàn não, ù tai , giảm thính lực. Dùng trong chứng đau cách hồi do tắc động mạch chi dưới mãn tính, hội chứng Raynaud và chứng nhược dương.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	dev-eval_map
0	0	-	-	0.9784
0.0372	100	1.102	-	-
0.0744	200	0.7679	-	-
0.1116	300	0.5825	-	-
0.1488	400	0.5424	-	-
0.1860	500	0.5088	-	-
0.2232	600	0.4052	-	-
0.2604	700	0.4012	-	-
0.2976	800	0.3834	-	-
0.3348	900	0.3688	-	-
0.3720	1000	0.3395	0.3014	0.9954
0.4092	1100	0.3401	-	-
0.4464	1200	0.3096	-	-
0.4836	1300	0.3438	-	-
0.5208	1400	0.2635	-	-
0.5580	1500	0.3225	-	-
0.5952	1600	0.3069	-	-
0.6324	1700	0.2943	-	-
0.6696	1800	0.2819	-	-
0.7068	1900	0.2679	-	-
0.7440	2000	0.2646	0.2357	0.9964
0.7812	2100	0.2487	-	-
0.8185	2200	0.2254	-	-
0.8557	2300	0.2623	-	-
0.8929	2400	0.2399	-	-
0.9301	2500	0.2206	-	-
0.9673	2600	0.2299	-	-
1.0045	2700	0.2218	-	-
1.0417	2800	0.2163	-	-
1.0789	2900	0.206	-	-
1.1161	3000	0.2099	0.1937	0.9976
1.1533	3100	0.2116	-	-
1.1905	3200	0.2027	-	-
1.2277	3300	0.1779	-	-
1.2649	3400	0.1686	-	-
1.3021	3500	0.1675	-	-
1.3393	3600	0.1487	-	-
1.3765	3700	0.141	-	-
1.4137	3800	0.1363	-	-
1.4509	3900	0.133	-	-
1.4881	4000	0.1357	0.1823	0.9977
1.5253	4100	0.1008	-	-
1.5625	4200	0.1249	-	-
1.5997	4300	0.1258	-	-
1.6369	4400	0.121	-	-
1.6741	4500	0.108	-	-
1.7113	4600	0.112	-	-
1.7485	4700	0.0988	-	-
1.7857	4800	0.0998	-	-
1.8229	4900	0.1031	-	-
1.8601	5000	0.1097	0.1697	0.9981
1.8973	5100	0.1025	-	-
1.9345	5200	0.0877	-	-
1.9717	5300	0.101	-	-
2.0089	5400	0.0963	-	-
2.0461	5500	0.083	-	-
2.0833	5600	0.0842	-	-
2.1205	5700	0.0861	-	-
2.1577	5800	0.0999	-	-
2.1949	5900	0.0972	-	-
2.2321	6000	0.0859	0.1635	0.998
2.2693	6100	0.0769	-	-
2.3065	6200	0.0778	-	-
2.3438	6300	0.0684	-	-
2.3810	6400	0.0623	-	-
2.4182	6500	0.0636	-	-
2.4554	6600	0.0647	-	-
2.4926	6700	0.0586	-	-
2.5298	6800	0.0464	-	-
2.5670	6900	0.0587	-	-
2.6042	7000	0.0617	0.1560	0.9984
2.6414	7100	0.0618	-	-
2.6786	7200	0.0453	-	-
2.7158	7300	0.0687	-	-
2.7530	7400	0.0434	-	-
2.7902	7500	0.0447	-	-
2.8274	7600	0.0508	-	-
2.8646	7700	0.0554	-	-
2.9018	7800	0.0459	-	-
2.9390	7900	0.0478	-	-
2.9762	8000	0.0449	0.1494	0.9981
3.0134	8100	0.0505	-	-
3.0506	8200	0.0484	-	-
3.0878	8300	0.0382	-	-
3.125	8400	0.0496	-	-
3.1622	8500	0.0513	-	-
3.1994	8600	0.051	-	-
3.2366	8700	0.0474	-	-
3.2738	8800	0.0382	-	-
3.3110	8900	0.0412	-	-
3.3482	9000	0.0294	0.1493	0.9983
3.3854	9100	0.0325	-	-
3.4226	9200	0.036	-	-
3.4598	9300	0.0371	-	-
3.4970	9400	0.0357	-	-
3.5342	9500	0.0285	-	-
3.5714	9600	0.0289	-	-
3.6086	9700	0.0331	-	-
3.6458	9800	0.0378	-	-
3.6830	9900	0.0249	-	-
3.7202	10000	0.0402	0.1478	0.9981
3.7574	10100	0.0298	-	-
3.7946	10200	0.0281	-	-
3.8318	10300	0.0271	-	-
3.8690	10400	0.0301	-	-
3.9062	10500	0.0274	-	-
3.9435	10600	0.023	-	-
3.9807	10700	0.0239	-	-
4.0179	10800	0.0259	-	-
4.0551	10900	0.0294	-	-
4.0923	11000	0.0233	0.1483	0.9983
4.1295	11100	0.033	-	-
4.1667	11200	0.0337	-	-
4.2039	11300	0.027	-	-
4.2411	11400	0.0262	-	-
4.2783	11500	0.0243	-	-
4.3155	11600	0.028	-	-
4.3527	11700	0.019	-	-
4.3899	11800	0.0187	-	-
4.4271	11900	0.0222	-	-
4.4643	12000	0.0227	0.1416	0.9981
4.5015	12100	0.0213	-	-
4.5387	12200	0.0183	-	-
4.5759	12300	0.0223	-	-
4.6131	12400	0.0205	-	-
4.6503	12500	0.0229	-	-
4.6875	12600	0.0172	-	-
4.7247	12700	0.0272	-	-
4.7619	12800	0.0157	-	-
4.7991	12900	0.0161	-	-
4.8363	13000	0.015	0.1414	0.9982
4.8735	13100	0.0196	-	-
4.9107	13200	0.0179	-	-
4.9479	13300	0.0196	-	-
4.9851	13400	0.015	-	-

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.2.0
• Transformers: 4.45.1
• PyTorch: 2.4.0
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}