metadata
base_model: vinai/phobert-base-v2
datasets: []
language: []
library_name: sentence-transformers
metrics:
- pearson_cosine
- spearman_cosine
- pearson_manhattan
- spearman_manhattan
- pearson_euclidean
- spearman_euclidean
- pearson_dot
- spearman_dot
- pearson_max
- spearman_max
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:102174
- loss:TripletLoss
widget:
- source_sentence: >-
tôi nghĩ là tôi đã đọc rất nhiều về những đứa trẻ cồn của hội_chứng nghiện
rượu mà tôi không biết cô có nghe nói về điều đó hay không
sentences:
- Tôi đã đọc rất nhiều về cách uống rượu là thực_sự tốt cho trẻ_em .
- >-
Tôi đã đọc về những đứa trẻ của Alcoholics , anh có quen với hội_chứng
đó không ?
- Bộ trang_phục cá_nhân không phải là giá rẻ .
- source_sentence: >-
năm 196 thông_qua những nỗ_lực chung của ngân_khố omb và gao một cơ_thể
của các nguyên_tắc kế_toán được chấp_nhận gấp bao_gồm hầu_hết các
giao_dịch đã được promulgated cho chính_phủ liên_bang
sentences:
- Các gấp đã bao_phủ hầu_hết các giao_dịch được tạo ra vào năm 1996 .
- >-
Đất_nước tập_trung vào du_lịch , điều đó dẫn đến một số_lượng lớn tòa
nhà .
- Chính_phủ liên_bang promulgated gấp vào năm 2010 .
- source_sentence: >-
yeah yeah tôi nghĩ rằng thực_sự tôi nghĩ rằng họ sẽ nhận được um một_số
trong số họ từ nam mỹ
sentences:
- Tôi nghĩ rằng họ sẽ nhận được một_số trong số họ từ nam mỹ
- >-
Nếu bạn không đến bằng du_thuyền , bạn sẽ phải đi một chuyến đi bumpy 15
dặm từ saint - Martin .
- Họ không nhập_khẩu bất_kỳ trong số đó từ nam mỹ
- source_sentence: >-
chính_xác và nếu bạn có một chiếc xe không có nơi nào để đỗ nó dù bạn biết
đó chỉ là bạn không có một chiếc xe nhưng sau đó chúng_tôi đến đây và họ
có bãi đậu xe trong các trường_học và tôi không_thể hiểu được rằng bạn
biết tất_cả những gì trẻ_em có ô_tô và những người bạn biết phải có một
chiếc xe
sentences:
- Tôi nên xuống đó và cho anh ta nghỉ_ngơi .
- Tôi chưa bao_giờ đến một trường_học có nhiều tài_xế học_sinh .
- >-
Tôi rất ngạc_nhiên khi thấy rằng tất_cả bọn trẻ đều có xe khi chúng_tôi
đến đấy .
- source_sentence: >-
cửa_hàng quà tặng ở chân cầu giữa hai tòa nhà cung_cấp một lựa_chọn
tuyệt_vời về những kỷ_niệm chất_lượng bản_sao và áp_phích của văn_hóa_nara
sentences:
- Tôi có_thể nhìn thấy những gì bạn đang nói
- Cửa_hàng quà tặng chỉ bán kẹo và bánh_nướng .
- Cửa_hàng quà tặng có rất nhiều kỷ_niệm tuyệt_vời của nara .
model-index:
- name: SentenceTransformer based on vinai/phobert-base-v2
results:
- task:
type: semantic-similarity
name: Semantic Similarity
dataset:
name: sts evaluator
type: sts-evaluator
metrics:
- type: pearson_cosine
value: 0.448183724877241
name: Pearson Cosine
- type: spearman_cosine
value: 0.49798976487683716
name: Spearman Cosine
- type: pearson_manhattan
value: 0.5665490459892699
name: Pearson Manhattan
- type: spearman_manhattan
value: 0.573356017341304
name: Spearman Manhattan
- type: pearson_euclidean
value: 0.487433096753723
name: Pearson Euclidean
- type: spearman_euclidean
value: 0.5022088475069951
name: Spearman Euclidean
- type: pearson_dot
value: 0.41082418016183564
name: Pearson Dot
- type: spearman_dot
value: 0.4285949743481224
name: Spearman Dot
- type: pearson_max
value: 0.5665490459892699
name: Pearson Max
- type: spearman_max
value: 0.573356017341304
name: Spearman Max
SentenceTransformer based on vinai/phobert-base-v2
This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: vinai/phobert-base-v2
- Maximum Sequence Length: 512 tokens
- Output Dimensionality: 768 tokens
- Similarity Function: Cosine Similarity
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("huudan123/model_stage1")
# Run inference
sentences = [
'cửa_hàng quà tặng ở chân cầu giữa hai tòa nhà cung_cấp một lựa_chọn tuyệt_vời về những kỷ_niệm chất_lượng bản_sao và áp_phích của văn_hóa_nara',
'Cửa_hàng quà tặng có rất nhiều kỷ_niệm tuyệt_vời của nara .',
'Cửa_hàng quà tặng chỉ bán kẹo và bánh_nướng .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
Evaluation
Metrics
Semantic Similarity
- Dataset:
sts-evaluator
- Evaluated with
EmbeddingSimilarityEvaluator
Metric | Value |
---|---|
pearson_cosine | 0.4482 |
spearman_cosine | 0.498 |
pearson_manhattan | 0.5665 |
spearman_manhattan | 0.5734 |
pearson_euclidean | 0.4874 |
spearman_euclidean | 0.5022 |
pearson_dot | 0.4108 |
spearman_dot | 0.4286 |
pearson_max | 0.5665 |
spearman_max | 0.5734 |
Training Details
Training Hyperparameters
Non-Default Hyperparameters
overwrite_output_dir
: Trueeval_strategy
: epochper_device_train_batch_size
: 128per_device_eval_batch_size
: 128num_train_epochs
: 15warmup_ratio
: 0.1fp16
: Trueload_best_model_at_end
: Truegradient_checkpointing
: True
All Hyperparameters
Click to expand
overwrite_output_dir
: Truedo_predict
: Falseeval_strategy
: epochprediction_loss_only
: Trueper_device_train_batch_size
: 128per_device_eval_batch_size
: 128per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonelearning_rate
: 5e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 15max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.1warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Truefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Trueignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Falsehub_always_push
: Falsegradient_checkpointing
: Truegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseeval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falsebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: proportional
Training Logs
Epoch | Step | Training Loss | loss | sts-evaluator_spearman_cosine |
---|---|---|---|---|
0 | 0 | - | - | 0.6643 |
0.6258 | 500 | 2.6454 | - | - |
1.0 | 799 | - | 1.4970 | 0.5082 |
1.2516 | 1000 | 1.6242 | - | - |
1.8773 | 1500 | 1.4441 | - | - |
2.0 | 1598 | - | 1.3278 | 0.5658 |
2.5031 | 2000 | 1.1204 | - | - |
3.0 | 2397 | - | 1.2538 | 0.5397 |
3.1289 | 2500 | 0.973 | - | - |
3.7547 | 3000 | 0.7077 | - | - |
4.0 | 3196 | - | 1.2978 | 0.5151 |
4.3805 | 3500 | 0.5556 | - | - |
5.0 | 3995 | - | 1.3334 | 0.5034 |
5.0063 | 4000 | 0.4768 | - | - |
5.6320 | 4500 | 0.3041 | - | - |
6.0 | 4794 | - | 1.3129 | 0.4992 |
6.2578 | 5000 | 0.2762 | - | - |
6.8836 | 5500 | 0.2116 | - | - |
7.0 | 5593 | - | 1.3389 | 0.4980 |
- The bold row denotes the saved checkpoint.
Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.0.1
- Transformers: 4.42.4
- PyTorch: 2.3.1+cu121
- Accelerate: 0.33.0
- Datasets: 2.20.0
- Tokenizers: 0.19.1
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
TripletLoss
@misc{hermans2017defense,
title={In Defense of the Triplet Loss for Person Re-Identification},
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
year={2017},
eprint={1703.07737},
archivePrefix={arXiv},
primaryClass={cs.CV}
}