Add ONNX and ORT models with quantization

.gitattributes

@@ -33,3 +33,7 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+ort_models/model.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_fp16.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_int8.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_uint8.ort filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,85 @@
+---
+license: apache-2.0
+tags:
+- onnx
+- ort
+---
+
+# ONNX and ORT models with quantization of [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc)
+
+[日本語READMEはこちら](README_ja.md)
+
+This repository contains the ONNX and ORT formats of the model [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc), along with quantized versions.
+
+## License
+The license for this model is "apache-2.0". For details, please refer to the original model page: [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc).
+
+## Usage
+To use this model, install ONNX Runtime and perform inference as shown below.
+```python
+# Example code
+import onnxruntime as ort
+import numpy as np
+from transformers import AutoTokenizer
+import os
+
+# Load the tokenizer
+tokenizer = AutoTokenizer.from_pretrained('google-bert/bert-base-cased-finetuned-mrpc')
+
+# Prepare inputs
+text = 'Replace this text with your input.'
+inputs = tokenizer(text, return_tensors='np')
+
+# Specify the model paths
+# Test both the ONNX model and the ORT model
+model_paths = [
+    'onnx_models/model_opt.onnx',    # ONNX model
+    'ort_models/model.ort'  # ORT format model
+]
+
+# Run inference with each model
+for model_path in model_paths:
+    print(f'\n===== Using model: {model_path} =====')
+    # Get the model extension
+    model_extension = os.path.splitext(model_path)[1]
+
+    # Load the model
+    if model_extension == '.ort':
+        # Load the ORT format model
+        session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
+    else:
+        # Load the ONNX model
+        session = ort.InferenceSession(model_path)
+
+    # Run inference
+    outputs = session.run(None, dict(inputs))
+
+    # Display the output shapes
+    for idx, output in enumerate(outputs):
+        print(f'Output {idx} shape: {output.shape}')
+
+    # Display the results (add further processing if needed)
+    print(outputs)
+```
+
+## Contents of the Model
+This repository includes the following models:
+
+### ONNX Models
+- `onnx_models/model.onnx`: Original ONNX model converted from [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc)
+- `onnx_models/model_opt.onnx`: Optimized ONNX model
+- `onnx_models/model_fp16.onnx`: FP16 quantized model
+- `onnx_models/model_int8.onnx`: INT8 quantized model
+- `onnx_models/model_uint8.onnx`: UINT8 quantized model
+
+### ORT Models
+- `ort_models/model.ort`: ORT model using the optimized ONNX model
+- `ort_models/model_fp16.ort`: ORT model using the FP16 quantized model
+- `ort_models/model_int8.ort`: ORT model using the INT8 quantized model
+- `ort_models/model_uint8.ort`: ORT model using the UINT8 quantized model
+
+## Notes
+Please adhere to the license and usage conditions of the original model [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc).
+
+## Contribution
+If you find any issues or have improvements, please create an issue or submit a pull request.

README_ja.md

@@ -0,0 +1,85 @@
+---
+license: apache-2.0
+tags:
+- onnx
+- ort
+---
+
+# [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc) のONNXおよびORTモデルと量子化モデル
+
+[Click here for the English README](README.md)
+
+このリポジトリは、元のモデル [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc) をONNXおよびORT形式に変換し、さらに量子化したものです。
+
+## ライセンス
+このモデルのライセンスは「apache-2.0」です。詳細は元のモデルページ（[google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc)）を参照してください。
+
+## 使い方
+このモデルを使用するには、ONNX Runtimeをインストールし、以下のように推論を行います。
+```python
+# サンプルコード
+import onnxruntime as ort
+import numpy as np
+from transformers import AutoTokenizer
+import os
+
+# トークナイザーの読み込み
+tokenizer = AutoTokenizer.from_pretrained('google-bert/bert-base-cased-finetuned-mrpc')
+
+# 入力の準備
+text = 'ここに入力テキストを置き換えてください。'
+inputs = tokenizer(text, return_tensors='np')
+
+# 使用するモデルのパスを指定
+# ONNXモデルとORTモデルの両方をテストする
+model_paths = [
+    'onnx_models/model_opt.onnx',    # ONNXモデル
+    'ort_models/model.ort'  # ORTフォーマットのモデル
+]
+
+# モデルごとに推論を実行
+for model_path in model_paths:
+    print(f'\n===== Using model: {model_path} =====')
+    # モデルの拡張子を取得
+    model_extension = os.path.splitext(model_path)[1]
+
+    # モデルの読み込み
+    if model_extension == '.ort':
+        # ORTフォーマットのモデルをロード
+        session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
+    else:
+        # ONNXモデルをロード
+        session = ort.InferenceSession(model_path)
+
+    # 推論の実行
+    outputs = session.run(None, dict(inputs))
+
+    # 出力の形状を表示
+    for idx, output in enumerate(outputs):
+        print(f'Output {idx} shape: {output.shape}')
+
+    # 結果の表示（必要に応じて処理を追加）
+    print(outputs)
+```
+
+## モデルの内容
+このリポジトリには、以下のモデルが含まれています。
+
+### ONNXモデル
+- `onnx_models/model.onnx`: [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc) から変換された元のONNXモデル
+- `onnx_models/model_opt.onnx`: 最適化されたONNXモデル
+- `onnx_models/model_fp16.onnx`: FP16による量子化モデル
+- `onnx_models/model_int8.onnx`: INT8による量子化モデル
+- `onnx_models/model_uint8.onnx`: UINT8による量子化モデル
+
+### ORTモデル
+- `ort_models/model.ort`: 最適化されたONNXモデルを使用したORTモデル
+- `ort_models/model_fp16.ort`: FP16量子化モデルを使用したORTモデル
+- `ort_models/model_int8.ort`: INT8量子化モデルを使用したORTモデル
+- `ort_models/model_uint8.ort`: UINT8量子化モデルを使用したORTモデル
+
+## 注意事項
+元のモデル [google-bert/bert-base-cased-finetuned-mrpc](https://huggingface.co/google-bert/bert-base-cased-finetuned-mrpc) のライセンスおよび使用条件を遵守してください。
+
+## 貢献
+問題や改善点があれば、Issueを作成するかプルリクエストを送ってください。

onnx_models/model.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d01517a6f49a1348e2ba51eef37c9aeaeb0673de673e9d41aa5953b1634abc87
+size 433458372

onnx_models/model_fp16.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6a4d391b5ad28c4fafffe91a5789c7382348fcec2051524c5a7e76c81ea07dd6
+size 216873727

onnx_models/model_int8.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:22ead12e202bce1e548dbb27d938a52213a777b28ea68fef5e84ec3061d33675
+size 109021896

onnx_models/model_opt.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:de1e6441d98ace5bb5d5ffee4529f5c1754e1f634376bf864738e96c7dfd6292
+size 433432489

onnx_models/model_uint8.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7f1a0909dc0eedba5f3cd98490c5d785e8cee0013ca70d1937f9701de6455900
+size 109021937

ort_models/model.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:76dd2e2d318e0c366ac185cc624ae5cc328e956d6dffbed0cda2fcc3db95e7fe
+size 433627096

ort_models/model_fp16.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1d09ce1f28d237c65b3e510fc33ad274ef490eb4643bfc25040f1acf43d15248
+size 217422272

ort_models/model_int8.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:acf70686d2f64a0ba946d913922dd9835668521d11b2ea7c79031d0b6a05bf79
+size 109186784

ort_models/model_uint8.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:76fddcc9a96c8a72e52cc13e3f239e74afb5c3a57bbe133e38574f5e1d5b278b
+size 109186784