TDN-M commited on
Commit
d48fce1
·
verified ·
1 Parent(s): 8627f72

Upload 3 files

Browse files
Files changed (3) hide show
  1. app.py +215 -191
  2. requirements.txt +9 -10
  3. utils.py +17 -5
app.py CHANGED
@@ -1,192 +1,216 @@
1
- import asyncio
2
- import mimetypes
3
- import os
4
- import tempfile
5
- import glob
6
- import gradio as gr
7
- from docx import Document
8
- from audio_processing import async_text_to_speech, text_to_speech
9
- from content_generation import create_content, CONTENT_TYPES
10
- from video_processing import create_video_func
11
- from moviepy.editor import AudioFileClip, CompositeAudioClip
12
- from utils import (combine_videos, get_pexels_video, get_bgm_file)
13
- from video_processing import create_video
14
- from content_generation import create_content, CONTENT_TYPES
15
-
16
- def create_docx(content, output_path):
17
- """
18
- Tạo file docx từ nội dung.
19
- """
20
- doc = Document()
21
- doc.add_paragraph(content)
22
- doc.save(output_path)
23
-
24
- def process_pdf(file_path):
25
- """
26
- Xử lý file PDF và trích xuất nội dung.
27
- """
28
- doc = fitz.open(file_path)
29
- text = ""
30
- for page in doc:
31
- text += page.get_text()
32
- return text
33
-
34
- def process_docx(file_path):
35
- """
36
- Xử lý file DOCX và trích xuất nội dung.
37
- """
38
- doc = Document(file_path)
39
- text = ""
40
- for para in doc.paragraphs:
41
- text += para.text
42
- return text
43
-
44
- def get_bgm_file_list():
45
- """
46
- Trả về danh sách các tệp nhạc nền.
47
- """
48
- # Giả sử bạn có một thư mục chứa các tệp nhạc nền
49
- song_dir = "/data/bg-music"
50
- return [os.path.basename(file) for file in glob.glob(os.path.join(song_dir, "*.mp3"))]
51
-
52
- # Định nghĩa danh sách giọng đọc
53
- VOICES = ["alloy", "echo", "fable", "onyx", "nova", "shimmer"]
54
-
55
- # Giao diện Gradio
56
- def interface():
57
- with gr.Blocks() as app:
58
- gr.Markdown("# Ứng dụng Tạo Nội dung và Video")
59
-
60
- with gr.Tab("Tạo Nội dung"):
61
- prompt = gr.Textbox(label="Nhập yêu cầu nội dung")
62
- file_upload = gr.File(label="Tải lên file kèm theo", type="filepath")
63
-
64
- # Sử dụng gr.Radio thay vì gr.CheckboxGroup
65
- content_type = gr.Radio(label="Chọn loại nội dung",
66
- choices=CONTENT_TYPES,
67
- value=None) # Giá trị mặc định là không có gì được chọn
68
-
69
- content_button = gr.Button("Tạo Nội dung")
70
- content_output = gr.Textbox(label="Nội dung tạo ra", interactive=True)
71
- confirm_button = gr.Button("Xác nhận nội dung")
72
- download_docx = gr.File(label="Tải xuống file DOCX", interactive=False)
73
- download_audio = gr.File(label="Tải xuống file âm thanh", interactive=False)
74
- status_message = gr.Label(label="Trạng thái")
75
-
76
- def generate_content(prompt, file, content_type):
77
- try:
78
- status = "Đang xử lý..."
79
- if file and os.path.exists(file):
80
- mime_type, _ = mimetypes.guess_type(file)
81
- if mime_type == "application/pdf":
82
- file_content = process_pdf(file)
83
- prompt = f"{prompt}\n\nDưới đây là nội dung của file tài liệu:\n\n{file_content}"
84
- elif mime_type in (
85
- "application/vnd.openxmlformats-officedocument.wordprocessingml.document",
86
- "application/msword"):
87
- file_content = process_docx(file)
88
- prompt = f"{prompt}\n\nDưới đây nội dung của file tài liệu:\n\n{file_content}"
89
- else:
90
- raise ValueError("Định dạng file không được hỗ trợ.")
91
-
92
- if not content_type:
93
- raise ValueError("Vui lòng chọn một loại nội dung")
94
-
95
- script_content = create_content(prompt, content_type, "Tiếng Việt")
96
- docx_path = "script.docx"
97
- create_docx(script_content, docx_path)
98
-
99
- status = "Đã tạo nội dung thành công!"
100
- return script_content, docx_path, status
101
- except Exception as e:
102
- status = f"Đã xảy ra lỗi: {str(e)}"
103
- return "", None, status
104
-
105
- async def confirm_content(content):
106
- docx_path = "script.docx"
107
- create_docx(content, docx_path)
108
-
109
- audio_path = await async_text_to_speech(content, "alloy", "Tiếng Việt")
110
- return docx_path, audio_path, "Nội dung đã được xác nhận âm thanh đã được tạo!"
111
-
112
- content_button.click(generate_content,
113
- inputs=[prompt, file_upload, content_type],
114
- outputs=[content_output, download_docx, status_message])
115
-
116
- confirm_button.click(lambda x: asyncio.run(confirm_content(x)),
117
- inputs=[content_output],
118
- outputs=[download_docx, download_audio, status_message])
119
-
120
- with gr.Tab("Tạo Âm thanh"):
121
- text_input = gr.Textbox(label="Nhập văn bản để chuyển đổi")
122
- voice_select = gr.Dropdown(label="Chọn giọng đọc",
123
- choices=VOICES) # Dropdown cho voice_select
124
- audio_button = gr.Button("Tạo Âm thanh")
125
- audio_output = gr.Audio(label="Âm thanh tạo ra")
126
- download_audio = gr.File(label="Tải xuống file âm thanh", interactive=False)
127
-
128
- def text_to_speech_func(text, voice):
129
- audio_path = text_to_speech(text, voice, "Tiếng Việt")
130
- return audio_path, audio_path
131
-
132
- audio_button.click(text_to_speech_func,
133
- inputs=[text_input, voice_select],
134
- outputs=[audio_output, download_audio])
135
-
136
- with gr.Tab("Tạo Video"):
137
- script_input = gr.Textbox(label="Nhập kịch bản")
138
- audio_file = gr.File(label="Chọn file âm thanh", type="filepath")
139
- keywords_output = gr.Textbox(label="Từ khóa", interactive=True)
140
- max_clip_duration = gr.Slider(minimum=2, maximum=5, step=1, label="Thời lượng tối đa mỗi video (giây)")
141
- join_order = gr.Checkbox(label="Ghép ngẫu nhiên", value=True) # Mặc định là ghép ngẫu nhiên
142
- bgm_files = gr.Dropdown(choices=get_bgm_file_list(), label="Chọn nhạc nền")
143
- video_output = gr.Video(label="Video tạo ra")
144
-
145
- # Thêm nút để tạo video
146
- video_button = gr.Button("Tạo Video")
147
-
148
- def create_video_func(script, audio_file, keywords, max_clip_duration, join_order, bgm_file):
149
- """ Tạo video từ các thông tin đầu vào. """
150
- try:
151
- # 1. Tính toán thời lượng video
152
- audio_clip = AudioFileClip(audio_file)
153
- video_duration = audio_clip.duration
154
-
155
- # 2. Tìm kiếm và tải video từ Pexels
156
- video_paths = []
157
- for keyword in keywords.split(','):
158
- video_url = get_pexels_video(keyword.strip())
159
- if video_url:
160
- video_path = download_video(video_url) # Sử dụng hàm download_video
161
- video_paths.append(video_path)
162
-
163
- # 3. Ghép video
164
- temp_dir = tempfile.mkdtemp()
165
- if join_order: # Ghép ngẫu nhiên
166
- random.shuffle(video_paths)
167
- combined_video_path = os.path.join(temp_dir, "combined_video.mp4")
168
- combine_videos(combined_video_path, video_paths, audio_file, max_clip_duration)
169
-
170
- # 4. Gộp audio và nhạc nền
171
- final_video_path = "final_video.mp4"
172
- bgm_clip = AudioFileClip(bgm_file)
173
- final_audio = CompositeAudioClip([audio_clip, bgm_clip])
174
- final_video = VideoFileClip(combined_video_path).set_audio(final_audio)
175
- final_video.write_videofile(final_video_path)
176
-
177
- return final_video_path
178
- except Exception as e:
179
- print(f"Lỗi khi tạo video: {e}")
180
- return None
181
-
182
- # Liên kết nút với hàm xử video
183
- video_button.click(create_video_func,
184
- inputs=[script_input, audio_file, keywords_output, max_clip_duration, join_order, bgm_files],
185
- outputs=video_output)
186
-
187
- return app
188
-
189
- # Khởi chạy ứng dụng
190
- if __name__ == "__main__":
191
- app = interface()
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
192
  app.launch()
 
1
+ import asyncio
2
+ import mimetypes
3
+ import openai
4
+ import os
5
+ import tempfile
6
+ import glob
7
+ import fitz # PyMuPDF
8
+ import random
9
+ import gradio as gr
10
+ from docx import Document
11
+ from audio_processing import async_text_to_speech, text_to_speech
12
+ from content_generation import create_content, CONTENT_TYPES
13
+ from video_processing import create_video_func
14
+ from moviepy.editor import AudioFileClip, VideoFileClip, CompositeAudioClip
15
+ from utils import (combine_videos, get_pexels_video, get_bgm_file, download_video)
16
+ from video_processing import create_video
17
+ from content_generation import create_content, CONTENT_TYPES
18
+
19
+ def create_docx(content, output_path):
20
+ """
21
+ Tạo file docx từ nội dung.
22
+ """
23
+ doc = Document()
24
+ doc.add_paragraph(content)
25
+ doc.save(output_path)
26
+
27
+ def process_pdf(file_path):
28
+ """
29
+ Xử file PDF và trích xuất nội dung.
30
+ """
31
+ doc = fitz.open(file_path)
32
+ text = ""
33
+ for page in doc:
34
+ text += page.get_text()
35
+ return text
36
+
37
+ def process_docx(file_path):
38
+ """
39
+ Xử file DOCX và trích xuất nội dung.
40
+ """
41
+ doc = Document(file_path)
42
+ text = ""
43
+ for para in doc.paragraphs:
44
+ text += para.text
45
+ return text
46
+
47
+ def get_bgm_file_list():
48
+ """
49
+ Trả về danh sách các tệp nhạc nền.
50
+ """
51
+ # Giả sử bạn có một thư mục chứa các tệp nhạc nền
52
+ song_dir = "/data/bg-music"
53
+ return [os.path.basename(file) for file in glob.glob(os.path.join(song_dir, "*.mp3"))]
54
+
55
+ # Lấy API key từ biến môi trường
56
+ OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
57
+
58
+ # Khởi tạo client OpenAI
59
+ openai.api_key = OPENAI_API_KEY
60
+
61
+ def extract_key_contents(script, num_contents=10):
62
+ """
63
+ Trích xuất các ý chính từ script.
64
+ """
65
+ try:
66
+ response = openai.ChatCompletion.create(
67
+ model="gpt-3.5-turbo",
68
+ messages=[
69
+ {"role": "system", "content": f"Bạn là một chuyên gia phân tích nội dung. Hãy trích xuất chính xác {num_contents} ý chính quan trọng nhất từ đoạn văn sau, mỗi ý không quá 20 từ."},
70
+ {"role": "user", "content": script}
71
+ ]
72
+ )
73
+ key_contents = response.choices[0].message.content.split('\n')
74
+ return key_contents[:num_contents]
75
+ except Exception as e:
76
+ print(f"Lỗi khi trích xuất nội dung: {str(e)}")
77
+ return []
78
+
79
+ # Định nghĩa danh sách giọng đọc
80
+ VOICES = ["alloy", "echo", "fable", "onyx", "nova", "shimmer"]
81
+
82
+ # Giao diện Gradio
83
+ def interface():
84
+ with gr.Blocks() as app:
85
+ gr.Markdown("# Ứng dụng Tạo Nội dung và Video")
86
+
87
+ with gr.Tab("Tạo Nội dung"):
88
+ prompt = gr.Textbox(label="Nhập yêu cầu nội dung")
89
+ file_upload = gr.File(label="Tải lên file kèm theo", type="filepath")
90
+
91
+ # Sử dụng gr.Radio thay vì gr.CheckboxGroup
92
+ content_type = gr.Radio(label="Chọn loại nội dung",
93
+ choices=CONTENT_TYPES,
94
+ value=None) # Giá trị mặc định là không có gì được chọn
95
+
96
+ content_button = gr.Button("Tạo Nội dung")
97
+ content_output = gr.Textbox(label="Nội dung tạo ra", interactive=True)
98
+ confirm_button = gr.Button("Xác nhận nội dung")
99
+ download_docx = gr.File(label="Tải xuống file DOCX", interactive=False)
100
+ download_audio = gr.File(label="Tải xuống file âm thanh", interactive=False)
101
+ status_message = gr.Label(label="Trạng thái")
102
+
103
+ def generate_content(prompt, file, content_type):
104
+ try:
105
+ status = "Đang xử lý..."
106
+ if file and os.path.exists(file):
107
+ mime_type, _ = mimetypes.guess_type(file)
108
+ if mime_type == "application/pdf":
109
+ file_content = process_pdf(file)
110
+ prompt = f"{prompt}\n\nDưới đây nội dung của file tài liệu:\n\n{file_content}"
111
+ elif mime_type in (
112
+ "application/vnd.openxmlformats-officedocument.wordprocessingml.document",
113
+ "application/msword"):
114
+ file_content = process_docx(file)
115
+ prompt = f"{prompt}\n\nDưới đây là nội dung của file tài liệu:\n\n{file_content}"
116
+ else:
117
+ raise ValueError("Định dạng file không được hỗ trợ.")
118
+
119
+ if not content_type:
120
+ raise ValueError("Vui lòng chọn một loại nội dung")
121
+
122
+ script_content = create_content(prompt, content_type, "Tiếng Việt")
123
+ docx_path = "script.docx"
124
+ create_docx(script_content, docx_path)
125
+
126
+ status = "Đã tạo nội dung thành công!"
127
+ return script_content, docx_path, status
128
+ except Exception as e:
129
+ status = f"Đã xảy ra lỗi: {str(e)}"
130
+ return "", None, status
131
+
132
+ async def confirm_content(content):
133
+ docx_path = "script.docx"
134
+ create_docx(content, docx_path)
135
+
136
+ audio_path = await async_text_to_speech(content, "alloy", "Tiếng Việt")
137
+ return docx_path, audio_path, "Nội dung đã được xác nhận và âm thanh đã được tạo!"
138
+
139
+ content_button.click(generate_content,
140
+ inputs=[prompt, file_upload, content_type],
141
+ outputs=[content_output, download_docx, status_message])
142
+
143
+ confirm_button.click(lambda x: asyncio.run(confirm_content(x)),
144
+ inputs=[content_output],
145
+ outputs=[download_docx, download_audio, status_message])
146
+
147
+ with gr.Tab("Tạo Âm thanh"):
148
+ text_input = gr.Textbox(label="Nhập văn bản để chuyển đổi")
149
+ voice_select = gr.Dropdown(label="Chọn giọng đọc",
150
+ choices=VOICES) # Dropdown cho voice_select
151
+ audio_button = gr.Button("Tạo Âm thanh")
152
+ audio_output = gr.Audio(label="Âm thanh tạo ra")
153
+ download_audio = gr.File(label="Tải xuống file âm thanh", interactive=False)
154
+
155
+ def text_to_speech_func(text, voice):
156
+ audio_path = text_to_speech(text, voice, "Tiếng Việt")
157
+ return audio_path, audio_path
158
+
159
+ audio_button.click(text_to_speech_func,
160
+ inputs=[text_input, voice_select],
161
+ outputs=[audio_output, download_audio])
162
+
163
+ with gr.Tab("Tạo Video"):
164
+ script_input = gr.Textbox(label="Nhập kịch bản")
165
+ audio_file = gr.File(label="Chọn file âm thanh", type="filepath")
166
+ keywords_output = gr.Textbox(label="Từ khóa", interactive=True)
167
+ max_clip_duration = gr.Slider(minimum=2, maximum=5, step=1, label="Thời lượng tối đa mỗi video (giây)")
168
+ join_order = gr.Checkbox(label="Ghép ngẫu nhiên", value=True)
169
+ bgm_files = gr.Dropdown(choices=get_bgm_file_list(), label="Chọn nhạc nền")
170
+ video_output = gr.Video(label="Video tạo ra")
171
+ video_button = gr.Button("Tạo Video")
172
+ status_message = gr.Label(label="Trạng thái") # Thêm thông báo trạng thái
173
+
174
+ def create_video_func(script, audio_file, max_clip_duration, join_order, bgm_file):
175
+ """ Tạo video từ các thông tin đầu vào. """
176
+ try:
177
+ status_message.update("Đang xử lý...") # Cập nhật trạng thái
178
+ # 1. Tính toán thời lượng video
179
+ audio_clip = AudioFileClip(audio_file)
180
+ video_duration = audio_clip.duration
181
+
182
+ # 2. Trích xuất từ khóa từ kịch bản
183
+ keywords = extract_key_contents(script)
184
+ video_paths = []
185
+ for keyword in keywords:
186
+ video_url = get_pexels_video(keyword.strip())
187
+ if video_url:
188
+ video_path = download_video(video_url)
189
+ video_paths.append(video_path)
190
+
191
+ # 3. Ghép video
192
+ temp_dir = tempfile.mkdtemp()
193
+ if join_order:
194
+ random.shuffle(video_paths)
195
+ combined_video_path = os.path.join(temp_dir, "combined_video.mp4")
196
+ combine_videos(combined_video_path, video_paths, audio_file, max_clip_duration)
197
+
198
+ # 4. Gộp audio và nhạc nền
199
+ final_video_path = "final_video.mp4"
200
+ bgm_clip = AudioFileClip(bgm_file)
201
+ final_audio = CompositeAudioClip([audio_clip, bgm_clip])
202
+ final_video = VideoFileClip(combined_video_path).set_audio(final_audio)
203
+ final_video.write_videofile(final_video_path)
204
+
205
+ status_message.update("Video đã được tạo thành công!") # Cập nhật trạng thái
206
+ return final_video_path
207
+ except Exception as e:
208
+ status_message.update(f"Lỗi khi tạo video: {e}") # Cập nhật trạng thái
209
+ return None
210
+
211
+ return app
212
+
213
+ # Khởi chạy ứng dụng
214
+ if __name__ == "__main__":
215
+ app = interface()
216
  app.launch()
requirements.txt CHANGED
@@ -1,10 +1,9 @@
1
- gradio
2
- groq
3
- openai
4
- python-docx
5
- PyMuPDF
6
- Pillow
7
- sentence-transformers
8
- moviepy
9
- loguru
10
- requests
 
1
+ gradio
2
+ groq
3
+ openai
4
+ python-docx
5
+ PyMuPDF
6
+ Pillow
7
+ sentence-transformers
8
+ moviepy
9
+ loguru
 
utils.py CHANGED
@@ -3,7 +3,18 @@ import os
3
  import random
4
  import requests
5
  from loguru import logger
6
- from moviepy.editor import AudioFileClip, VideoFileClip, concatenate_videoclips
 
 
 
 
 
 
 
 
 
 
 
7
 
8
  def get_pexels_video(query):
9
  """
@@ -23,14 +34,15 @@ def download_video(url, save_path="downloaded_video.mp4"):
23
  """
24
  Tải video từ URL và lưu vào tệp cục bộ.
25
  """
26
- response = requests.get(url, stream=True)
27
- if response.status_code == 200:
 
28
  with open(save_path, 'wb') as f:
29
  for chunk in response.iter_content(chunk_size=1024):
30
  f.write(chunk)
31
  return save_path
32
- else:
33
- logger.error(f"Failed to download video from {url}")
34
  return None
35
 
36
  def get_bgm_file(bgm_type: str = "random", bgm_file: str = ""):
 
3
  import random
4
  import requests
5
  from loguru import logger
6
+ from moviepy.editor import VideoFileClip, concatenate_videoclips, AudioFileClip, CompositeAudioClip
7
+
8
+ # Đường dẫn đầy đủ tới các file
9
+ video_file = "input/video.mp4" # Đảm bảo có tên file và định dạng
10
+ bgm_file = "data/bg_music.mp3" # Đảm bảo có tên file và định dạng
11
+ output_path = "output/final_video.mp4" # Đảm bảo có tên file và định dạng
12
+
13
+ video = VideoFileClip(video_file)
14
+ bgm = AudioFileClip(bgm_file).subclip(0, video.duration)
15
+ final_audio = CompositeAudioClip([video.audio, bgm])
16
+ final_video = video.set_audio(final_audio)
17
+ final_video.write_videofile(output_path, audio_codec="aac")
18
 
19
  def get_pexels_video(query):
20
  """
 
34
  """
35
  Tải video từ URL và lưu vào tệp cục bộ.
36
  """
37
+ try:
38
+ response = requests.get(url, stream=True)
39
+ response.raise_for_status()
40
  with open(save_path, 'wb') as f:
41
  for chunk in response.iter_content(chunk_size=1024):
42
  f.write(chunk)
43
  return save_path
44
+ except requests.exceptions.RequestException as e:
45
+ logger.error(f"Failed to download video from {url}: {e}")
46
  return None
47
 
48
  def get_bgm_file(bgm_type: str = "random", bgm_file: str = ""):