Trong bùng nổ của AI agent, việc xây dựng một agent voice realtime ổn định, dễ tích hợp và mở rộng vẫn là thách thức lớn. Nhiều framework chỉ tập trung vào một phần như LLM hoặc TTS, khiến dev phải tự ghép các thành phần khác nhau.
livekit/agents ra đời để giải quyết vấn đề này bằng cách cung cấp một framework Python toàn diện, cho phép kết hợp linh hoạt các mô hình STT, LLM, TTS từ nhiều nhà cung cấp, đồng thời tích hợp sẵn telephony, MCP và công cụ test. Nó được xây dựng trên nền tảng LiveKit – một trong những WebRTC media server phổ biến nhất.
livekit/agents là framework Python để xây dựng AI agent realtime xử lý voice và video. Nó cho phép kết hợp linh hoạt các dịch vụ STT, LLM, TTS và hỗ trợ telephony, MCP, cùng công cụ test nội bộ. Phù hợp với dev muốn xây dựng agent hội thoại đa modal.
Thông tin tổng quan
| Repo | livekit/agents |
|---|---|
| Stars / Forks | ⭐ 13,925 / 3,677 |
| Ngôn ngữ | Python (99%), C (0%), Makefile (0%) |
| License | Apache-2.0 |
| Contributors | 479 |
| Release mới nhất | [email protected] |
| Cập nhật cuối | 01/09/2026 |
| Website | https://docs.livekit.io/agents |
agents là gì?
livekit/agents là một framework mã nguồn mở viết bằng Python, được thiết kế để giúp dev xây dựng các AI agent realtime có khả năng nghe, nói, hiểu và thậm chí xem video. Thay vì phải tự quản lý kết nối WebRTC, xử lý luồng âm thanh/video và ghép các mô hình AI thủ công, framework này cung cấp một lớp trừu tượng cao level để tập trung vào logic kinh doanh.
Nó ra đời từ nhu cầu của LiveKit – công ty đứng sau LiveKit server (WebRTC media server phổ biến) – khi họ nhận thấy nhiều dev muốn xây dựng agent voice trên nền tảng của họ nhưng thiếu công cụ thống nhất. Với livekit/agents, dev chỉ cần định nghĩa hướng dẫn (instructions) và công cụ (tools), framework sẽ lo phần còn lại: kết nối, luồng đối thoại, phát hiện luồng nói và tích hợp với các dịch vụ AI bên ngoài.
Tính năng chính
- Flexible integrations — Hỗ trợ kết hợp linh hoạt các nhà cung cấp STT (Deepgram, OpenAI), LLM (OpenAI, Google, Anthropic), TTS (Cartesia, ElevenLabs) và Realtime API qua plugin hoặc inference tích hợp sẵn.
- Integrated job scheduling — Có hệ thống lập lịch và phân phối công việc nội bộ qua dispatch API, giúp kết nối người dùng cuối với agent một cách tự động và mở rộng.
- Telephony integration — Tích hợp liền mạch với LiveKit telephony stack, cho phép agent gọi và nhận gọi từ điện thoại thường qua SIP.
- Semantic turn detection — Sử dụng mô hình transformer để phát hiện khi người dùng kết thúc lượt nói, giúp giảm gián đoạn và tạo trải nghiệm trò chuyện tự nhiên hơn.
- MCP support — Hỗ trợ nguyên bản Model Context Protocol (MCP), cho phép tích hợp công cụ từ MCP server bằng một dòng code.
- Builtin test framework — Cung cấp framework test nội bộ để viết test tự động, kiểm tra hành vi agent và sử dụng LLM làm judge để đánh giá ý định trả lời.
- Extensive WebRTC clients — Kết nối liền mạch với các SDK client của LiveKit (web, mobile, desktop) để xây dựng ứng dụng khách đa nền tảng.
- Open-source và tự triển khai — Toàn bộ mã nguồn mở Apache-2.0, cho phép chạy hoàn toàn trên máy chủ tự quản lý, bao gồm LiveKit server.
Yêu cầu phần cứng & hệ thống
| Thành phần | Yêu cầu |
|---|---|
| GPU/VRAM | Không bắt buộc (ước tính) – phụ thuộc vào mô hình LLM/TTS được sử dụng; nếu dùng mô hình hosted qua LiveKit Cloud thì không cần GPU local |
| RAM | ≥ 2 GB (ước tính) – để chạy agent server và xử lý luồng dữ liệu realtime |
| CPU | ≥ 2 cores (ước tính) – đủ để xử lý luồng audio/video và gọi API bên ngoài |
| Ổ cứng | ≥ 5 GB SSD (ước tính) – để cài đặt Python, dependencies và lưu trữ tạm |
| OS | Linux, macOS, Windows (Windows WSL2 khuyến nghị) – bất kỳ hệ điều hành nào hỗ trợ Python 3.9+ |
| Phần mềm nền | Python ≥ 3.9, uv (khuyến nghị) hoặc pip để quản lý dependencies |
Cách cài đặt và sử dụng
Cài đặt gói core và các plugin phổ biến qua pip: pip install "livekit-agents[openai,deepgram,cartesia]". Đối với phát triển, khuyến nghị sử dụng uv: uv sync --all-extras --dev sau khi clone repo. Cần thiết lập biến môi trường LIVEKIT_URL, LIVEKIT_API_KEY, LIVEKIT_API_SECRET để kết nối với LiveKit server (cloud hoặc tự-hosted).
Phù hợp với ai?
Phù hợp với dev Python muốn xây dựng AI agent voice/realtime đa modal, đặc biệt là những ai đã quen với LiveKit hoặc cần tích hợp telephony và MCP. Doanh nghiệp muốn triển khai agent gọi điện tự động hoặc hỗ trợ khách hàng cũng là đối tượng idéal. Người mới trong AI có thể gặp khó khăn do cần hiểu khái niệm agent, session, và các dịch vụ STT/LLM/TTS; họ nên bắt đầu từ các ví dụ trong examples/ trước.
Ứng dụng thực tế
- Xây dựng agent gọi điện tự động để đặt hàng, đặt bàn hàng ăn hoặc hỗ trợ khách hàng qua điện thoại.
- Tạo trợ lý voice thông minh cho ứng dụng di động hoặc web, có khả năng xem video (qua Gemini Live) và sử dụng công cụ từ MCP.
- Phát triển agent hội thoại đa người trong phòng họp ảo, hỗ trợ push-to-talk và ghi lại cuộc hội thoại.
- Tạo agent transcriber realtime để ghi lại nội dung cuộc gọi hoặc họp từ nhiều người tham gia.
- Xây dựng agent dùng trong game hoặc mô phỏng để tạo nhân vật NPC có khả năng trò chuyện thực thời.
Các repo tương tự đáng chú ý
Gợi ý để so sánh: Các dự án dưới đây cùng chủ đề và nằm trong nhóm có lượng stars nổi bật trên GitHub.
- pipecat-ai/pipecat ⭐ 15,054 stars · PythonOpen Source framework for voice agents, multimodal apps, and realtime AI. Maintained by Daily and the community.
- GetStream/Vision-Agents ⭐ 8,105 stars · PythonOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Stream's edge network for ultra-low latency.
- QwenAudio/qwen-audio-agent ⭐ 2,307 stars · JavaScriptA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents
Đánh giá của danhbaai.com
livekit/agents là một trong những framework tốt nhất hiện nay để xây dựng AI agent realtime voice/video, đặc biệt khi đã sử dụng hoặc muốn sử dụng LiveKit làm nền tảng truyền thông. Điểm mạnh nổi bật là tính linh hoạt trong việc kết hợp các mô hình AI, tích hợp sẵn telephony và MCP, cộng đồng mạnh mẽ và tài liệu chi tiết. Tuy nhiên, sự phụ thuộc vào ecosystem LiveKit có thể là hạn chế đối với những ai muốn sử dụng WebRTC server khác hoặc muốn giải pháp độc lập hoàn toàn.
So với lựa chọn thay thế như Pipecat (cũng mạnh mẽ nhưng tập trung hơn vào pipeline) hoặc Vocode (dễ dùng hơn nhưng ít linh hoạt), livekit/agents cân bằng tốt giữa sức mạnh, tính mở rộng và độ ổn định. Dù có một chút độ phức tạp ban đầu, nhưng với tài liệu và ví dụ tốt, đây là lựa chọn đáng đầu tư cho bất kỳ dự án AI agent realtime nào cần chất lượng sản xuất.
- Tích hợp linh hoạt nhiều nhà cung cấp STT/LLM/TTS
- Hỗ trợ telephony và MCP nguyên bản
- Công cụ test nội bộ mạnh mẽ
- Tài liệu và ví dụ rất tốt
- Cộng động hoạt động và phản hồi nhanh
- Độ phức tạp ban đầu có thể cao đối với người mới
- Phụ thuộc mạnh vào ecosystem LiveKit
- Ít tài liệu về hiệu suất và tối ưu tài nguyên
- Một số tính năng mới vẫn trong giai đoạn phát triển
- Cần hiểu khái niệm agent, session, job để sử dụng hiệu quả
Câu hỏi thường gặp
livekit/agents có thể dùng mà không cần LiveKit server?
Có phải trả tiền để dùng livekit/agents không?
livekit/agents hỗ trợ ngôn ngữ nào ngoài Python?
Tôi cần GPU để chạy livekit/agents?
livekit/agents khác với Pipecat như thế nào?
Nguồn: github.com/livekit/agents — Bài phân tích bởi danhbaai.com.
