Bạn đã bao giờ đặt một câu hỏi khó lên ChatGPT rồi tự hỏi “liệu Gemini hay Claude có trả lời hay hơn không”? Thay vì phải copy-paste qua từng cửa sổ, Andrej Karpathy – cựu giám đốc AI Tesla và hiện là một trong những giáo sư được theo dõi nhiều nhất về deep learning – đã tạo ra một công cụ gọi là LLM Council. Ý tưởng cực kỳ đơn giản: gom nhiều LLM hàng đầu vào một “hội đồng”, để chúng tự trả lời, tự chấm điểm chéo lẫn nhau, rồi một “Chủ tịch” tổng hợp câu trả lời cuối cùng cho bạn.
Repo này bùng nổ trên GitHub với hơn 23.000 sao chỉ trong vài ngày sau khi được đăng, chủ yếu nhờ hiệu ứng Karpathy và sự tò mò của cộng đồng AI. Đây không phải sản phẩm thương mại, cũng không phải framework phức tạp – nó là một “vibe code” thứ Bảy, đẹp, gọn, và đủ sức khiến bạn nhìn nhận lại cách mình đang dùng LLM hàng ngày.
LLM Council là web app mã nguồn mở của Andrej Karpathy cho phép gửi một câu hỏi đến nhiều LLM cùng lúc qua OpenRouter. Các mô hình tự trả lời, đánh giá chéo lẫn nhau (ẩn danh), rồi một Chairman LLM tổng hợp câu trả lời cuối. Repo phù hợp với người muốn so sánh GPT-5.1, Gemini 3 Pro, Claude Sonnet 4.5, Grok 4 một cách trực quan.
Thông tin tổng quan
| Repo | karpathy/llm-council |
|---|---|
| Stars / Forks | ⭐ 23,812 / 4,242 |
| Ngôn ngữ | Python (44%), JavaScript (37%), CSS (17%) |
| License | Không rõ |
| Contributors | 1 |
| Release mới nhất | Chưa có release |
| Cập nhật cuối | 23/11/2025 |
llm-council là gì?
Hãy tưởng tượng bạn có một câu hỏi hóc búa, ví dụ “Nên đầu tư vào ETF hay trái phiếu trong năm 2026?” – thay vì hỏi một chatbot duy nhất, bạn muốn nghe ý kiến của nhiều chuyên gia rồi nhờ ai đó tổng hợp lại. LLM Council mô phỏng chính xác quy trình đó bằng các mô hình AI.
Cụ thể, khi bạn gõ câu hỏi vào giao diện web, hệ thống sẽ gửi câu hỏi đó đến tất cả các LLM trong “hội đồng” (mặc định gồm GPT-5.1, Gemini 3 Pro, Claude Sonnet 4.5 và Grok 4) thông qua OpenRouter – một dịch vụ trung gian cho phép gọi nhiều model từ một API duy nhất. Sau đó, mỗi model sẽ được yêu cầu đánh giá và xếp hạng các câu trả lời của nhau (danh tính được ẩn để tránh thiên vị), và cuối cùng một model “Chủ tịch” sẽ tổng hợp mọi thứ thành một câu trả lời duy nhất. Bối cảnh ra đời của nó nằm trong dự án “đọc sách cùng LLM” của Karpathy – ông muốn so sánh nhiều model song song để chọn ra câu trả lời tốt nhất, và thế là LLM Council ra đời như một sản phẩm phụ đầy cảm hứng.
Tính năng chính
- Hội đồng LLM cấu hình linh hoạt — bạn có thể thêm/bớt model trong file
backend/config.py, từ OpenAI, Anthropic, Google đến xAI, tất cả qua một API key OpenRouter duy nhất. - Quy trình 3 giai đoạn tự động — Stage 1 lấy ý kiến cá nhân từng model, Stage 2 cho các model chấm điểm chéo ẩn danh, Stage 3 để Chairman LLM tổng hợp câu trả lời cuối.
- Tab view trực quan — giao diện React hiển thị câu trả lời của từng model trong các tab riêng biệt, dễ so sánh từng góc nhìn.
- Đánh giá ẩn danh chống thiên vị — khi model chấm điểm, nó không biết câu trả lời nào của model nào, giúp phản hồi khách quan hơn.
- Chairman LLM tùy chỉnh — bạn có thể chọn bất kỳ model nào làm “Chủ tịch” tổng hợp, ví dụ để Gemini 3 Pro làm trọng tài cuối cùng.
- Lưu trữ hội thoại dạng JSON — mọi cuộc hội thoại được lưu vào thư mục
data/conversations/, dễ debug, dễ export. - Stack nhẹ, dễ chạy local — FastAPI cho backend, React + Vite cho frontend, không cần Docker hay database phức tạp.
Yêu cầu phần cứng & hệ thống
| Thành phần | Yêu cầu |
|---|---|
| GPU/VRAM | Không yêu cầu – toàn bộ inference chạy trên cloud qua OpenRouter (ước tính) |
| RAM | 8 GB trở lên cho backend FastAPI và dev server (ước tính) |
| CPU | CPU thường là đủ, không cần GPU vì không chạy model local (ước tính) |
| Ổ cứng | Khoảng 500 MB cho source code + node_modules + Python packages (ước tính) |
| OS | Linux, macOS hoặc Windows có WSL (README không giới hạn cụ thể) |
| Phần mềm nền | Python 3.10+, Node.js + npm, công cụ uv, tài khoản OpenRouter có credit |
Cách cài đặt và sử dụng
Quá trình cài đặt khá đơn giản nếu bạn đã quen với Python và JavaScript. Đầu tiên, clone repo về máy:
git clone https://github.com/karpathy/llm-council.gitcd llm-council
Sau đó cài dependencies cho backend bằng uv (công cụ quản lý package Python hiện đại):
uv sync
Tiếp theo, cài dependencies cho frontend:
cd frontendnpm installcd ..
Tạo file .env ở thư mục gốc với API key OpenRouter của bạn:
OPENROUTER_API_KEY=sk-or-v1-...
Bạn cần đăng ký tại openrouter.ai và nạp credit trước. Cuối cùng, chạy ứng dụng bằng script có sẵn:
./start.sh
Hoặc chạy thủ công qua hai terminal: terminal 1 chạy uv run python -m backend.main, terminal 2 chạy cd frontend && npm run dev. Mở trình duyệt tại http://localhost:5173 là dùng được.
Phù hợp với ai?
LLM Council phù hợp với developer và AI enthusiast muốn trải nghiệm nhiều model hàng đầu cùng lúc mà không phải đăng ký 4 tài khoản khác nhau. Nó cũng tuyệt vời cho nhà nghiên cứu, content creator, người làm sản phẩm cần đánh giá chất lượng câu trả lời LLM cho các tác vụ quan trọng. Nếu bạn đang viết báo cáo, lên chiến lược, hay cần ý kiến thứ hai về một quyết định, đây là công cụ cực kỳ hữu ích.
Ngược lại, nếu bạn chỉ cần hỏi vài câu nhanh, hoặc chưa quen với terminal và API key, thì đây không phải lựa chọn tối ưu – bạn sẽ tốn thời gian cài đặt mà nhu cầu có thể chỉ cần ChatGPT hay Gemini bản web. Cũng lưu ý rằng tác giả không có ý định bảo trì repo này, nên nếu bạn cần một sản phẩm ổn định lâu dài cho doanh nghiệp, hãy cân nhắc các giải pháp thương mại.
Ứng dụng thực tế
- So sánh chất lượng nhiều LLM — đặt cùng một prompt để xem GPT-5.1, Claude, Gemini, Grok phản hồi khác nhau thế nào về cùng một vấn đề.
- Đánh giá câu trả lời cho bài viết/blog — nhờ hội đồng AI review draft bài viết trước khi đăng, giúp phát hiện điểm yếu và cải thiện.
- Hỗ trợ ra quyết định phức tạp — các câu hỏi về tài chính, chiến lược, code architecture được nhiều góc nhìn phân tích.
- Nghiên cứu và benchmarking — dùng để đánh giá model nào mạnh về lập luận, model nào giỏi sáng tạo, model nào an toàn nhất.
- Đọc sách cùng AI — đúng tinh thần gốc của Karpathy, dùng để thảo luận nội dung sách từ nhiều “giọng” AI khác nhau.
Đánh giá của danhbaai.com
Điểm mạnh lớn nhất của LLM Council là ý tưởng gọn gàng và trải nghiệm trực quan. Trong một thế giới mà mỗi nhà cung cấp LLM đều tự nhận mình là tốt nhất, việc đặt chúng cạnh nhau trên cùng một prompt là cách nhanh nhất để tự mình đánh giá. Giai đoạn đánh giá chéo ẩn danh cũng rất thông minh – nó loại bỏ phần lớn thiên kiến khi model chấm “đồng nghiệp”. Stack kỹ thuật (FastAPI + React + OpenRouter) đủ nhẹ để chạy local trong vài phút, không cần Docker, không cần GPU.
Tuy nhiên, repo này cũng có những hạn chế rõ ràng. Tác giả đã thẳng thắn nói đây là “vibe code” và không có ý định bảo trì – không có version release, không có CI/CD, không có roadmap. Chi phí vận hành cũng là điều cần tính: mỗi query gửi đến 4 model cùng lúc, cộng thêm 4 lượt review và 1 lượt Chairman, tức là 9 lần gọi API cho mỗi câu hỏi, bill OpenRouter sẽ tăng nhanh nếu dùng nhiều. So với các lựa chọn như ChatGPT Pro hay Gemini Advanced (đã tích hợp so sánh), LLM Council thắng ở chỗ minh bạch và tùy biến, nhưng thua ở sự tiện lợi và ổn định.
Tóm lại, nếu bạn là developer yêu thích khám phá, muốn có một sân chơi nhỏ để hiểu sâu về cách các LLM khác nhau phản hồi, thì đây là repo rất đáng thử. Còn nếu bạn cần một công cụ production-ready cho team, hãy fork và tự bảo trì, hoặc tìm đến các nền tảng như Poe, OpenPlayground hay các giải pháp enterprise khác.
- Ý tưởng độc đáo, mô phỏng hội đồng chuyên gia AI rất trực quan
- Stack nhẹ, cài đặt nhanh với uv và npm, không cần Docker
- Hỗ trợ hầu hết model hàng đầu qua một API key OpenRouter duy nhất
- Đánh giá chéo ẩn danh giúp giảm thiểu thiên vị giữa các model
- Code sạch, dễ đọc, dễ fork và tùy biến cho mục đích cá nhân
- Tác giả là Karpathy – uy tín cá nhân cao, cộng đồng quan tâm lớn
- Tác giả không có ý định bảo trì, không có release chính thức hay roadmap
- Chi phí API cao vì mỗi query tốn 9 lần gọi model (ước tính)
- Chưa có license rõ ràng, gây băn khoăn về bản quyền sử dụng
- 143 open issues cho thấy cộng đồng đang chờ phản hồi mà không nhận được
- Phụ thuộc hoàn toàn vào OpenRouter, không hỗ trợ chạy model local
- Thiếu các tính năng nâng cao như streaming, caching hay cost tracking
Câu hỏi thường gặp
LLM Council có miễn phí không?
Có thể dùng LLM local thay vì OpenRouter không?
Karpathy có ý định phát triển repo này thành sản phẩm không?
So với ChatGPT hay Gemini bản web thì LLM Council có gì hơn?
License của repo là gì và có dùng cho mục đích thương mại được không?
Nguồn: github.com/karpathy/llm-council — Bài phân tích bởi danhbaai.com.
