OpenAI xây dựng ‘Nhà máy hiệu suất’ để giữ ChatGPT chạy nhanh
OpenAI vừa công bố chi tiết về Performance Factory — một hệ thống nội bộ được thiết kế để liên tục theo dõi, phát hiện và khắc phục các điểm nghẽn hiệu suất của ChatGPT. Thay vì chờ người dùng phàn nàn, hệ thống này chủ động chạy các benchmark tự động, phân tích log và sử dụng các quy trình do Codex điều phối để định vị nguyên nhân gốc rễ của sự chậm trễ.
Theo OpenAI, Performance Factory hoạt động như một dây chuyền sản xuất: thu thập dữ liệu hiệu suất thực tế từ hàng triệu phiên hội thoại, so sánh với cơ sở dữ liệu các mẫu lỗi đã biết, sau đó tự động đề xuất hoặc áp dụng bản vá (patch) cho mã nguồn hạ tầng. Quy trình này lặp lại liên tục, giúp thời gian phát hiện-sửa lỗi rút gọn từ ngày xuống còn giờ.
Một điểm nổi bật là việc tận dụng chính các mô hình AI (Codex) để viết mã kiểm thử, phân tích flame graph và mô phỏng tải trọng cực đại. Điều này cho phép đội ngũ kỹ thuật tập trung vào các vấn đề kiến trúc phức tạp hơn thay vì sửa lỗi lặp lại. Hệ thống cũng tích hợp cảnh báo tự động khi phát hiện hồi quy hiệu suất sau mỗi lần triển khai phiên bản mới.
Với quy mô người dùng ChatGPT hiện nay, việc duy trì độ trễ thấp không chỉ là vấn đề kỹ thuật mà còn quyết định trải nghiệm và chi phí vận hành GPU. Performance Factory thể hiện xu hướng “AI xây dựng AI” trong vận hành hạ tầng quy mô lớn — một bài học quý giá cho các đội ngũ MLOps tại Việt Nam đang xây dựng hệ thống LLM phục vụ hàng triệu người dùng.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.