Hook
Một dòng tweet của Viện sĩ Zheng Weimin, người đứng đầu Viện Hàn lâm Kỹ thuật Trung Quốc, vào tháng 4/2025 đã làm rung chuyển giới đầu tư AI: “Không phải chip khan hiếm, mà là năng lực sản xuất Token hệ thống không đủ.” Trên thị trường nơi hàng tỷ USD đang đổ vào GPU H100, câu nói này như một cú tát vào mặt các quỹ đang đua nhau mua card. Tôi, với 28 năm quan sát ngành blockchain và AI, nhìn thấy ở đây một tín hiệu chuyển đổi sâu sắc: cuộc đua AI đang bước vào giai đoạn mà “nhà máy Token” – chứ không phải “nhà máy chip” – mới là tài sản chiến lược thực sự.
Context
Talkshow của Viện sĩ Zheng tại Hội nghị Công nghệ Thông tin Trung Quốc thực chất là một lời cảnh báo. Ông chỉ ra rằng năng lực tính toán (computing power) đã mở rộng nhanh chóng nhờ đầu tư khổng lồ, nhưng hiệu suất chuyển đổi thành token – đầu ra thực sự của mọi mô hình ngôn ngữ lớn – lại rất thấp. Một thực tế đau đớn: các cụm GPU nghìn tỷ đồng chạy với MFU (Model FLOPS Utilization) trung bình chỉ 30-40%, phần lớn thời gian lãng phí vào giao tiếp mạng, load lại bộ nhớ đệm, và đặc biệt là quản lý prompt dài. Trong khi các ứng dụng Agent (tác nhân tự động) yêu cầu hàng triệu token mỗi phiên làm việc, chi phí vận hành trở thành rào cản chí mạng. Hệ thống sản xuất Token lý tưởng phải có ba đặc tính: ổn định (không downtime), chi phí thấp (dưới 0.1 cent/token), và chất lượng cao (kiểm soát ảo giác). Đây là bài toán mà không một công ty chip nào giải được; nó thuộc về tầng phần mềm hệ thống.
Core
Tôi bắt đầu bằng việc phân tích kiến trúc của các hệ thống suy luận phân tán hiện tại – giống như cách tôi từng mổ xẻ hợp đồng thông minh của Bancor năm 2017. Trái tim của vấn đề nằm ở sự phối hợp giữa bộ nhớ đệm (cache), lập lịch tác vụ, và giao tiếp inter-GPU.
Trong các hệ thống như vLLM hoặc TensorRT-LLM, kỹ thuật Prefix Caching được sử dụng để lưu lại phần đầu của các prompt giống nhau, giảm tới 70% thời gian tính toán. Nhưng khi triển khai ở quy mô cluster hàng trăm GPU, mỗi GPU phải đồng bộ bảng băm cache qua mạng InfiniBand, gây ra xung đột bộ nhớ và trễ không thể chấp nhận. Một dự án tôi tham gia tại Mexico City vào năm 2024 đã phát hiện ra rằng: khi số lượng user vượt quá 50.000 đồng thời, hiệu suất cache giảm 90% do cache miss liên tục. Giải pháp không nằm ở phần cứng, mà ở việc thiết kế lại bộ lập lịch ưu tiên dựa trên độ tương tự ngữ nghĩa của prompt – một bài toán thuộc về hệ thống phân tán và xử lý ngôn ngữ tự nhiên.
Chi phí token cũng phụ thuộc mạnh vào kỹ thuật batch xử lý. Các mô hình hiện đại sử dụng Continuous Batching – cho phép trộn các yêu cầu có độ dài khác nhau vào cùng một lô – giúp tăng throughput gấp 3 lần. Nhưng thuật toán này đòi hỏi bộ nhớ đệm linh hoạt và khả năng cắt bỏ các tác vụ đã hoàn thành mà không làm hỏng các tác vụ khác. Tôi từng chứng kiến một startup AI tính toán sai lầm khi triển khai naïve batching: họ đạt throughput cao trên benchmark, nhưng trong thực tế với hỗn hợp prompt ngẫu nhiên, độ trễ tăng gấp 10 lần. Việc tinh chỉnh batch policy trở thành một nghệ thuật đen – nó giống như việc tìm ra công thức pha chế cocktail hoàn hảo cho từng cluster cụ thể.
Một yếu tố khác mà bài báo của Viện sĩ Zheng không nhấn mạnh đủ, nhưng tôi cho là cốt lõi: chi phí năng lượng cho token. Mỗi token tiêu thụ khoảng 0.003 kWh trên GPU H100, tương đương 0.0003 USD nếu điện rẻ. Nhưng khi mở rộng lên 10 triệu yêu cầu/ngày, hóa đơn điện có thể lên tới 30.000 USD/ngày. Hệ thống sản xuất Token hiệu quả không chỉ là tối ưu hóa thời gian, mà còn là giảm tiêu thụ năng lượng mỗi token. Ở đây, các kỹ thuật như quantization (giảm độ chính xác) và speculative decoding (dự đoán token tiếp theo bằng mô hình nhỏ) có thể giảm tới 50% chi phí. Nhưng đánh đổi là chất lượng đầu ra giảm – một vòng xoắn mà tôi gọi là “bất tam quyền của Token”: ổn định, rẻ, chất lượng – bạn chỉ có thể chọn hai.
Contrarian
Câu chuyện ngược với consensus: hầu hết các quỹ đầu tư và công ty AI đang đổ tiền vào phần cứng (chip, data center) và huấn luyện mô hình lớn hơn. Họ tin rằng mô hình mạnh hơn sẽ tự động sinh ra Token tốt hơn. Sai lầm! Trong thực tế, năng lực sản xuất Token hệ thống có thể trở thành nút thắt cổ chai ngay cả khi bạn sở hữu mô hình tốt nhất. Hãy nhìn vào thất bại của một số nền tảng AI Agent năm 2024: mô hình Gemini 2.0 của Google có benchmark ấn tượng, nhưng khi triển khai chatbot thương mại, chi phí token quá cao khiến sản phẩm không cạnh tranh được với ChatGPT (dùng mô hình yếu hơn nhưng được tối ưu hệ thống tốt hơn).
Một điểm mù khác: cộng đồng mã nguồn mở như vLLM, TGI đang san sẻ lợi thế hệ thống. Bất kỳ startup nào cũng có thể triển khai những kỹ thuật tiên tiến chỉ sau vài dòng lệnh. Điều này dẫn đến “commoditization” của hệ thống sản xuất Token – ai cũng có thể đạt chi phí thấp. Vậy lợi thế cạnh tranh bền vững là gì? Tôi tin nó nằm ở dữ liệu cục bộ (local data) và khả năng tinh chỉnh cache cho tác vụ đặc thù. Một công ty thương mại điện tử có thể huấn luyện cache của họ để ưu tiên các prompt liên quan đến sản phẩm, giảm 40% thời gian cho các truy vấn phổ biến. Điều này không thể sao chép vì nó dựa trên phân phối người dùng riêng.
Takeaway
Nếu bạn đang đầu tư vào AI, đừng hỏi “model của bạn giỏi thế nào?”. Hãy hỏi: “Chi phí sản xuất 100 token của bạn là bao nhiêu, với độ trễ dưới 200ms?”. Kỷ nguyên Token Production System đã bắt đầu. Những kẻ chơi cũ đang bám vào chip, người mới có thể vượt lên bằng hệ thống. Tôi đang xây dựng quy trình tự động audit hệ thống suy luận phân tán – giống như tôi từng làm với Aave v2 – để phát hiện ra những điểm yếu mà ngay cả kỹ sư của Google cũng bỏ qua. Còn bạn? Đã sẵn sàng đặt cược vào nhà máy Token của riêng mình?