Độ tin cậy
Tự động chuyển sang mô hình dự phòng theo thứ tự bạn chọn.
Cung cấp danh sách mô hình dự phòng theo thứ tự. Sau khi các tuyến đủ điều kiện của mô hình được yêu cầu đều gặp lỗi có thể thử lại trước đầu ra ngữ nghĩa đầu tiên, Monsoon mới chuyển sang mô hình tiếp theo do bên gọi cung cấp và ghi lại từng lần thử.
- 01
Thứ tự dự phòng do bên gọi quyết định
- 02
Chỉ lỗi đủ điều kiện trước điểm cam kết luồng
- 03
Ghi lại từng lần thử tuyến
Truy cập hợp nhất
Một giao diện quen thuộc cho danh mục mô hình phong phú.
Tích hợp qua giao diện chat completions tương thích với OpenAI. Monsoon hiển thị rõ mã định danh mô hình, các khả năng đã biết và trạng thái khả dụng; chỉ những mô hình có tuyến đủ điều kiện mới có thể được gọi.
curl https://api.monsoon.sh/v1/chat/completions \
-H "Authorization: Bearer $MONSOON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "organization/model-primary",
"models": ["organization/model-fallback"],
"messages": [{"role": "user", "content": "Your test prompt"}],
"stream": true
}'Khả năng kiểm tra
Bản ghi theo từng yêu cầu, thay vì một hộp đen.
Kiểm tra mô hình được yêu cầu, danh sách dự phòng theo thứ tự, các lần thử tuyến, mô hình thực tế đã phục vụ, độ trễ, mức sử dụng token và chi phí thượng nguồn ước tính cho từng yêu cầu. Thông tin không thể kiểm chứng sẽ được ghi là Chưa xác định.
- Mô hình được yêu cầu và mô hình đã phục vụ
- Theo từng yêu cầu
- Các lần thử tuyến theo đúng thứ tự
- Theo từng yêu cầu
- Độ trễ và mức sử dụng token
- Theo từng yêu cầu
- Chi phí thượng nguồn ước tính
- Theo từng yêu cầu
- Trạng thái ghi nội dung
- Theo từng yêu cầu
- Nhà vận hành suy luận
- Chưa xác minh
Tuyến Việt Nam
Định tuyến xử lý tại Việt Nam là cột mốc cụ thể tiếp theo.
Hiện nay, endpoint Việt Nam chỉ là bản xem trước được ghi nhãn rõ ràng. Endpoint này không thực hiện suy luận và ghi nhận 0 token cùng chi phí bằng 0. Tuyến hoạt động thực tế sẽ cần các ranh giới có thể kiểm chứng đối với suy luận, nhật ký, bí mật, bản sao lưu và quyền truy cập quản trị tại Việt Nam.
- Suy luận
- Không thực hiện
- Token / chi phí
- 0 / 0
- Trạng thái
- Bản xem trước—không thực hiện suy luận
Sứ mệnh
Bắt đầu từ gateway. Xây dựng năng lực bền vững theo thời gian.
Monsoon đang xây dựng hạ tầng và năng lực nghiên cứu để AI ở trình độ tiên phong có thể được phát triển và triển khai tại Việt Nam—bắt đầu từ một gateway đáng tin cậy tới các mô hình hàng đầu thế giới.
Đối với Monsoon, AI có chủ quyền có nghĩa là từng bước xây dựng quyền kiểm soát đối với việc triển khai, xử lý dữ liệu, khả năng kiểm tra, hạ tầng và sau cùng là năng lực mô hình tại Việt Nam. Đây là định hướng dài hạn, không phải tuyên bố rằng những năng lực đó đã tồn tại.
Quyền truy cập sớm có giới hạn
Hãy cho chúng tôi biết bạn đang xây dựng gì.
Monsoon đang đánh giá một số ít nhà phát triển và đội ngũ để cấp quyền truy cập sớm vào gateway.
Biểu mẫu chỉ có thể nhận dữ liệu cá nhân sau khi danh tính bên kiểm soát, kênh liên hệ đang hoạt động, thời hạn lưu giữ, danh mục nhà cung cấp, rà soát pháp lý và rà soát thủ công bản tiếng Việt đều được xác nhận.
Đọc thông báo quyền riêng tư cho quyền truy cập sớm