Đưa LLMs đến Máy Tính Internet

Mốc Ignition đã hoàn thành. Điều này mang các mô hình ngôn ngữ lớn (LLMs) đến với Máy tính Internet, giúp việc sử dụng LLMs từ bên trong các hợp đồng thông minh canister chỉ với vài dòng mã.

Cột mốc Khởi động là gì?

Mốc Ignition, một phần của lộ trình ICP trong theo dõi AI phi tập trung, tập trung vào việc kết nối các canister với LLMs ngoài chuỗi. Với cập nhật này, các nhà phát triển có thể sử dụng AI trong các dapp của họ mà không cần thiết lập phức tạp, nhờ vào các công nhân AI.

Có gì mới trong Ignition

Thư viện LL cho việc tích hợp dễ dàng

Để đơn giản hóa việc kết nối các canister của bạn với LLM, chúng tôi đã thêm các thư viện bằng ba ngôn ngữ sử dụng trên Internet Computer: Motoko, Rust và TypeScript.

Những thư viện này giúp việc sử dụng LLM trong các dapps của bạn trở nên nhanh chóng. Ví dụ, đây là cách một canister có thể tương tác với Llama 3.1 chỉ bằng vài dòng mã Motoko:

import LLM "mo:llm";

await LLM.chat(#Llama3_1_8B).withMessages([
#system_ {
content = "Bạn là một trợ lý hữu ích.";
},
#user_ {
content = "Mặt trời lớn bao nhiêu?";
},
]).send();

Ví dụ trên có thể được tìm thấy và thử nghiệm trên ICP Ninja. Nó cho thấy cách một canister có thể gửi một truy vấn đến một LLM và nhận được phản hồi, với thiết lập tối thiểu.

Đây là một ví dụ khác cho thấy cách gọi LLM với các công cụ:

import LLM "mo:llm";

diễn viên {
public func example() {
let response = await LLM.chat(#Llama3_1_8B)
.withMessages([
#system_ {
content = "Bạn là một trợ lý hữu ích."
},
#user {
content = "Thời tiết ở Zurich thế nào?"
},
])
.withTools([LLM.tool("get_weather")
.withDescription("Lấy thời tiết hiện tại cho một vị trí")
.withParameter(
LLM.parameter("location", #String)
.withDescription("Địa điểm để lấy thời tiết")
.isRequired()
)
.build()
])
.send();
};
}

Bạn có thể tìm thấy một bản demo trực tiếp về việc sử dụng công cụ tại đây, cũng như mã nguồn của bản demo tại đây.

Công nhân AI

Để kết nối các canister với LLM bên ngoài, chúng tôi đã xây dựng một sản phẩm khả thi tối thiểu của các công nhân AI, một hệ thống đơn giản cho phép các canister truy xuất dữ liệu từ LLM bên ngoài. Các công nhân AI xử lý việc giao tiếp, vì vậy các canister có thể gửi yêu cầu và nhận phản hồi từ LLM trong thời gian thực.

Hiện tại, các công nhân AI hỗ trợ Llama 3.1 8B, Llama 4 Scout và Qwen 3 32B. Những tùy chọn này mang lại sự linh hoạt cho các nhà phát triển trong việc chọn LLM phù hợp cho dự án của họ.

Đây là một sơ đồ minh họa cách mà các công nhân AI được sử dụng bên trong để chuyển tiếp các lệnh nhắc tới các nhà cung cấp LLM ngoài chuỗi.

Cách hoạt động:

1. Canisters gửi các lời nhắc đến một "LLM canister" thông qua các thư viện LLM mà chúng tôi đã đề cập. Đây là một canister đặc biệt được thiết lập để nhận các lời nhắc LLM.
2. Bộ nhớ LLM lưu trữ những lời nhắc này trong một hàng đợi.
3. Các công nhân AI liên tục lấy dữ liệu từ canister LLM để nhận các gợi ý.
4. Các công nhân AI thực hiện các lệnh và trả về phản hồi cho canister LLM, mà trả lại cho canister gọi.

Các Trường Hợp Sử Dụng Thực Tế

Các nhà phát triển đã bắt đầu sử dụng các thư viện LLM để xây dựng các dapps sáng tạo, chẳng hạn như:

• Ví với tính năng trò chuyện: Thêm AI hội thoại vào ví tiền điện tử để cải thiện tương tác người dùng (sẽ được ra mắt trong OISY)
• DAOs với phân tích cảm xúc: Sử dụng LLM để phân tích cảm xúc của cộng đồng và hướng dẫn quyết định danh mục đầu tư như trong Alice DAO.

Các ví dụ này cho thấy cách mà các công nhân AI có thể hỗ trợ một loạt các ứng dụng trên Máy tính Internet.

Tại sao điều này quan trọng và cách bắt đầu

Cột mốc Ignition giúp các nhà phát triển dễ dàng tích hợp LLM vào các dự án Internet Computer của họ, cho phép tạo ra những loại dapp mới, như chatbot, công cụ phân tích, và các ứng dụng DeFi dựa trên AI. Bằng cách kết hợp LLM với các tính năng của Internet Computer như Chain Fusion, HTTPS outcalls, và sự ngẫu nhiên trên chuỗi, các nhà phát triển có thể xây dựng những giải pháp sáng tạo và mạnh mẽ.

Sẵn sàng thử nghiệm chưa? Khám phá dự án LLM Chatbot trên ICP Ninja, xem bản demo trực tiếp, hoặc tìm hiểu về mã nguồn và ví dụ trong kho lưu trữ của chúng tôi.

Việc đưa LLM vào Máy Tính Internet ban đầu được xuất bản trong The Internet Computer Review trên Medium, nơi mọi người đang tiếp tục cuộc trò chuyện bằng cách làm nổi bật và phản hồi câu chuyện này.