Membawa LLM ke Internet Computer

Tonggak Ignition telah selesai. Ini membawa model bahasa besar (LLMs) ke Internet Computer, memungkinkan penggunaan LLMs dari dalam kontrak pintar canister hanya dengan beberapa baris kode.

Apa itu Tonggak Ignisi?

Tonggak Ignition, bagian dari jalur AI Terdesentralisasi dalam Peta Jalan ICP, berfokus pada menghubungkan canister ke LLM off-chain. Dengan pembaruan ini, pengembang dapat menggunakan AI dalam dapp mereka tanpa pengaturan yang rumit, berkat pekerja AI.

Apa yang Baru di Ignition

Perpustakaan LL untuk Integrasi yang Mudah

Untuk menyederhanakan koneksi canister Anda ke LLM, kami telah menambahkan pustaka dalam tiga bahasa yang digunakan di Internet Computer: Motoko, Rust, dan TypeScript.

Perpustakaan ini membuatnya cepat untuk menggunakan LLM dalam dapps Anda. Misalnya, berikut adalah cara sebuah canister dapat berinteraksi dengan Llama 3.1 hanya dengan beberapa baris kode Motoko:

import LLM "mo:llm";

tunggu LLM.chat(#Llama3_1_8B).denganPesan([
#system_ {
content = "Anda adalah asisten yang berguna.";
},
#user_ {
content = "Seberapa besar matahari?";
},
]).send();

Contoh di atas dapat ditemukan dan diutak-atik di ICP Ninja. Ini menunjukkan bagaimana sebuah canister dapat mengirim permintaan ke LLM dan mendapatkan respons, dengan pengaturan yang minimal.

Berikut adalah contoh lain yang menunjukkan cara memanggil LLM dengan alat:

import LLM "mo:llm";

aktor {
public func example() {
biarkan respons = await LLM.chat(#Llama3_1_8B)
.withMessages([
#system_ {
content = "Anda adalah asisten yang berguna."
},
#user {
content = "Bagaimana cuaca di Zurich?"
},
])
.withTools([LLM.tool("get_weather")
.withDescription("Dapatkan cuaca saat ini untuk suatu lokasi")
.withParameter(
LLM.parameter("location", #String)
.withDescription("Lokasi untuk mendapatkan cuaca")
.isRequired()
)
.build()
])
.send();
};
}

Anda dapat menemukan demo langsung penggunaan alat di sini, serta kode sumber dari demo di sini.

Pekerja AI

Untuk menghubungkan canister dengan LLM off-chain, kami telah membangun produk minimum yang layak dari pekerja AI, sebuah sistem sederhana yang memungkinkan canister mengambil data dari LLM off-chain. Pekerja AI menangani komunikasi, sehingga canister dapat mengirim permintaan dan mendapatkan respons dari LLM secara waktu nyata.

Saat ini, pekerja AI mendukung Llama 3.1 8B, Llama 4 Scout, dan Qwen 3 32B. Opsi-opsi ini memberikan fleksibilitas kepada pengembang untuk memilih LLM yang tepat untuk proyek mereka.

Berikut adalah diagram yang menggambarkan bagaimana pekerja AI digunakan di belakang layar untuk menyampaikan permintaan kepada penyedia LLM off-chain.

Cara kerjanya:

1. Kanister mengirimkan prompt ke "kanister LLM" melalui pustaka LLM yang kami sebutkan. Ini adalah pengaturan kanister khusus untuk menerima prompt LLM.
2. Kanister LLM menyimpan prompt ini dalam antrean.
3. Pekerja AI terus-menerus memeriksa kanister LLM untuk permintaan.
4. Pekerja AI mengeksekusi perintah dan mengembalikan respons ke wadah LLM, yang mengembalikannya ke wadah yang memanggil.

Kasus Penggunaan di Dunia Nyata

Pengembang sudah menggunakan pustaka LLM untuk membangun dapp kreatif, seperti:

• Dompet dengan fitur obrolan: Menambahkan AI percakapan ke dompet kripto untuk interaksi pengguna yang lebih baik ( segera diluncurkan di OISY )
• DAOs dengan analisis sentimen: Menggunakan LLM untuk menganalisis sentimen komunitas dan membimbing keputusan portofolio seperti di Alice DAO.

Contoh-contoh ini menunjukkan bagaimana pekerja AI dapat mendukung berbagai aplikasi di Internet Computer.

Mengapa Ini Penting dan Bagaimana Memulai

Tonggak Ignition memudahkan pengembang untuk mengintegrasikan LLM ke dalam proyek Internet Computer mereka, memungkinkan jenis dapps baru, seperti chatbot, alat analitik, dan aplikasi DeFi yang didorong oleh AI. Dengan menggabungkan LLM dengan fitur Internet Computer seperti Chain Fusion, panggilan HTTPS, dan keacakan onchain, pengembang dapat membangun solusi yang kreatif dan kuat.

Siap untuk mencobanya? Jelajahi proyek LLM Chatbot di ICP Ninja, lihat demo langsung, atau selami kode dan contoh di repositori kami.

Membawa LLM ke Internet Computer awalnya diterbitkan di The Internet Computer Review di Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.