Biar Tagihan Cloud Nggak Jebol, Agen AI Dipindah ke NPU

Agen otonom yang menangani tiket pelanggan jarang berhenti pada satu panggilan API. Dalam satu sesi, perangkat lunak itu membaca keluhan, memilih alat, menyusun argumen JSON, lalu mengecek ulang keluarannya. Mengirim semua putaran mekanis itu ke server awan (cloud) cepat menguras biaya token. Waktu tunggu pengguna ikut molor.

Kondisi tersebut mendorong tim rekayasa memindahkan pekerjaan berulang ke model bahasa kecil atau small language model (SLM) yang berjalan langsung di NPU ponsel maupun laptop. Komputasi tepi (edge computing) memangkas jeda jaringan sekaligus menahan data pribadi di perangkat keras lokal. Meski demikian, memaksa seluruh alur agen berjalan luring tanpa pemilahan tugas justru menurunkan akurasi penalaran.

Pemisahan Tugas antara NPU dan Model Awan

Mayoritas pekerjaan agen otonom sebenarnya bersifat mekanis. Tinjauan OctaNeural terhadap studi peneliti NVIDIA dan Georgia Tech mencatat bahwa sebagian besar panggilan model pada tiga agen sumber terbuka hanya berupa tugas pendek, seperti memilih alat dan mengisi argumennya. Memakai model berparameter ratusan miliar di pusat data untuk pekerjaan sesederhana itu ibarat menyewa truk kontainer demi mengantar satu kotak makan siang.

Model berukuran ringkas kini sanggup menangani tugas sempit tersebut langsung di perangkat konsumen. Google menyediakan FunctionGemma yang disetel khusus untuk pemanggilan fungsi (function calling) pada agen lokal. Ukuran berkas dan kebutuhan memori kerjanya cukup kecil untuk disematkan ke dalam aplikasi ponsel berkapasitas memori terbatas. Pada komputer pribadi, Microsoft menyertakan Phi Silica sebagai model bawaan perangkat Copilot+ PC yang memiliki NPU khusus.

Pengembang tetap perlu berhati-hati membaca metrik pemasaran cip. Angka TOPS tidak mencerminkan kapasitas memori. Metrik itu cuma menghitung kecepatan operasi aritmetika ringan, bukan daya tampung RAM untuk menjalankan model berukuran besar. Selain itu, hasil pengujian awal menunjukkan bahwa SLM masih kerap meleset ketika harus menyelesaikan alur kerja panjang yang menuntut banyak langkah berurutan.

Karena keterbatasan itu, arsitektur produksi yang paling realistis adalah perutean (routing) hibrida antara perangkat lokal dan server jauh. Tim pengembang memasang SLM di NPU sebagai lapisan pertama untuk klasifikasi dan ekstraksi parameter, lalu meneruskan penalaran rumit ke model cloud. Dokumentasi Windows AI mencontohkan pola berjenjang ini lewat tiga lapis eksekusi, mulai dari pemanggilan API lokal pada NPU, beralih ke Foundry Local di GPU atau CPU bila akselerator absen, hingga memanggil Azure AI saat daya komputasi lokal tidak mencukupi.

Cara Sirkuit NPU Menghemat Daya Baterai

Inferensi model bahasa pada laptop tipis dan ponsel pintar selalu berbenturan dengan batas panas serta daya tahan baterai. Prosesor CPU menjalankan instruksi secara berurutan dengan jumlah inti terbatas. Sebaliknya, GPU mengandalkan ribuan inti paralel yang awalnya dirancang untuk grafis, sehingga kipas berputar kencang dan baterai terkuras cepat saat dipakai memproses teks terus-menerus.

Mengapa Agen AI Otonom Mulai Berjalan di NPU Perangkat

Sirkuit unit pemrosesan saraf atau NPU menekan pemborosan tersebut lewat spesialisasi perangkat keras. Perancang cip menanamkan ribuan unit perkalian-akumulasi khusus bersama memori internal berkecepatan tinggi di dalam satu paket prosesor. Jalur data dioptimalkan untuk aliran matriks jaringan saraf alih-alih mengejar kecepatan detak mentah, sehingga operasi terkuantisasi berjalan dengan tarikan daya jauh lebih rendah.

Keuntungan arsitektur ini terlihat saat pengembang memadukan kuantisasi (quantization) dengan pustaka eksekusi yang tepat. Dalam pengujian Gemma 3 1B pada Samsung Galaxy S25 Ultra, tim Google mencatat kerangka kerja LiteRT berbasis NPU melaju tiga kali lebih cepat ketimbang eksekusi CPU dan GPU melalui llama.cpp. Di ranah riset sistem, penjadwal llm.npu pada konferensi ASPLOS juga mempercepat fase prefill dan menekan konsumsi energi secara signifikan. Penghematan itu dicapai lewat pemecahan prompt serta pembagian blok antara NPU dan prosesor pendamping.

Walau demikian, memindahkan model ke NPU tetap menuntut kalibrasi ulang. Pengukuran tim riset PowerBench menemukan pembagian karakter beban kerja di perangkat bergerak. Fase prefill yang padat hitungan sangat cocok bagi NPU. Sebaliknya, fase decode token demi token yang terikat lebar pita memori kerap lebih gesit di CPU. Pengaturan utas yang buruk, jeda tidur NPU yang meleset, dan operator atensi yang jatuh kembali ke CPU bisa memboroskan daya baterai. Oleh karena itu, pengembang tetap harus mengukur profil energi pada tiap perangkat target.

Pengamanan Data Lewat Enklave dan Pemrosesan Lokal

Mengirim catatan transaksi atau rekam medis ke API pihak ketiga selalu mengundang risiko kebocoran dan masalah kepatuhan hukum. Kontrak legal tidak mengubah fakta bahwa teks mentah tetap melintasi jaringan publik dan masuk ke memori server luar. Inferensi lokal (on-device inference) memutus jalur paparan itu sejak awal. Seluruh prompt dan konteks pengguna tinggal di perangkat keras pribadi.

Namun, agen otonom terkadang tetap harus memanggil model yang lebih besar di server regional saat penalaran melampaui kapasitas NPU. Pada titik persimpangan itu, isolasi tingkat silikon lewat lingkungan eksekusi tepercaya (trusted execution environment atau TEE) menjadi pengaman tambahan. Di level prosesor, TEE mengunci ruang kerja terisolasi dengan mengenkripsi seluruh isi memori memakai kunci AES perangkat keras agar tidak bisa dibaca oleh sistem operasi maupun administrator server.

Lapisan enklave ini diperkuat oleh mekanisme atestasi kriptografis. Sebelum aplikasi klien mengirim data atau mengizinkan dekripsi bobot model, proses atestasi memverifikasi secara matematis bahwa perangkat lunak dan konfigurasi sistem benar-benar berjalan di atas perangkat keras TEE asli tanpa modifikasi. Jika hasil pengecekan gagal, aplikasi langsung membatalkan sesi sebelum data berpindah.

Penerapan TEE tetap menuntut perhitungan performa. Enklave berbasis CPU seperti Intel SGX menimbulkan biaya komunikasi tinggi ketika lapisan model harus bolak-balik melintasi batas memori terenkripsi menuju akselerator GPU. Pola arsitektur yang paling bersih adalah menyamarkan data pribadi dan menjalankan pemanggilan alat sepenuhnya di NPU lokal, lalu mengirim ringkasan teranonimisasi hanya apabila eskalasi ke server memang tak terelakkan.

Dampak Ekonomi dan Bahasa bagi Pengembang Kawasan

Pergeseran menuju SLM dan komputasi tepi membawa hitungan ekonomi yang jauh lebih genting bagi pengembang di Asia Tenggara ketimbang tim produk di Amerika Serikat atau Eropa. Banyak perusahaan rintisan dan usaha kecil di kawasan ini kewalahan menanggung biaya bayar per token (pay-per-token) begitu pemakaian agen melonjak. Ketika fitur ringkasan dokumen atau asisten layanan dipakai terus-menerus setiap hari, tagihan API komersial naik beriringan dengan jumlah pengguna. Memindahkan inferensi rutin ke perangkat pelanggan menekan biaya variabel per kueri hingga nyaris nol setelah aplikasi terpasang.

Kondisi jaringan di negara kepulauan seperti Indonesia dan Filipina juga membuat ketergantungan penuh pada server pusat menjadi titik rapuh. Petugas lapangan di sektor logistik maupun pencatatan medis pada wilayah bersinyal lemah tetap bisa memproses suara dan perintah lokal secara luring. Pada saat yang sama, eksekusi di perangkat langsung membantu aplikasi memenuhi aturan residensi data yang makin ketat di berbagai negara Asia Tenggara.

Tantangan teknis berikutnya menyentuh akurasi bahasa setempat dan kebiasaan campur kode (code-switching) dalam percakapan harian. Model global yang unggul pada tolok ukur bahasa Inggris sering menghasilkan kalimat kaku atau keliru saat mencerna campuran bahasa Indonesia, Jawa, Melayu, Thai, dan Vietnam. Peneliti serta perusahaan teknologi kawasan menjawab celah ini lewat sejumlah model bobot terbuka (open-weight) berukuran ringkas yang siap dikuantisasi untuk perangkat tepi.

AI Singapore mengembangkan keluarga SEA-LION berbasis arsitektur Llama dan Gemma, termasuk varian delapan miliar dan sembilan miliar parameter untuk berbagai bahasa Asia Tenggara. Tim Sea AI Lab merilis keluarga Sailor berukuran ringan hingga beberapa miliar parameter dari basis Qwen1.5 guna menangani bahasa Indonesia, Melayu, Thai, Vietnam, serta Lao. Di Indonesia, kolaborasi GoTo dan Indosat Ooredoo Hutchison lewat inisiatif Sahabat-AI turut melatih model yang mencakup bahasa daerah seperti Jawa, Sunda, Batak Toba, dan Bali.

Dukungan kerangka kerja lintas platform seperti LiteRT untuk NPU cip Qualcomm dan MediaTek maupun Windows ML pada komputer kerja kian mempermudah distribusi model lokal. Sebelum memperpanjang kontrak API tahunan, langkah paling masuk akal bagi tim rekayasa sekarang adalah mencatat jejak panggilan agen di lingkungan produksi, memilah tugas berulang yang sederhana, lalu menguji model regional terkuantisasi langsung di perangkat target.