Aplikasi Desktop Juga Bisa Dikendalikan Agent: Tutorial 5 Langkah Menghubungkan Model agent-desktop

Catatan penulis: Artikel ini membahas instalasi, otorisasi, alur snapshot/click, dan integrasi MCP pada agent-desktop, serta cara mengonfigurasi model dan Base URL untuk “otak di dalam loop”.

Menyuruh Agent coding atau Agent buatan sendiri untuk mengklik Finder, mengisi pengaturan sistem, dan mengoperasikan klien native, dulu hampir hanya bisa mengandalkan tangkapan layar, model visi, dan koordinat piksel—rantainya panjang dan mudah salah klik. agent-desktop yang open source dari Vercel Labs mengambil jalur lain: ia membaca Accessibility Tree (pohon aksesibilitas) sistem operasi, mengubah antarmuka desktop menjadi JSON dengan ref, lalu Agent melakukan klik dan input berdasarkan ref. Inilah yang disebutnya “computer use tanpa tangkapan layar”.

Ini bukan sekadar robot desktop lain yang membawa AI. Sebelum mulai, ada tiga hal yang perlu dipahami:

• agent-desktop tidak menyertakan model: di dalam binernya tidak ada LLM yang tertanam, tidak ada GUI, dan tidak ada prompt interaktif. Setiap perintah mencetak JSON envelope lalu keluar.
• Loop ada di pemanggil: loop observe-act-verify (amati-bertindak-verifikasi) menjadi tanggung jawab Agent yang memanggilnya, misalnya Claude Code, OpenCode, atau skrip buatan Anda sendiri.
• Tidak menangani web: otomasi web diserahkan ke proyek serumpun agent-browser; agent-desktop hanya menangani aplikasi desktop native.

Karena alat ini sendiri tidak membawa model, “otak” harus disediakan oleh Agent pemanggil; langkah ini membutuhkan kunci API dan Token. Anda dapat mengarahkan Base URL Agent pemanggil ke APIYI apiyi.com, lalu menggunakan satu kunci untuk memanggil model seperti claude-opus-5-5, claude-sonnet-5-5, dan lainnya.

Nilai inti: Setelah membaca artikel ini, Anda dapat memasang dan mengotorisasi agent-desktop, menjalankan alur minimal snapshot → click → snapshot lagi, menghubungkannya ke Agent Anda melalui MCP, serta mengonfigurasi Base URL dan nama model di sisi model.

---

Poin-poin utama agent-desktop

Mari kita lihat posisi agent-desktop lewat satu tabel. Informasi pada tabel berikut berasal dari README resmi, FAQ, dan situs dokumentasi, dengan tanggal pengamatan 2026-11-13.

Poin	Penjelasan	Nilai bagi pengembang
Sumber data	Membaca pohon aksesibilitas OS: macOS memakai AX API, Windows memakai UI Automation, Linux memakai AT-SPI	Tidak bergantung pada tangkapan layar dan pencocokan piksel, tingkat strukturnya tinggi
Format keluaran	Setiap perintah mengeluarkan satu envelope JSON lalu keluar, elemennya membawa ref	Memudahkan LLM mem-parsing, sekaligus memudahkan skrip melakukan asersi
Mode default	headless, memakai API aksesibilitas, tidak menggerakkan pointer, tidak merebut fokus	Bisa beroperasi di latar belakang tanpa mengganggu pengguna
Apakah menyertakan model	Tidak, loop menjadi tanggung jawab pemanggil	Model dipilih sendiri, biaya dan hasil dikendalikan oleh pemanggil
Cara integrasi	CLI, MCP (stdio), skills, FFI pustaka C	Bisa terhubung ke Claude Code, OpenCode, Agent buatan sendiri

Hingga 2026-11-13, repositori GitHub vercel-labs/agent-desktop memiliki sekitar 22.900 star, memakai lisensi Apache-2.0, dengan nama paket npm agent-desktop, dan pada hari itu masih ada commit baru. Total perintahnya sekitar 61 nama, 57 di antaranya bisa dijalankan, terbagi ke dalam kelompok Observe, Act on ref, Keyboard mouse, Apps windows, Notifications, Clipboard, Wait, Sessions, Sandboxes, System, dan lain-lain.

Cara kerja agent-desktop: pohon aksesibilitas dan ref

Konsep inti agent-desktop adalah snapshot dan ref. Saat menjalankan snapshot, ia akan menelusuri pohon aksesibilitas aplikasi target, lalu menampilkan tombol, kotak teks, item menu, dan elemen lainnya sebagai JSON, dengan setiap elemen diberi ref. Bentuk ref lengkap mirip @s8f3k2p9:e8: bagian pertama adalah identitas snapshot kali ini, bagian kedua adalah nomor elemen.

ref hanya berlaku untuk snapshot yang menghasilkannya. Jika hanya mengirim @e8 mentah, akan muncul INVALID_ARGS. Setelah antarmuka berubah, ref lama bisa menjadi tidak valid dan mengembalikan STALE_REF atau AMBIGUOUS_TARGET; saat itu perlu melakukan snapshot ulang. Desain ini memaksa pemanggil untuk mengamati ulang setelah setiap tindakan, yaitu langkah “verifikasi” dalam observe-act-verify.

Langkah “Agent memilih ref” pada gambar di atas adalah saat model mengambil keputusan. agent-desktop bertugas menyerahkan antarmuka dalam bentuk terstruktur; memahami JSON dan memutuskan elemen mana yang akan diklik adalah tugas model pemanggil.

Bagaimana pembagian kerja antara agent-desktop dan agent-browser

Kedua proyek sama-sama berada di bawah Vercel Labs, dan situs dokumentasinya juga ditempatkan bersama, tetapi batas tanggung jawabnya sangat jelas:

Aspek perbandingan	agent-desktop	agent-browser
Tujuan	Aplikasi desktop native (Finder, Pengaturan Sistem, klien native)	Halaman web dan browser
Cara observasi	Pohon aksesibilitas OS	Struktur halaman sisi browser
Aplikasi Chromium / Electron	Dapat diserahkan ke agent-browser melalui port DevTools	Cocok untuk mengambil alih konten web dari aplikasi semacam ini
Apakah menyertakan model	Tidak	Sama-sama sebagai alat untuk dipanggil Agent
Perintah tipikal	snapshot, click, clipboard-set	Navigasi dan interaksi berorientasi halaman

Pembagian kerja yang cukup praktis adalah: jendela native, menu bar, Dock, dan notifikasi diserahkan ke agent-desktop; ketika menemui konten Web di halaman web atau aplikasi Electron, beralihlah ke agent-browser melalui port DevTools.

Titik versi agent-desktop dan sumber faktanya

agent-desktop beriterasi dengan cepat, beberapa versi kunci membawa perubahan perilaku, sebagian merupakan perubahan yang merusak (breaking changes). Tabel berikut menandai berdasarkan sumber fakta, “Tidak diketahui” berarti materi resmi belum menjelaskannya untuk saat ini.

Versi / Tanggal	Perubahan utama	Sumber
1.0.0 (2026-10-27)	Dukungan Linux resmi masuk 1.0	Changelog resmi
1.1.0 (2026-11-02)	envelope ditingkatkan ke 2.6; mendukung macOS Dock dan menu-bar-extras; perubahan merusak terkait identitas	Changelog resmi
1.2.0 (2026-11-05)	MCP baru (agent-desktop mcp); type / set-value / clipboard-set mendukung --stdin	Changelog resmi
1.3.0 (2026-11-11)	agent-desktop sandbox baru dan macOS sandbox provider; snapshot menu/menubar tidak lagi membawa data.window (merusak)	Changelog resmi
Sandbox Windows / Linux	Apakah akan menyediakan provider yang sesuai	Tidak diketahui

---

Mulai cepat agent-desktop

Berikut alur “instalasi → otorisasi → siklus minimal → integrasi MCP” yang akan kita jalani satu per satu.

Langkah 1: Instal agent-desktop

Persyaratan platform: macOS 13+; Windows 10 1809+ (x64 / ARM64); Linux Ubuntu 24.04+ (x86_64 / aarch64), X11 maupun Wayland sama-sama bisa. Pilih salah satu metode instalasi:

• npm (butuh Node 18+, paketnya sudah menyertakan binary native untuk tiap platform): npm install -g agent-desktop
• Homebrew (macOS / Linux, sudah masuk homebrew-core): brew install agent-desktop
• Arsip native: unduh dari GitHub Releases, helper harus diletakkan di samping file executable

Setelah terpasang, jalankan agent-desktop status dulu untuk memastikan binary dan lingkungan platform saat ini berjalan normal.

Langkah 2: Otorisasi izin agent-desktop

Di macOS, Anda perlu mengaktifkan izin “Aksesibilitas” untuk terminal atau proses host, jika tidak, pohon aksesibilitas tidak akan terbaca. Pihak resmi menyediakan perintah panduan:

• agent-desktop permissions --guide: ikuti petunjuk untuk menyelesaikan otorisasi aksesibilitas di pengaturan sistem
• Setelah otorisasi selesai, jalankan sekali lagi agent-desktop status untuk memverifikasi

Perlu diperhatikan, objek otorisasi adalah “proses yang menjalankan agent-desktop”. Jika Anda memanggilnya secara tidak langsung melalui Claude Code, sebuah IDE, atau klien MCP, Anda mungkin perlu memberikan otorisasi kepada aplikasi host yang sesuai.

Langkah 3: Jalankan alur minimal snapshot → click → snapshot

Dengan Finder sebagai contoh, tiga perintah sudah cukup untuk membentuk satu siklus lengkap observasi-aksi-verifikasi:

1. agent-desktop snapshot --app Finder -i: mengambil pohon aksesibilitas Finder, -i digunakan untuk memfokuskan elemen yang dapat diinteraksi, dan output JSON berisi ref seperti @s8f3k2p9:e8
2. agent-desktop click @s8f3k2p9:e8: mengklik elemen target dari snapshot sebelumnya, ref harus ditulis lengkap
3. agent-desktop snapshot --app Finder -i: mengamati kembali, memverifikasi apakah antarmuka berubah sesuai harapan

Jika langkah 2 melaporkan STALE_REF atau AMBIGUOUS_TARGET, itu berarti antarmuka sudah berubah; cukup kembali ke langkah 1 dan lakukan snapshot ulang. Untuk aplikasi yang memerlukan event pointer atau keyboard nyata, Anda dapat menambahkan parameter global --headed untuk beralih ke mode input fisik.

Untuk antarmuka dengan banyak elemen, snapshot lengkap sekaligus akan sangat panjang dan juga membuang Token model. Anda dapat mengambilnya dalam dua lapis:

• agent-desktop snapshot --skeleton --app Finder: ambil kerangka terlebih dahulu, lihat area secara garis besar
• agent-desktop snapshot --app Finder --root @<ref dalam kerangka>: lalu masuk lebih dalam dari subtree tertentu

Teknik ini dapat memperpendek konteks yang dikirim ke model secara signifikan. Bagi pemanggil, semakin pendek konteks, semakin rendah biaya yang dihitung berdasarkan Token.

Langkah 4: Menghubungkan Agent melalui MCP dan skills

Mulai versi 1.2.0, agent-desktop menyertakan layanan MCP bawaan, berjalan melalui stdio, dan mengekspos alat seperti desktop_snapshot, desktop_click, dan lainnya. Format konfigurasi tiap klien sedikit berbeda, berikut ilustrasinya:

• Perintah menjalankan: agent-desktop mcp
• Contoh konfigurasi JSON umum: {"mcpServers": {"agent-desktop": {"command": "agent-desktop", "args": ["mcp"]}}}
• Contoh Claude Code: claude mcp add agent-desktop -- agent-desktop mcp

Jika Agent Anda mendukung skills, Anda juga bisa langsung memuat panduan penggunaan resmi agar model tahu cara memanggilnya:

• agent-desktop skills get desktop, agent-desktop skills get platform: menampilkan penjelasan skill
• npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop: memasang melalui skills.sh

Untuk skenario yang memerlukan pemanggilan dalam proses yang sama, Anda juga bisa menggunakan pustaka C libagent_desktop_ffi.

Opsional: agent-desktop sandbox versi 1.3.0

Versi 1.3.0 menambahkan subperintah agent-desktop sandbox dan penyedia sandbox macOS, sehingga Anda dapat menjalankan otomasi di mesin virtual macOS yang ditandatangani secara lokal, memisahkan operasi Agent dari desktop asli Anda. Ini bukan langkah wajib; alur minimal tidak bergantung pada fitur ini. Jika Anda khawatir Agent salah mengoperasikan file asli, atau ingin menjalankan banyak tugas eksploratif, Anda bisa memprioritaskannya.

🚀 Mulai cepat: Setelah MCP dikonfigurasi, Agent pemanggil masih membutuhkan model yang bisa digunakan. Cara yang direkomendasikan secara resmi adalah membuat token di konsol APIYI apiyi.com, lalu mengarahkan Base URL Agent ke sana; satu kunci API saja sudah bisa digunakan untuk beralih dan membandingkan model seperti Claude, GPT, Gemini, dan lainnya.

Menghubungkan “otak” model ke loop agent-desktop

agent-desktop hanya bertanggung jawab atas “mata dan tangan”. “Otak” yang menentukan ref mana yang diklik dan menilai apakah tugas sudah selesai berada di pihak pemanggil. Di bagian ini ada dua konfigurasi kunci: Base URL dan tipe model.

Base URL: kapan pakai /v1 dan kapan tidak

Agent pemanggil biasanya memakai dua jenis protokol, dan cara penulisan Base URL-nya berbeda. Salah tulis di sini adalah penyebab 404 paling umum:

• Protokol kompatibel OpenAI (sebagian besar skrip buatan sendiri, provider kompatibel OpenAI di OpenCode): https://api.apiyi.com/v1, dengan /v1
• Protokol native Anthropic (Claude Code dan klien lain yang langsung memakai endpoint messages): https://api.apiyi.com, tanpa /v1

Contohnya Claude Code, konfigurasinya bisa digambarkan lewat variabel environment:

• export ANTHROPIC_BASE_URL=https://api.apiyi.com
• export ANTHROPIC_AUTH_TOKEN=token-anda

Kalau memakai skrip Python atau Node buatan sendiri dengan OpenAI SDK, set base_url ke https://api.apiyi.com/v1 dan isi model dengan claude-opus-5-5. Token dibuat di api.apiyi.com/token, dan konfigurasi lengkapnya bisa dilihat di docs.apiyi.com/faq/base-url-config.md.

Cara menulis loop untuk Agent buatan sendiri

Kalau tidak ingin bergantung pada Agent siap pakai, menulis loop sendiri sebenarnya tidak rumit. Langkah intinya seperti ini:

1. Jalankan agent-desktop snapshot --app <aplikasi target> -i, lalu baca JSON envelope dari stdout
2. Kirim tujuan tugas bersama JSON snapshot ke model, dan minta model hanya mengembalikan aksi langkah berikutnya beserta ref lengkap
3. Jalankan perintah yang diberikan model, misalnya agent-desktop click @sxxxx:eN
4. Ambil snapshot lagi, lalu serahkan hasil baru ke model untuk menilai apakah tugas sudah selesai; kalau menerima STALE_REF, langsung observasi ulang
5. Tetapkan jumlah langkah maksimum dan titik konfirmasi manual, supaya tidak terjadi loop tak berujung atau operasi yang melampaui wewenang

Langkah 2 dan 4 di sini sama-sama mengonsumsi Token. Cara drill-down dengan --skeleton plus --root yang disebut sebelumnya akan langsung memengaruhi biaya di sini.

Pilihan model: claude-opus-5-5 dan claude-sonnet-5-5

Kedua model Claude sudah terdaftar di daftar model APIYI dan mendukung endpoint chat maupun messages. Data harga pada tabel berikut berlaku per 2026-11-13, satuannya per 1 juta Token, model dan harga mengacu pada daftar model platform.

Model	Input	Output	Baca cache	Skenario agent-desktop yang cocok	Platform tersedia
claude-opus-5-5	$4	$20	$0.2	Tugas multi-langkah, antarmuka kompleks, butuh perencanaan yang kuat	APIYI apiyi.com
claude-sonnet-5-5	$2	$10	$0.1	Operasi harian dengan langkah jelas dan cukup repetitif	APIYI apiyi.com

Salah satu pendekatan yang masuk akal: jalankan dulu alurnya dengan claude-opus-5-5, setelah petunjuk dan langkah-langkahnya mantap, baru evaluasi apakah tahap yang sudah stabil bisa dipindah ke claude-sonnet-5-5. JSON snapshot biasanya berisi banyak system prompt dan penjelasan tool yang berulang, dan harga baca cache jauh lebih murah daripada harga input, jadi mengaktifkan prompt cache cukup menguntungkan untuk loop panjang. Untuk harga terbaru, acu pada docs.apiyi.com/models.

Pemecahan masalah agent-desktop: masalah izin atau masalah model

agent-desktop dan model berada di dua jalur yang independen. Saat muncul error, tentukan dulu sisi mana yang bermasalah — ini bisa menghemat banyak langkah:

Gejala	Jalur	Kemungkinan penyebab	Cara penanganan
snapshot kosong atau aplikasi tidak terbaca	Sisi alat	Izin aksesibilitas belum diberikan, atau aplikasi itu sendiri tidak mengekspos pohon aksesibilitas	Jalankan agent-desktop permissions --guide, periksa otorisasi proses host
INVALID_ARGS	Sisi alat	Hanya menulis ref mentah, misalnya @e8	Gunakan ref lengkap, misalnya @s8f3k2p9:e8
STALE_REF / AMBIGUOUS_TARGET	Sisi alat	Antarmuka sudah berubah, ref tidak berlaku lagi	Lakukan snapshot ulang
Permintaan model 401	Sisi model	Token salah, kedaluwarsa, atau variabel lingkungan tidak生效	Periksa token di api.apiyi.com/token lalu ekspor ulang
Permintaan model 404	Sisi model	/v1 pada Base URL salah tulis, atau nama model salah eja	Yang kompatibel dengan OpenAI memakai /v1, Anthropic native tanpa /v1; lihat tabel padanan model

Cara cepat menilai: selama perintah agent-desktop bisa dijalankan sendiri di terminal dan menghasilkan JSON, sisi alat tidak bermasalah, dan error yang tersisa hampir dipastikan ada di sisi model. Untuk 401/404 di sisi model, periksa satu per satu dengan panduan konfigurasi Base URL di pusat dokumentasi APIYI apiyi.com.

---

Risiko Izin dan Privasi agent-desktop

Bagian ini membahas risiko dari otomatisasi desktop itu sendiri, bukan terkait akun, tetapi layak dibaca dengan saksama sebelum mulai digunakan.

Bobot izin Aksesibilitas. Mengaktifkan Aksesibilitas di macOS berarti proses yang diberi izin dapat membaca dan mengoperasikan antarmuka aplikasi lain. Setelah izin diberikan kepada terminal atau host Agent tertentu, program apa pun yang berjalan di proses tersebut berpotensi memperoleh kemampuan yang sama. Sebaiknya hanya beri izin kepada host yang memang diperlukan, dan setelah selesai izin bisa dimatikan di pengaturan sistem.

Snapshot, clipboard, dan tangkapan layar bisa saja berisi data pribadi. Pihak resmi secara jelas mengingatkan bahwa snapshot, isi clipboard, tangkapan layar, notifikasi, dan debug HTML dapat memuat informasi sensitif di desktop, seperti isi percakapan, subjek email, nama file, dan antarmuka pengelola kata sandi. Data ini akan dikirim oleh pemanggil ke model, jadi jangan mengunggah log debug secara publik, dan jangan menempelkan snapshot lengkap langsung di issue.

Helper opsional akan terhubung ke internet. CLI native sendiri tidak memerlukan layanan model jarak jauh, tetapi jika JEV helper opsional diaktifkan, ia akan mengirim tujuan dan deskripsi layar kepada penyedia model yang Anda konfigurasi. Apakah akan diaktifkan dan kepada siapa data dikirim, sebaiknya Anda pahami sendiri dengan jelas.

Konsekuensi tindakan menjadi tanggung jawab pengguna. Agent bisa saja salah menekan tombol, menghapus file yang salah, atau mengirim pesan yang seharusnya tidak dikirim. Beberapa cara berikut dapat mengurangi risiko: uji coba di sandbox versi 1.3.0, batasi cakupan --app, dan tambahkan konfirmasi manual untuk operasi berisiko tinggi seperti menghapus, mengirim, dan membayar. Selain itu, aplikasi yang tidak terbaca oleh pohon aksesibilitas tidak terlihat oleh agent-desktop; ini adalah batas kemampuannya, jadi jangan berharap ia pasti bisa mengoperasikan semua perangkat lunak.

Menghubungkan Agent pihak ketiga ke gateway adalah risiko jenis lain. Saat menghubungkan Claude Code, OpenCode, dan Agent pihak ketiga lainnya ke gateway API mana pun, perhatikan penyimpanan token, batas kuota, dan apakah log akan mencatat konten sensitif. Ini perlu dinilai terpisah dari risiko otomatisasi desktop. Sebaiknya buat token khusus untuk Agent dan tetapkan kuota, sehingga jika terjadi masalah token tersebut dapat dibatalkan secara terpisah.

---

Pertanyaan Umum (FAQ)

Q1: Apa itu agent-desktop?

agent-desktop adalah CLI computer use open source dari Vercel Labs. Melalui pohon aksesibilitas OS, alat ini memungkinkan AI Agent melihat dan mengoperasikan aplikasi desktop di macOS, Windows, dan Linux tanpa bergantung pada tangkapan layar atau pencocokan piksel. Ini adalah alat, bukan Agent, dan tidak menyertakan model di dalamnya.

Q2: Apa perbedaan agent-desktop dengan computer use berbasis tangkapan layar?

Pendekatan berbasis tangkapan layar bergantung pada model visual untuk memahami piksel lalu memberikan koordinat. Alurnya panjang dan mudah terpengaruh resolusi. agent-desktop langsung mengeluarkan JSON terstruktur dan ref; model beroperasi berdasarkan ref, berjalan secara headless secara default, serta tidak merebut pointer dan fokus. Konsekuensinya, alat ini hanya dapat melihat aplikasi yang mengekspos informasi aksesibilitas.

Q3: Versi agent-desktop saat ini berapa?

Per 13-11-2026, versi terbaru yang terlihat adalah 1.3.0 (11-11-2026), yang menambahkan sandbox. MCP tersedia mulai 1.2.0 (05-11-2026), dan Linux resmi masuk 1.0 pada 1.0.0 (27-10-2026). Pembaruan versi cukup cepat, jadi silakan mengacu pada GitHub Releases.

Q4: Skenario apa yang cocok untuk agent-desktop?

– **Pengujian aplikasi native**: klik otomatis panel pengaturan, verifikasi status antarmuka
– **Ekstensi Agent pemrograman**: memungkinkan Claude Code membuka aplikasi desktop setelah selesai menulis kode untuk memverifikasi hasil
– **Operasi desktop berulang**: merapikan file Finder, membaca notifikasi, membaca dan menulis clipboard

Untuk tugas terkait web, serahkan ke agent-browser.

Q5: Bagaimana Agent yang memanggil agent-desktop bisa cepat terhubung ke model?

1. Daftar di APIYI apiyi.com dan buat API Key di halaman token; pengguna baru mendapat kuota uji gratis
2. Untuk klien kompatibel OpenAI, setel Base URL ke `https://api.apiyi.com/v1`; untuk klien native Anthropic, setel ke `https://api.apiyi.com`
3. Pilih model `claude-opus-5-5` atau `claude-sonnet-5-5`, lalu jalankan alur snapshot dalam artikel ini

Q6: MCP sudah dikonfigurasi, tetapi Agent melaporkan 401 atau 404. Apakah ini masalah agent-desktop?

Biasanya bukan. agent-desktop tidak terhubung ke layanan model; 401 umumnya masalah token, sedangkan 404 sering kali karena `/v1` salah tulis atau nama model salah eja. Jalankan `agent-desktop snapshot` secara terpisah di terminal untuk memastikan alat berfungsi normal, lalu periksa sisi model dengan merujuk pada dokumentasi konfigurasi Base URL APIYI apiyi.com.

Q7: Apa saja keterbatasan agent-desktop yang diketahui?

– Aplikasi yang pohon aksesibilitasnya tidak dapat dibaca tidak terlihat olehnya
– Beberapa versi memiliki perubahan yang merusak (misalnya 1.1.0, 1.3.0); baca Changelog sebelum meningkatkan versi
– Provider sandbox saat ini ditujukan untuk macOS; belum diketahui apakah platform lain akan menyusul
– Tidak melakukan otomasi web; perlu dipadukan dengan agent-browser

---

Poin Utama agent-desktop: Key Takeaways

• Alat ini tidak menyertakan model: agent-desktop hanya mengeluarkan envelope JSON, loop dan pengambilan keputusan ada di sisi pemanggil
• computer use tanpa tangkapan layar: berbasis pohon aksesibilitas AX, UI Automation, AT-SPI, beroperasi berdasarkan ref
• ref harus lengkap: berbentuk @s8f3k2p9:e8, setelah antarmuka berubah perlu snapshot ulang
• Tersedia di tiga platform: macOS 13+, Windows 10 1809+, Ubuntu 24.04+
• Integrasi MCP cukup satu baris: sejak 1.2.0, agent-desktop mcp berjalan lewat stdio
• Urusan web diserahkan ke agent-browser: aplikasi Electron dapat dialihkan melalui port DevTools
• Penyambungan otak: Base URL pemanggil diarahkan ke APIYI apiyi.com, pilih claude-opus-5-5

---

Ringkasan

Poin utama agent-desktop:

1. Posisinya jelas: ia adalah “mata dan tangan” aplikasi desktop, tidak menyertakan model, dan tidak menangani web
2. Alur tertutupnya sederhana: instal → permissions --guide → snapshot → click → snapshot lagi, dipadukan dengan --skeleton untuk mengatur panjang konteks
3. Integrasinya fleksibel: CLI, MCP, skills, FFI semuanya bisa; sandbox di 1.3.0 cocok untuk uji coba terisolasi
4. Risiko harus dikendalikan: otorisasi aksesibilitas dan konten privat di dalam snapshot perlu dikelola sesuai standar otomasi desktop

Setelah sisi alat berjalan lancar, pekerjaan yang tersisa adalah menyiapkan otak yang sesuai untuk loop tersebut. Disarankan membuat token melalui APIYI apiyi.com, lalu mengarahkan Base URL Claude Code, OpenCode, atau skrip buatan sendiri ke sana. Validasi dulu alurnya dengan claude-opus-5-5, kemudian evaluasi berdasarkan kompleksitas tugas apakah perlu beralih ke claude-sonnet-5-5.

---

📚 Referensi

1. GitHub – agent-desktop: Repositori open-source resmi, berisi README, FAQ, Changelog
2. Tautan: github.com/vercel-labs/agent-desktop

3. Keterangan: Perubahan versi, daftar perintah, dan petunjuk privasi mengacu pada ini

4. Dokumentasi resmi agent-desktop: Konsep dan quick start

5. Tautan: agent-browser.dev/desktop, agent-browser.dev/desktop/quick-start

6. Keterangan: Instalasi, otorisasi, dan contoh alur minimal

7. npm – agent-desktop: Halaman paket npm

8. Tautan: npmjs.com/package/agent-desktop

9. Keterangan: Lihat versi rilis saat ini

10. Vercel – What is computer use: Pengenalan konsep computer use

11. Tautan: vercel.com/i/what-is-computer-use

12. Keterangan: Memahami perbedaan antara pendekatan accessibility tree dan pendekatan screenshot

13. Pusat Dokumentasi APIYI: Tabel model, konfigurasi Base URL, penjelasan kemampuan Claude

14. Tautan: docs.apiyi.com/models.md, docs.apiyi.com/faq/base-url-config.md, docs.apiyi.com/api-capabilities/claude.md
15. Keterangan: Model dan harga mengacu pada daftar model di platform

---

Penulis: Tim Teknologi APIYI
Komunikasi teknis: Silakan hubungi kami melalui halaman utama situs APIYI apiyi.com, lebih banyak materi dapat diakses di pusat dokumentasi docs.apiyi.com

Artikel terkait

• Berikan Agen AI sebuah Browser: Mulai Menggunakan Siklus Operasi snapshot-ref agent-browser dalam 5 Langkah: Dari instalasi hingga snapshot, operasi ref, dan verifikasi hasil, kuasai siklus “membaca halaman—mengklik elemen—membaca ulang halaman” agent-browser dalam 5 langkah agar AI Agent dapat mengendalikan browser nyata secara andal.
• Memulai dengan Alma: Satu Aplikasi untuk Semua Agen AI, Bahkan Bisa Mengoperasikan Komputer untuk Anda: Alma adalah aplikasi agen AI yang mengutamakan penggunaan lokal: satu jendela untuk berbagai model, memori yang dapat dibaca, pengoperasian Mac untuk Anda, dan konversi Claude Code serta Codex di herdr menjadi jendela obrolan, disertai panduan instalasi, integrasi APIYI, dan 5 fitur praktis.
• Antarmuka buatan Agent tampil berbeda-beda? Astryx menyatukannya dalam satu sistem lewat 4 langkah: Astryx adalah sistem desain React sumber terbuka dari Meta yang saat ini masih dalam tahap Beta; artikel ini menjelaskan perbedaannya dari mengganti tampilan seluruh paket dan menyalin-tempel, memandu instalasi, tema, serta integrasi dokumentasi Agent dalam 4 langkah, dan mencantumkan situasi yang untuk sementara tidak disarankan untuk migrasi.