Copilot Computer Use: Fitur Baru Kontrol App Desktop

GitHub membuka Computer Use untuk GitHub Copilot pada 1 Oktober 2026. Ini adalah public preview yang memungkinkan agen mengoperasikan aplikasi desktop di macOS dan Windows: membaca isi layar, mengklik kontrol, mengetik, menggulir, menyeret, lalu meneruskan alur kerja lintas aplikasi.

Artikel ini akan menjelaskan spek fitur baru itu, perbedaannya dengan alat langsung seperti API atau MCP, bagaimana limit izinnya, plus catatan praktis buat yang mau coba dari Indonesia. Fokusnya pada rilis dan tata kelola akses — bukan kursus panjang mengotomasi seluruh desktop dari nol.

Di liputan The New Stack dan diskusi komunitas, reaksi cepat terbagi dua. Ada yang melihat ini sebagai jalan masuk ke software warisan tanpa API. Ada juga yang waspada: UI bisa berubah, agen bisa salah klik, dan jendela yang terbuka bisa membocorkan konteks sensitif ke sesi agen.

Di utas Reddit seputar agen coding dan Microsoft 365 Copilot, pola keluhan yang muncul mirip lintas produk computer-use: aksi UI rapuh, biaya token bisa naik, dan “berhasil klik” tidak otomatis berarti data yang dipindah sudah benar. Framing GitHub yang menyuruh mencoba API atau MCP dulu justru selaras dengan kehati-hatian itu.

Apa yang baru di Copilot Computer Use

Menurut changelog resmi GitHub, Computer Use masuk public preview di dua permukaan lokal:

1. GitHub Copilot CLI — sesi terminal dengan perintah /computer on, /computer show, dan /computer off
2. GitHub Copilot app — aplikasi desktop (Settings → Computer Use → Enable Computer Use), juga mendukung /computer on

Yang berubah dibanding agen coding biasa:

• Agen tidak lagi terbatas pada repo, terminal, atau browser tool saja
• Agen bisa menyentuh software GUI-only atau legacy yang tidak punya API, CLI, maupun MCP
• Akses dimulai mati secara default; harus diaktifkan dulu
• Organisasi bisa mematikan fitur lewat managed settings — preferensi lokal tidak bisa menembus kebijakan itu

Demonstrasi peluncuran yang sering dikutip media: alur expense report di Safari. GitHub juga menyebut contoh lain — merangkum info di aplikasi lama, memperbarui presentasi, mengisi form, dan memindahkan data antar program.

Catatan: Statusnya masih public preview. Menu, perilaku, dan cakupan OS bisa berubah. Linux belum disebut di pengumuman awal. VS Code juga belum disebut sebagai permukaan Computer Use di changelog 1 Oktober 2026.

Spek kemampuan: dari accessibility tree sampai lintas app

Dokumentasi konsep GitHub merinci apa yang boleh dilakukan agen setelah fitur aktif:

Ini bukan “remote desktop tak terbatas”. GitHub menekankan Computer Use untuk tugas yang memang butuh antarmuka visual. Kalau API, MCP server, perintah terminal, tool filesystem, atau browser tool khusus sudah cukup, jalur itu biasanya lebih terstruktur dan lebih bisa diprediksi.

Ringkasnya, spek rilis yang sudah dikonfirmasi di materi resmi dan liputan sekunder:

1. Platform: macOS dan Windows saja di preview ini
2. Default: off — harus /computer on atau toggle di app
3. Izin macOS: Accessibility (mengoperasikan kontrol) + Screen Recording (melihat jendela bila perlu)
4. Persetujuan app: session allow, Always allow, atau deny
5. Harga khusus fitur: belum diumumkan terpisah di changelog; belum ada tanggal GA
6. Interrupt: Esc dua kali di CLI; Stop atau Esc di app

Cara nyalain di CLI dan Copilot app

Langkah enable-nya sengaja pendek. GitHub tidak menjual ini sebagai “nyalakan lalu biarkan mengurus seluruh PC”.

Di Copilot CLI:

1. Pastikan kebijakan organisasi tidak memblokir Computer Use
2. Jalankan /computer on
3. Cek status dengan /computer show (plugin + MCP terkait)
4. Matikan lagi dengan /computer off kalau sudah selesai uji

Di Copilot app:

1. Buka Settings → Computer Use
2. Aktifkan Enable Computer Use
3. Di macOS, ikuti panduan izin Accessibility dan Screen Recording
4. Bila perlu, pakai /computer on dari dalam app

Prompt yang lebih aman biasanya menyebut hasil yang diinginkan, aplikasi yang terlibat, dan batas yang tidak boleh dilanggar. Contoh pola yang sering disarankan media teknis: “Baca total di jendela expense ini, masukkan ke draf spreadsheet, berhenti sebelum submit form mana pun.”

Tips: Mulai dari tugas yang bisa dibatalkan. Jangan langsung minta agen mengirim email, transfer dana, atau mengubah data produksi di aplikasi yang Always allow.

Izin, Always allow, dan risiko keamanan

Bagian ini yang paling banyak dibahas di The New Stack, Kingy, dan dokumentasi GitHub sendiri — karena persetujuan bisa “hidup lebih lama” dari yang diharapkan.

Baca juga Browser Arc Resmi Tutup 22 Desember, Ini Cara Pindah ke Dia Tanpa Kehilangan Data

Mode izin menentukan apakah Copilot bertanya dulu. Di CLI, /permissions show menampilkan mode aktif. Saat diminta, pilihan umumnya:

1. Allow — akses untuk sesi Computer Use saat ini
2. Always allow — disimpan lokal untuk sesi berikutnya; berlaku di CLI dan app di komputer yang sama
3. Deny — aturan deny mengalahkan persetujuan otomatis maupun yang tersimpan

Menghapus Always allow tidak menarik akses yang sudah diberikan di sesi yang masih jalan. Untuk benar-benar menghentikan, hentikan operasi (Esc dua kali / Stop), lalu akhiri sesi. Baru setelah itu daftar Always allow yang dibersihkan benar-benar menutup pintu untuk run berikutnya.

Risiko yang ditulis GitHub secara eksplisit:

• Agen bisa salah pilih kontrol atau mengetik di field yang salah
• Perubahan timing atau state jendela bisa membuat aksi diulang atau macet
• Konten sensitif yang terlihat di jendela bisa jadi konteks agen
• Instruksi ambigu + konten tak terduga di layar bisa memicu aksi yang mempengaruhi perangkat, data, atau akun terhubung

Di level enterprise, managed-settings.json bisa mematikan Computer Use sepenuhnya dan mengatur apakah developer boleh melewati prompt approval. Pembatasan itu mencakup app, CLI, dan VS Code untuk kebijakan terkait.

Kebijakan default-enablement Business/Enterprise yang mulai berlaku 22 Oktober 2026 untuk fitur yang belum dikonfigurasi tidak mengubah status opt-in preview ini — preview dikecualikan.

Banding singkat: Copilot vs Claude Code vs Codex

Computer Use Copilot datang setelah kompetitor. OpenAI sudah menambahkan computer use ke Codex sekitar April 2026. Anthropic lebih dulu membawa computer use yang lebih luas di macOS ke Claude Code dan Claude Cowork.

Perbandingan yang relevan buat keputusan minggu ini — tanpa mengarang skor benchmark yang tidak dipublikasikan GitHub:

Di Reddit dan utas terkait agen coding, keluhan yang berulang mirip lintas produk: aksi UI rapuh, biaya token bisa naik, dan kepercayaan penuh tanpa verifikasi manusia berisiko. GitHub justru menempatkan Computer Use sebagai opsi cadangan setelah jalur langsung gagal — framing yang lebih konservatif dibanding narasi “agen pakai desktop seperti orang”.

Untuk tim yang sudah punya MCP internal, ini bukan alasan membuang connector itu. Computer Use lebih cocok sebagai jembatan sementara ke app yang belum sempat diintegrasikan, sambil connector yang lebih bersih masih dikerjakan. Kalau connector sudah ada dan stabil, tetap utamakan connector.

Satu hal lagi soal positioning produk: Copilot app sendiri sempat diperkenalkan lebih awal pada 2026 sebagai hub agen desktop, bersaing di lorong yang sama dengan Claude Code dan Codex. Computer Use melengkapi lorong itu dengan kemampuan menggerakkan GUI, bukan mengganti seluruh model coding di balik Copilot.

Yang relevan buat yang kerja dari Indonesia

Untuk tim dan freelancer di Indonesia, poin praktisnya lebih ke ketersediaan, kebijakan kantor, dan kebiasaan kerja hybrid — bukan spek chip.

Ini adalah hal yang paling sering ditanyakan saat preview seperti ini masuk workspace lokal:

1. Kebutuhan Mac/Windows lokal. Preview ini untuk sesi lokal. Laptop kantor Windows atau Mac pribadi yang sudah ada lisensi Copilot lebih relevan daripada VPS Linux headless. Kalau stack harian sudah di cloud Linux saja, fitur ini belum jadi prioritas minggu ini.
2. Paket Copilot. CLI dan app disebut tersedia lintas rencana Copilot di dokumentasi produk, tapi kebijakan organisasi bisa mengunci Computer Use. Cek dulu dengan admin sebelum mengandalkan fitur untuk proyek klien atau demo ke stakeholder.
3. Software warisan di kantor. Banyak alur ERP, HRIS, absensi, atau tools internal di Indo masih GUI-only. Di sinilah janji fitur ini paling kencang — asal datanya boleh dilihat agen dan hasilnya bisa diverifikasi manusia.
4. Privasi layar. WFH sering membuka chat bank, e-wallet, payroll, atau dokumen klien di tab sebelah. Jangan uji Computer Use sambil jendela sensitif terlihat. Tutup dulu, atau pakai desktop virtual/app yang bersih.
5. Bandwidth dan latency. Karena agen membaca accessibility tree dan kadang screenshot, laptop yang sudah berat IDE + browser + meeting bisa terasa lebih “ngeden”. Uji di mesin yang tidak sedang streaming meeting panjang.
6. Alternatif yang sudah matang. Kalau tugasnya di browser modern, browser tool atau MCP sering lebih rapi. Computer Use cocok saat aplikasi desktop memang tidak punya pintu lain — bukan pengganti otomatis untuk semua otomasi.

Untuk UMKM kreatif atau agency kecil yang sudah bayar Copilot Pro, nilai awalnya lebih ke mengurangi salin-tempel manual antar app desain/administrasi, bukan mengganti seluruh staf ops. Tetap tulis checklist verifikasi: angka cocok, file tersimpan di folder yang benar, tidak ada submit ke pihak luar.

Peringatan: Jangan menyalakan Always allow untuk aplikasi perbankan, e-commerce admin, atau panel produksi. Pakai session allow, verifikasi hasil, lalu matikan fitur lagi.

Kapan pakai Computer Use — dan kapan jangan

GitHub sendiri memberi kompas yang jelas. Pakai Computer Use kalau:

• Aplikasi target tidak punya API / CLI / MCP yang memadai
• Hasilnya bisa dicek mata manusia dalam hitungan menit
• Tugasnya sempit: ringkas panel, salin angka, update draf slide
• Izin app dan OS sudah dipahami sebelum run

Tunda atau skip kalau:

• Ada API atau MCP yang sudah jalan
• Aksi bersifat irreversibel (submit pembayaran, hapus data, kirim ke pihak ketiga)
• Beberapa jendela mirip judulnya dan agen mudah bingung
• Kebijakan perusahaan belum jelas soal Screen Recording / Accessibility

Alur uji pertama yang masuk akal:

1. Pilih satu app non-produksi dan satu hasil yang bisa diverifikasi
2. Nyalakan Computer Use, beri session allow saja
3. Prompt dengan batasan keras (“jangan submit”, “jangan ganti app”)
4. Bandingkan angka/teks hasil vs sumber
5. Stop sesi, cabut Always allow bila sempat tersimpan, /computer off

flowchart LR
  A[Ada API/MCP/CLI?] -->|Ya| B[Pakai tool langsung]
  A -->|Tidak| C[Computer Use?]
  C -->|Tugas sempit + bisa dicek| D[Session allow + verifikasi]
  C -->|Aksi berisiko tinggi| E[Jangan otomatisasi dulu]

Poin penting

• Computer Use Copilot resmi public preview 1 Oktober 2026 di CLI dan Copilot app untuk macOS dan Windows
• Fitur mati default; organisasi bisa memblokir lewat managed settings
• Kemampuan inti: baca accessibility/screenshot, klik, ketik, scroll, drag, lintas app
• Always allow tersimpan lokal dan dibagi CLI↔app; menghapusnya tidak mencabut akses sesi yang sedang jalan
• GitHub menyarankan API/MCP/terminal/filesystem/browser tool dulu — Computer Use untuk GUI-only dan legacy
• Belum ada harga khusus fitur, belum ada tanggal GA, Linux belum disebut di pengumuman awal

Referensi

1. GitHub Changelog (2026). GitHub Copilot can now interact with desktop apps with computer use.
2. GitHub Docs (2026). About computer use in GitHub Copilot.
3. GitHub Docs (2026). Using GitHub Copilot CLI to interact with desktop applications.
4. GitHub Docs (2026). Using the GitHub Copilot app to interact with desktop applications.
5. The New Stack (2026). GitHub's advice for its new Copilot feature is to try something else first.
6. Kingy AI (2026). GitHub Copilot Can Control Desktop Apps: Setup and Permission Limits.
7. Technobezz (2026). GitHub Copilot Gains Computer Use for Desktop Apps.
8. IZOOD (2026). GitHub Copilot Computer Use: Setup, Apps & Safety.
9. Pivot News (2026). GitHub ships Copilot computer use but says direct tools work better.
10. The Silicon Ledger (2026). GitHub Copilot gains desktop automation, but company urges caution over APIs.
11. Insert Future (2026). GitHub Copilot desktop control and permissions.
12. AICoder (2026). GitHub Copilot Computer Use enters public preview in CLI and Copilot app.