SWE-1.7: AI Coding Mendekati Frontier dengan Biaya US$1,97 per Tugas

SWE-1.7 menawarkan performa AI coding yang mendekati model frontier dengan biaya rata-rata US$1,97 per tugas dalam evaluasi FrontierCode Main. Model buatan Cognition ini ditujukan untuk pekerjaan software engineering agentic, seperti menelusuri repository, menjalankan tool, memperbaiki kode, dan menguji hasil secara berulang.

Rilis ini relevan bagi tim engineering yang mulai menghitung biaya AI berdasarkan tugas selesai, bukan sekadar harga token. Throughput 1.000 token per detik melalui Cerebras juga menjanjikan siklus kerja lebih cepat, meski tidak otomatis memangkas waktu build, test, dan review.

Fokus penilaiannya mencakup:

• posisi SWE-1.7 terhadap GPT-5.5 dan Claude Opus 4.8;
• arti sebenarnya dari biaya US$1,97 per tugas;
• pengaruh RL, self-compaction, dan integrasi Devin;
• cara menguji kualitas serta nilai ekonominya pada repository sendiri.

Rincian di bawah.

SWE-1.7 mengejar efisiensi, bukan gelar model terbaik

Cognition merilis SWE-1.7 pada 8 Juli 2026 sebagai model software engineering terbaru untuk Devin. Model ini dirancang menangani pekerjaan agentic berdurasi panjang, termasuk investigasi bug, eksplorasi codebase, penggunaan terminal, perubahan kode, dan pengujian otomatis.

Posisinya perlu dibaca secara proporsional. SWE-1.7 tidak mengungguli semua model frontier pada setiap benchmark. Claude Opus 4.8 masih memimpin tiga evaluasi yang dipublikasikan Cognition. GPT-5.5 juga mencatat skor lebih tinggi pada FrontierCode 1.1 Main dan Terminal-Bench 2.1.

Nilai jualnya berada pada rasio biaya terhadap hasil. SWE-1.7 mendekati performa sejumlah model frontier, tetapi dilaporkan membutuhkan biaya rata-rata lebih rendah pada evaluasi Cognition. SWE-1.7 adalah model berbasis efisiensi, bukan pemenang mutlak untuk seluruh pekerjaan coding.

Berdasarkan pengumuman resmi SWE-1.7 dari Cognition, model ini tersedia melalui Devin Web, Desktop, dan CLI. Proses inferensinya dijalankan lewat Cerebras dengan throughput yang diklaim mencapai 1.000 token per detik.

Karakter produk tersebut membawa tiga konsekuensi:

• SWE-1.7 paling relevan bagi tim yang sudah memakai atau siap mengadopsi Devin.
• Keunggulannya perlu dinilai pada tugas agentic, bukan hanya pembuatan snippet.
• Angka biaya dan benchmark harus diuji ulang pada repository perusahaan.

SWE-1.7 bukan model open-weight yang bisa diunduh lalu dipasang di infrastruktur internal. Tidak ada endpoint model mandiri dengan tarif input dan output publik. Tim yang membutuhkan deployment privat, kontrol penuh atas orchestration, atau kebebasan mengganti platform harus memasukkan batasan ini sejak tahap evaluasi.

Arti US$1,97 per tugas yang sebenarnya

Angka US$1,97 per tugas berasal dari biaya rata-rata rollout SWE-1.7 pada FrontierCode Main yang dilaporkan Cognition. Angka tersebut bukan tarif tetap untuk semua pekerjaan, bukan harga satu panggilan API, dan bukan jaminan bahwa setiap ticket engineering selesai dengan biaya serupa.

Satu rollout agentic dapat mencakup banyak aktivitas:

1. membaca instruksi dan kriteria penerimaan;
2. memetakan struktur repository;
3. mencari file serta simbol yang relevan;
4. menjalankan command untuk memeriksa kondisi awal;
5. mengubah implementasi;
6. menjalankan test;
7. menganalisis kegagalan;
8. memperbaiki patch;
9. menyiapkan hasil akhir untuk direview.

Biaya aktual dipengaruhi panjang konteks, jumlah file, banyaknya tool call, durasi eksekusi, percobaan ulang, dan kompleksitas test suite. Perbaikan validasi pada satu endpoint tentu memiliki profil biaya berbeda dari migrasi framework yang menyentuh puluhan modul.

Catatan: Harga per tugas lebih berguna daripada harga per token untuk agent coding. Namun, perbandingan itu baru valid jika definisi “tugas selesai” konsisten.

Tim engineering sebaiknya memakai biaya per tugas yang diterima, bukan biaya per eksekusi. Patch murah yang tiga kali ditolak reviewer akan lebih mahal daripada hasil dengan biaya awal lebih tinggi tetapi langsung memenuhi standar.

Rumus sederhananya:

Biaya efektif per tugas =
(total biaya agent + biaya percobaan ulang + biaya waktu review)
÷ jumlah tugas yang diterima

Biaya waktu review tidak boleh diabaikan. Patch seharga US$2 yang menyita satu jam engineer senior dapat kalah ekonomis dari patch US$8 yang sempit, bersih, dan langsung lolos.

Data internal juga perlu memisahkan hasil berdasarkan jenis tugas. Menggabungkan perbaikan typo, bug lintas modul, penambahan test, dan migrasi dependensi ke dalam satu rata-rata akan menghasilkan angka yang menyesatkan.

Benchmark SWE-1.7: dekat dengan frontier, tetapi belum memimpin

Cognition memublikasikan hasil SWE-1.7 pada FrontierCode 1.1 Main, Terminal-Bench 2.1, dan SWE-Bench Multilingual. Angka berikut bersifat vendor-reported. Belum ada dasar untuk menganggap hasilnya akan berpindah utuh ke setiap codebase perusahaan.

Polanya cukup jelas. SWE-1.7 hanya tertinggal 0,7 poin dari GPT-5.5 pada FrontierCode 1.1 Main. Selisih terhadap Claude Opus 4.8 mencapai 4,2 poin. Pada Terminal-Bench 2.1, SWE-1.7 kembali berada di bawah kedua model frontier tersebut.

Baca juga Panduan Lengkap Ponytail: Skill AI Agar Ngoding Kayak Developer Senior

SWE-Bench Multilingual menghasilkan susunan berbeda. SWE-1.7 mencatat 77,8%, unggul satu poin atas GPT-5.5. Claude Opus 4.8 tetap memimpin dengan 84,4%.

Profil SWE-1.7 di Awesome Agents juga menempatkan model ini pada kurva biaya-performa, bukan sebagai pemimpin benchmark tanpa syarat. Sudut pandang tersebut lebih masuk akal untuk keputusan bisnis karena kualitas model harus selalu dibandingkan dengan biaya dan beban review.

FrontierCode menguji kelayakan patch, bukan sekadar test hijau

FrontierCode dikembangkan Cognition untuk menilai pekerjaan coding yang menyerupai proses engineering nyata. Evaluasinya tidak berhenti pada pertanyaan apakah test berhasil dijalankan. Patch juga dinilai dari cakupan perubahan, kualitas pengujian, kebersihan implementasi, risiko regresi, dan kemudahan pemeliharaan.

Pendekatan ini lebih dekat dengan pertanyaan yang diajukan reviewer: apakah pull request tersebut layak digabungkan ke branch utama?

SWE-1.7 mencapai 42,3%, sedangkan GPT-5.5 berada pada 43,0%. Kedekatan tersebut mendukung istilah “near-frontier”. Meski begitu, FrontierCode merupakan benchmark milik Cognition. Vendor yang mengembangkan model sekaligus merancang evaluasi tetap memiliki potensi bias metodologis.

Terminal-Bench menilai kemampuan bekerja melalui terminal

Terminal-Bench menguji agent saat menjalankan pekerjaan di lingkungan command line. Model harus memilih perintah, membaca output, menangani error, dan menyesuaikan langkah berikutnya berdasarkan kondisi sistem.

SWE-1.7 mencatat 81,5%. GPT-5.5 mencapai 84,2%, sedangkan Claude Opus 4.8 berada pada 86,9%. Hasil tersebut memperlihatkan kemampuan terminal yang kompetitif, tetapi belum cukup untuk menyebut SWE-1.7 sebagai pilihan terkuat.

Perbedaan agent harness juga perlu diperhitungkan. Tool yang tersedia, batas waktu, konfigurasi sandbox, strategi reasoning, serta cara model menerima feedback dapat memengaruhi skor selain kemampuan model dasar.

SWE-Bench Multilingual menguji repository lintas bahasa

SWE-Bench Multilingual berisi issue dari repository dengan beragam bahasa pemrograman. Skor 77,8% menunjukkan SWE-1.7 mampu bekerja pada lingkungan yang lebih luas daripada satu stack tertentu.

Hasil gabungan tidak menjamin performa seragam. Model dapat bekerja baik pada TypeScript tetapi kurang konsisten pada Rust. Tim yang banyak memakai Java, Go, C++, atau bahasa lain perlu menguji tiap stack secara terpisah.

Peringatan: Skor benchmark tidak sama dengan penurunan beban review. Agent bisa meluluskan test sambil menghasilkan diff terlalu luas, menambah dependensi yang tidak perlu, atau mengambil keputusan arsitektur yang keliru.

Kecepatan 1.000 token per detik bukan waktu penyelesaian total

Cognition menjalankan inferensi SWE-1.7 melalui Cerebras dengan throughput yang diklaim mencapai 1.000 token per detik. Kecepatan tersebut berpengaruh pada agent coding karena satu tugas dapat memerlukan puluhan siklus reasoning dan penggunaan tool.

Alur dasarnya terlihat seperti berikut:

flowchart LR
	A["Instruksi tugas"] --> B["Eksplorasi repository"]
	B --> C["Rencana perubahan"]
	C --> D["Edit kode"]
	D --> E["Jalankan test"]
	E --> F{"Test lulus?"}
	F -->|Tidak| G["Analisis kegagalan"]
	G --> D
	F -->|Ya| H["Patch siap direview"]

Throughput tinggi mempercepat bagian yang melibatkan generasi model. Agent tetap perlu menunggu proses lain:

• checkout dan pembacaan repository;
• instalasi dependency;
• proses build;
• eksekusi test;
• akses layanan eksternal;
• antrean sandbox;
• review manusia.

Jika test suite membutuhkan 20 menit, inferensi cepat tidak akan memangkas seluruh pekerjaan menjadi beberapa detik. Metrik yang lebih berguna adalah waktu dari instruksi hingga patch siap direview.

Kecepatan juga bisa mendorong agent menjalankan lebih banyak iterasi. Dampaknya positif jika setiap iterasi memperbaiki hasil. Sebaliknya, biaya dapat meningkat bila model mengulang pencarian yang sama atau memperluas scope tanpa alasan kuat.

Tim sebaiknya memisahkan empat komponen latency:

Pemecahan ini membantu tim menemukan sumber perlambatan yang sebenarnya. Mengganti model tidak akan menyelesaikan pipeline CI yang membutuhkan 45 menit untuk setiap perubahan.

SWE-1.7 dibangun di atas Kimi K2.7 Code

SWE-1.7 tidak dilatih dari nol. Cognition memulai dari Kimi K2.7 Code, model yang sebelumnya sudah menjalani reinforcement learning atau RL secara ekstensif. Tim Cognition kemudian menerapkan post-training RL tambahan menggunakan Devin sebagai harness.

Hasil yang dilaporkan cukup besar. Pada FrontierCode 1.1 Main, Kimi K2.7 Code mencatat 30,1%. SWE-1.7 mencapai 42,3%, atau naik 12,2 poin setelah pelatihan lanjutan.

Cognition memakai hasil ini untuk menantang gagasan tentang post-training ceiling. Anggapan tersebut menyatakan bahwa kemampuan model akan cepat mencapai batas setelah satu tahap RL besar. SWE-1.7 memberi contoh bahwa RL lanjutan masih dapat menghasilkan peningkatan jika data, verifier, infrastruktur, dan mekanisme eksplorasinya dirancang dengan baik.

Baca juga 9Router untuk Coding: AI Gateway Lokal agar Tidak Mudah Kena Rate

Klaim ini belum layak digeneralisasi ke semua model. Satu hasil dari satu laboratorium tidak membuktikan bahwa setiap model bisa memperoleh kenaikan serupa. Distribusi tugas, kualitas base model, kapasitas komputasi, dan desain reward menentukan hasil akhirnya.

Pipeline sederhananya dapat digambarkan seperti ini:

flowchart TD
	A["Kimi K2.7 Code"] --> B["RL di dalam Devin"]
	B --> C["Rollout tugas engineering"]
	C --> D["Eksekusi test dan verifier"]
	D --> E["Penyaringan data"]
	E --> F["Pembaruan model"]
	F --> C
	F --> G["SWE-1.7"]
	G --> H["Devin Web, Desktop, dan CLI"]

Empat komponen utama membentuk peningkatan tersebut:

• stabilitas RL dan pemeliharaan entropy;
• training lintas cluster;
• data serta verifier yang lebih ketat;
• self-compaction untuk tugas panjang.

Teknik RL yang membentuk perilaku SWE-1.7

Entropy dijaga agar model terus mengeksplorasi

RL berdurasi panjang dapat mengalami entropy collapse. Model terlalu cepat mengerucut pada pola tertentu, berhenti mencoba strategi lain, lalu peningkatan reward terhenti.

Cognition memakai top-p sampling untuk mengurangi pemilihan token berprobabilitas sangat rendah yang sering menghasilkan trajectory menyimpang. Perusahaan tersebut juga menerapkan sampling distribution replay agar distribusi saat training tetap selaras dengan proses inference.

Tujuannya bukan membuat respons lebih acak. Sistem perlu mempertahankan kemampuan eksplorasi tanpa membiarkan model membuang komputasi pada jalur yang tidak produktif.

Dalam pekerjaan coding, kemampuan ini sangat penting. Agent harus bisa meninggalkan hipotesis pertama ketika test membantahnya, mencari penyebab lain, lalu mengubah strategi diagnosis.

Training dibagi ke beberapa pusat data

Cognition melaporkan bahwa pelatihan SWE-1.7 memakai empat pusat data di tiga benua. Satu cluster menangani trainer, sedangkan cluster lain menghasilkan rollout inference.

Sistem tidak mengirim ulang seluruh model saat bobot diperbarui. Trainer menghitung delta dari versi sebelumnya, mengompresinya, lalu mendistribusikan perubahan melalui object storage. Cognition menyebut pendekatan tersebut memangkas ukuran transfer lebih dari 99%.

Model dengan skala sangat besar sulit disinkronkan lintas benua jika seluruh bobot harus dikirim pada setiap pembaruan. Distribusi delta membuat training lintas cluster lebih praktis dan mengurangi waktu henti.

Bagi pengguna Devin, detail ini tidak mengubah cara memberi instruksi. Nilainya terletak pada kemampuan Cognition menjalankan RL berskala besar tanpa bergantung pada satu cluster raksasa.

Verifier menentukan kualitas sinyal belajar

Agent software engineering belajar dari sinyal keberhasilan. Jika verifier menerima solusi salah, model mendapat reward atas perilaku buruk. Jika solusi benar ditolak, model kehilangan data belajar yang bernilai.

Cognition menyatakan bahwa pipeline pelatihannya dirancang untuk menekan dua jenis kesalahan tersebut. Tugas diuji melalui eksekusi otomatis, tingkat kesulitan dikurasi, dan lingkungan dibatasi untuk mengurangi reward hacking.

Kontrol yang dilaporkan mencakup:

• sandbox tanpa akses jaringan bebas;
• penghapusan riwayat Git dan artefak referensi;
• pemisahan jalur penilaian dari agent;
• pemeriksaan terhadap pola eksploitasi;
• reward nol untuk trajectory yang mencoba memanipulasi evaluasi.

Kualitas verifier berpengaruh langsung pada perilaku akhir. Agent yang hanya diberi reward saat test hijau dapat memilih jalan pintas. Agent yang dinilai berdasarkan solusi menyeluruh lebih terdorong memperbaiki akar masalah.

Self-compaction menjaga pekerjaan panjang tetap terarah

Tugas agentic dapat melampaui kapasitas context window mentah. SWE-1.7 dilatih untuk meringkas status kerjanya sendiri ketika konteks mendekati batas, lalu melanjutkan pekerjaan dari ringkasan tersebut.

Ringkasan yang baik harus mempertahankan:

• tujuan utama;
• file yang telah diperiksa;
• hipotesis yang sudah ditolak;
• perubahan yang telah dibuat;
• hasil test;
• pekerjaan yang belum selesai.

Cognition melaporkan bahwa rollout pelatihan dengan self-compaction dapat berlangsung hingga enam jam. Angka itu menggambarkan horizon yang dicapai selama training, bukan jaminan bahwa setiap tugas pengguna akan berjalan enam jam atau selesai dengan benar.

Self-compaction juga membawa risiko. Detail penting dapat hilang saat ringkasan terlalu agresif. Agent mungkin mengulang penyelidikan, melupakan batas scope, atau meneruskan asumsi yang sebenarnya belum terbukti.

Catatan: Untuk pekerjaan panjang, minta agent menuliskan keputusan penting dan bukti test secara eksplisit. Instruksi tersebut mengurangi risiko informasi penting hilang saat konteks diringkas.

Perilaku SWE-1.7 di dalam repository

Model coding tidak cukup dinilai dari jawaban akhir. Cara model menelusuri repository, membatasi perubahan, dan merespons kegagalan test menentukan kualitas operasionalnya.

Baca juga Panduan 9Router: Bikin AI Gateway Lokal Anti Rate Limit (2026)

Cognition melaporkan bahwa SWE-1.7 melakukan lebih banyak pencarian, pembacaan file, dan tool call sebelum mulai mengedit dibandingkan model dasarnya. Pola tersebut mendukung investigasi akar masalah, terutama saat gejala muncul jauh dari sumber kesalahan.

Investigasi dilakukan sebelum kode diubah

SWE-1.7 dapat terlihat lebih lambat memulai karena agent lebih dulu membaca struktur proyek, mencari call site, dan menguji asumsi. Pendekatan ini bernilai untuk bug lintas modul.

Error autentikasi, misalnya, tidak selalu berasal dari controller. Penyebabnya dapat berada pada middleware, konfigurasi session, adapter database, atau pemetaan exception. Patch yang langsung mengubah controller berisiko hanya menutup gejala.

Investigasi luas meningkatkan peluang menemukan akar masalah. Tim tetap perlu memberi batas agar model tidak membaca seluruh repository untuk tugas yang sederhana.

Reasoning lebih ringkas tidak selalu berarti proses lebih pendek

Cognition menyebut SWE-1.7 menghasilkan reasoning dengan kalimat lebih pendek dan lebih sedikit kata pengisi dibandingkan Kimi K2.7 Code. Pola itu dikaitkan dengan pelatihan berbasis budget.

Respons ringkas bukan bukti bahwa prosesnya lebih hemat. Model dapat menulis lebih sedikit penjelasan sambil menjalankan lebih banyak pencarian dan eksperimen. Efisiensi tetap harus dinilai dari total biaya, waktu, dan kualitas patch.

Scope perubahan berpotensi melebar

Agent yang menemukan pola serupa pada beberapa file dapat memperbaiki semuanya meski instruksi hanya meminta satu lokasi. Model juga dapat menambah test atau refactor yang tidak masuk kriteria penerimaan.

Perubahan tambahan kadang memperkuat solusi. Pada hotfix production, diff yang melebar justru meningkatkan risiko regresi dan memperpanjang review.

Tip: Untuk tugas berisiko tinggi, tulis batas scope secara tegas: “Ubah hanya file yang diperlukan. Jangan lakukan refactor, migrasi dependensi, atau perubahan format di luar masalah ini.”

Reviewer juga perlu memeriksa apakah file tambahan benar-benar diperlukan. Jumlah file yang disentuh dapat dijadikan metrik pilot karena berkaitan langsung dengan beban pemeriksaan.

Ketergantungan pada Devin perlu dihitung sebagai biaya arsitektur

SWE-1.7 tersedia melalui ekosistem Devin. Platform ini menyediakan agent harness, sandbox, integrasi repository, eksekusi command, pengelolaan sesi, dan alur kerja asinkron.

Integrasi tersebut mengurangi beban membangun orchestration sendiri. Tim dapat langsung mengevaluasi tugas engineering tanpa merancang seluruh lapisan agent dari awal.

Konsekuensinya adalah ketergantungan platform. Tim tidak bebas memindahkan model ke lingkungan lain, mengakses bobot, atau menjalankan inference mandiri. Devin memang memiliki API untuk mengelola workflow tertentu, tetapi itu tidak sama dengan endpoint publik SWE-1.7 yang bisa dipanggil seperti model umum.

Aspek yang perlu dinilai meliputi:

• kebijakan penyimpanan dan pemrosesan kode;
• kontrol akses repository;
• isolasi sandbox;
• dukungan audit;
• integrasi dengan identitas perusahaan;
• mekanisme persetujuan sebelum merge;
• biaya paket Devin;
• prosedur ekspor hasil dan pemutusan layanan.

Vendor lock-in tidak otomatis buruk. Ketergantungan dapat diterima jika platform memberi nilai operasional yang lebih besar daripada biaya migrasi. Masalah muncul ketika tim mengabaikannya saat pilot, lalu baru menyadari batas integrasi setelah penggunaan meluas.

Jenis tugas yang paling cocok untuk SWE-1.7

SWE-1.7 dirancang untuk pekerjaan agentic yang membutuhkan eksplorasi dan penggunaan tool. Nilainya tidak maksimal pada semua pekerjaan.

Tugas yang layak diprioritaskan:

• investigasi bug dengan gejala tersebar;
• penambahan test pada modul yang sudah memiliki pola jelas;
• perbaikan issue dengan kriteria penerimaan terukur;
• pembaruan API internal;
• migrasi kecil dengan cakupan terbatas;
• analisis kegagalan build;
• refactor terarah dengan test yang kuat;
• penyesuaian kode lintas beberapa file.

Tugas yang memerlukan kontrol lebih ketat:

• perubahan skema database berisiko tinggi;
• sistem pembayaran dan otorisasi;
• hotfix production dengan jendela sempit;
• keputusan arsitektur tanpa spesifikasi;
• repository dengan test minim;
• migrasi besar yang belum memiliki rollback plan;
• kode yang memproses data sensitif;
• perubahan infrastruktur kritis.

Agent bekerja paling baik saat definisi keberhasilan dapat diuji. Instruksi “rapikan modul pembayaran” terlalu luas. Instruksi yang menyebut bug, file terkait, perilaku yang diharapkan, batas scope, dan command test memberi fondasi lebih kuat.

Contoh brief yang lebih terukur:

Tujuan:
Perbaiki kegagalan validasi idempotency pada endpoint POST /payments.

Kriteria penerimaan:
- Request dengan idempotency key yang sama tidak membuat transaksi kedua.
- Respons kedua mengembalikan transaction_id yang sama.
- Test unit dan integration test terkait harus lulus.

Batas scope:
- Jangan mengubah skema database.
- Jangan mengganti library pembayaran.
- Jangan melakukan refactor di luar alur idempotency.

Validasi:
- Jalankan test modul payments.
- Laporkan file yang diubah dan alasan setiap perubahan.

Brief seperti ini mengurangi ruang interpretasi tanpa mengunci agent pada implementasi tertentu.

Baca juga Apa Itu Senior Backend Developer? Ini Tugas & Gajinya

Kelebihan & Kekurangan

Kelebihan

• Rasio biaya dan performa kompetitif. Skor vendor-reported menempatkan SWE-1.7 dekat dengan model frontier pada beberapa evaluasi.
• Throughput inference tinggi. Kecepatan hingga 1.000 token per detik dapat memperpendek siklus reasoning dalam sesi agent yang panjang.
• Dirancang untuk tugas long-horizon. Self-compaction membantu agent melanjutkan pekerjaan saat konteks mendekati batas.
• Eksplorasi repository lebih kuat. Model cenderung mencari akar masalah sebelum langsung mengubah kode.
• Harness siap pakai. Devin menyediakan lingkungan agent, tool, sandbox, dan integrasi repository.

Kekurangan

• Tidak memimpin semua benchmark. Claude Opus 4.8 tetap unggul pada tiga evaluasi yang dipublikasikan Cognition.
• Biaya US$1,97 bukan tarif universal. Angka tersebut berasal dari workload FrontierCode Main.
• Terikat pada Devin. SWE-1.7 tidak tersedia sebagai model open-weight atau endpoint mandiri.
• Scope perubahan bisa melebar. Eksplorasi lebih dalam dapat menghasilkan lebih banyak file dan test tambahan.
• Bukti independen masih terbatas. Benchmark dan klaim perilaku utama berasal dari Cognition atau sumber yang merangkum data vendor.

Cara menguji SWE-1.7 sebelum dipakai tim

Evaluasi yang baik tidak membutuhkan ratusan ticket pada tahap awal. Sampel kecil yang representatif lebih berguna daripada volume besar dengan kriteria kabur.

1. Pilih 20–40 tugas historis. Gunakan issue yang sudah selesai agar tim memiliki patch pembanding dan mengetahui akar masalahnya.

2. Kelompokkan berdasarkan kompleksitas. Pisahkan tugas sederhana, menengah, dan panjang. Jangan mencampur perbaikan satu baris dengan migrasi lintas modul.

3. Samakan instruksi dan batas scope. Setiap model harus menerima brief, repository state, tool, dan kriteria penerimaan yang sebanding.

4. Jalankan di lingkungan terisolasi. Pakai branch khusus, sandbox, data sintetis, dan kredensial dengan hak minimum. Jangan memberi akses production selama pilot.

5. Nilai patch secara buta. Jika memungkinkan, reviewer tidak perlu mengetahui model yang menghasilkan patch. Cara ini mengurangi bias merek.

6. Catat biaya dan waktu total. Ukur biaya eksekusi, percobaan ulang, waktu sampai patch siap direview, serta durasi review manusia.

7. Periksa kualitas dan cakupan diff. Nilai kebenaran, maintainability, jumlah file, perubahan di luar scope, kelengkapan test, dan risiko regresi.

8. Tentukan aturan routing. Gunakan SWE-1.7 hanya pada kelas tugas yang terbukti memberi nilai terbaik. Pekerjaan kritis tetap bisa diarahkan ke model atau proses lain.

Alur evaluasinya:

flowchart TD
	A["Kumpulan tugas historis"] --> B["Kelompokkan kompleksitas"]
	B --> C["Jalankan model pembanding"]
	C --> D["Review buta"]
	D --> E["Ukur biaya dan waktu"]
	E --> F["Periksa regresi dan scope"]
	F --> G{"Memenuhi ambang?"}
	G -->|Ya| H["Pilot terbatas"]
	G -->|Tidak| I["Perbaiki routing atau instruksi"]
	I --> C

Peringatan: Jangan memakai jumlah ticket selesai sebagai satu-satunya ukuran. Agent bisa terlihat produktif dengan mengirim banyak patch yang justru menambah antrean review.

Metrik yang menentukan nilai bisnis

Benchmark publik membantu menyaring kandidat, tetapi keputusan adopsi harus memakai data internal. Metrik berikut memberi gambaran lebih utuh:

Ambang kelulusan harus ditetapkan sebelum pilot. Contohnya, tim dapat mensyaratkan tidak ada regresi kritis, perubahan di luar scope di bawah persentase tertentu, dan waktu review tidak melebihi patch buatan engineer.

Data juga perlu dianalisis per kategori. Model yang unggul pada investigasi bug belum tentu efisien untuk perubahan konfigurasi. Routing berbasis jenis tugas akan memberi hasil lebih baik daripada memakai satu model untuk semua ticket.

Guardrail minimum untuk penggunaan production

Agent coding mendapat akses ke repository, terminal, dan kadang layanan internal. Kecepatan model tidak boleh mengalahkan disiplin keamanan.

Kontrol minimum yang sebaiknya diterapkan:

• akses repository berdasarkan kebutuhan;
• branch protection dan larangan merge otomatis untuk kode kritis;
• sandbox tanpa akses jaringan bebas;
• kredensial sementara dengan hak minimum;
• pemindaian secret sebelum commit;
• pemeriksaan dependency baru;
• batas jumlah file yang dapat diubah;
• log seluruh command dan tool call;
• persetujuan manusia sebelum deploy;
• mekanisme penghentian sesi yang jelas.

Agent juga perlu dilarang mengubah pipeline keamanan, konfigurasi akses, atau kebijakan review tanpa persetujuan khusus. Instruksi teks saja tidak cukup. Pembatasan harus diterapkan pada level tool dan izin sistem.

Untuk repository sensitif, pisahkan evaluasi keamanan dari evaluasi kualitas coding. Patch dapat benar secara fungsional tetapi tetap gagal memenuhi kebijakan data, lisensi, atau supply-chain security.

Routing lebih masuk akal daripada satu model untuk semua tugas

SWE-1.7 tidak harus menggantikan seluruh model coding yang sudah dipakai. Strategi yang lebih rasional adalah memilih model berdasarkan risiko, biaya, dan bentuk tugas.

Contoh routing:

Jika tugas sederhana dan berisiko rendah:
 gunakan model berbiaya rendah dengan batas iterasi

Jika tugas membutuhkan investigasi repository:
 gunakan SWE-1.7

Jika perubahan menyentuh pembayaran, otorisasi, atau data sensitif:
 gunakan model dengan hasil internal terbaik
 wajibkan review senior

Jika scope tidak jelas:
 minta agent menyusun diagnosis dan rencana
 jangan izinkan edit sebelum rencana disetujui

Pendekatan tersebut menghindari dua kesalahan. Pertama, memakai model mahal untuk pekerjaan mekanis. Kedua, memaksakan model hemat pada perubahan kritis yang membutuhkan akurasi tertinggi.

SWE-1.7 berpotensi menempati lapisan tengah yang bernilai: cukup kuat untuk tugas agentic serius, tetapi dirancang menekan biaya dibandingkan model frontier. Nilai tersebut baru terbukti jika hasil pilot menunjukkan biaya per tugas diterima memang lebih rendah.

Cara membaca klaim “setara frontier” secara profesional

Istilah “setara frontier” efektif sebagai judul, tetapi terlalu luas jika dipakai tanpa konteks. Berdasarkan data yang dipublikasikan, frasa yang lebih tepat adalah mendekati performa frontier pada beberapa benchmark agentic coding.

Ada tiga alasan:

1. SWE-1.7 belum memimpin seluruh evaluasi.
2. Hasil benchmark belum sama dengan performa di repository perusahaan.
3. Biaya US$1,97 berasal dari satu workload, bukan tarif universal.

SWE-1.7 tetap layak diperhatikan. Kenaikannya dari SWE-1.6 dan Kimi K2.7 Code menunjukkan bahwa post-training khusus domain dapat mengubah kemampuan agent secara signifikan. Throughput tinggi dan self-compaction juga relevan untuk pekerjaan engineering berdurasi panjang.

Keputusan adopsi tetap harus bertumpu pada bukti operasional. Uji repository sendiri, hitung waktu review, pantau pelebaran diff, lalu bandingkan biaya per patch yang benar-benar diterima. Di situlah klaim efisiensi SWE-1.7 bisa dibuktikan atau ditolak secara objektif.

Inti Nilai SWE-1.7

• Posisi pasar: SWE-1.7 mengejar efisiensi biaya, bukan gelar model coding terbaik.
• Biaya: US$1,97 adalah rata-rata rollout FrontierCode Main, bukan tarif tetap.
• Performa: Skornya mendekati GPT-5.5, tetapi belum mengungguli Claude Opus 4.8.
• Kecepatan: Throughput 1.000 token per detik tidak mencakup waktu build dan review.
• Kemampuan utama: Self-compaction mendukung pekerjaan agentic panjang yang melampaui konteks mentah.
• Batasan akses: SWE-1.7 tersedia melalui Devin, bukan sebagai model API mandiri.
• Keputusan adopsi: Uji pada repository sendiri sebelum memperluas penggunaan ke production.

Nilai SWE-1.7 ditentukan oleh biaya per tugas yang benar-benar diterima, bukan harga eksekusi awal. Tim perlu menghitung kualitas patch, waktu review, risiko regresi, dan ketergantungan pada Devin.

Checklist

• Baca juga referensi otoritatif: Swe 1 7.
• Persiapan: Pilih 20–40 tugas historis yang mewakili workload tim.
• Konfigurasi: Tetapkan kriteria penerimaan dan batas scope setiap tugas.
• Verifikasi: Pastikan Devin menjalankan command dan test yang diwajibkan.
• Keamanan: Batasi izin repository, kredensial, jaringan, dan akses production.
• Pengujian: Bandingkan kualitas patch dengan model atau proses yang digunakan.
• Pengukuran: Hitung biaya per tugas diterima beserta waktu review.
• Evaluasi: Periksa regresi, jumlah revisi, dan perubahan di luar scope.
• Peluncuran: Terapkan bertahap hanya pada jenis tugas yang terbukti efektif.
• Referensi resmi:.