LangSmith Engine v2: Red Teaming buat Agen AI Production

LangChain baru bongkar paket besar di LangSmith sekitar 24–25 September 2026, pas event Interrupt NYC. Fokusnya bukan model frontier baru, tapi loop produksi agen: deteksi bug, runtime aman, baca sesi yang panjang, lalu fine-tune model open dari data kerja nyata.

Intinya empat hal yang saling nyambung:

1. LangSmith Engine v2 — red teaming proaktif, deteksi isu lebih lebar, dan validasi fix otomatis sebelum human review.
2. Managed Deep Agents 0.8 — memory per user, credential scoped, channel HTTP/Slack + file transfer, plus web search bawaan lewat Parallel.
3. Trajectories — tampilan sesi agen yang enak dibaca (bukan cuma tree trace nested).
4. LangSmith Fine-Tuning + CLI smithtune — dari trajectory bagus ke model SFT di Fireworks atau Baseten, lalu evaluasi balik di LangSmith.

Buat yang lagi ngejar agen di production — customer support, GTM, code review, internal ops — ini update yang langsung kena workflow sehari-hari.

Apa yang diumumkan di Interrupt NYC

Interrupt NYC digelar di Halo, 28 Pine Street. Ratusan engineer AI ikut, keynote dari CEO LangChain Harrison Chase. Ringkas dari blog resmi LangChain (Jacob Talbot, Ben Tannyhill, Ankush Gola, dan tim):

1. Engine sejak Mei 2026 sudah jadi “agen di dalam platform” buat lifecycle agen. Klaim terbaru: lebih dari 60–70 juta trace dianalisis, puluhan ribu isu didiagnosis.
2. Engine v2 (24 Sep): Red Teaming, tren error/latency/cost, jalur agen yang boros, plus auto-test candidate fix di LangSmith Deployment.
3. Managed Deep Agents 0.8 (24 Sep): user-level memory, user-owned credentials, Slack file transfer, HTTP webhook channel, Parallel web search built-in.
4. Trajectories (24 Sep): view kronologis pesan manusia + AI + tool + subagent; bisa di-score online evaluator, masuk annotation queue, dan jadi dataset SFT.
5. Fine-Tuning public beta (24 Sep): CLI smithtune end-to-end (dataset → train → evaluate → deploy).
6. Custom Apps: UI kustom di workspace LangSmith buat annotation / experiment review tanpa export data ke tool internal terpisah.

Catatan: Angka “60M / 70M traces” muncul di dua posting berbeda. Anggap sebagai klaim vendor yang bergerak cepat; titik pentingnya Engine sudah dipakai skala besar, bukan angka absolut.

Rilis ini duduk di dua pilar yang LangChain ulang-ulang: runtime (memory, channel, tool, sandbox) dan observability + eval. Di atasnya ada “intelligence layer” — Engine — yang bekerja di atas trace, eval, dan data production.

Engine v2: red teaming sebelum user marah

Workflow klasik improve agen: lihat error → cari akar → usulkan fix → tes → deploy → pantau regresi. Ribet, dan sering telat. Engine dirancang buat memotong langkah itu.

Yang baru di v2:

• Red Teaming — baca production traces + repo, buat hipotesis kelemahan (halusinasi, langgar system prompt), uji hipotesis, surfacing failure yang belum muncul di traffic live.
• Deteksi isu “halus” — bukan cuma error keras. Termasuk tool call berulang, trajectory terlalu panjang, tren naik di error rate / latency / cost.
• Fix yang sudah diuji — untuk agen di LangSmith Deployment, Engine reproduce input bermasalah, usulkan perubahan, uji di eval set lebih lebar, baru tampilkan ke manusia. Satu klik bisa buka PR.

Red Teaming dan auto-validation fix masih Private Beta buat user yang sudah pakai LangSmith Deployment. Engine v2 sendiri tersedia di SaaS Plus dan Enterprise. Self-hosted menyusul; BYOK untuk Engine di self-hosted dijanjikan di rilis berikutnya (trace tetap di VPC).

Benchmark internal yang mereka sebut di Agustus (masih relevan sebagai baseline): >2× lebih baik di IssueBench buat deteksi isu, dan fix ~25% lebih efektif di Terminal-Bench. Itu angka vendor — tetap uji di agenmu sendiri.

flowchart LR
  A[Production traces] --> B[Engine v2]
  B --> C[Red team / deteksi isu]
  C --> D[Usulkan fix]
  D --> E{Validasi otomatis?}
  E -->|Deployment| F[Tes input + eval set]
  F --> G[Review manusia / buka PR]
  E -->|Manual| G

Praktik yang masuk akal minggu ini: aktifkan Engine di Plus, biarkan dia kumpulkan isu satu minggu, lalu review antrian. Jangan auto-merge semua PR. Red teaming paling berguna buat agen yang sudah punya traffic dan repo yang merepresentasikan behavior.

Managed Deep Agents 0.8: memory, auth, channel

Managed Deep Agents (MDA) = harness Deep Agents + infrastruktur managed. Logic agen ditulis di repo; LangSmith urus runtime, persistence, sandbox, deploy.

Struktur proyek tipikal (Python/TS):

my-agent/
  agent.py              # logic utama
  instructions.md       # prompt → Context Hub
  identity.py           # auth + thread/memory scoping
  memory.py             # deklarasi memory
  tools/                # custom tools + MCP
  channels/             # Slack, HTTP, dll
  middleware/
  schedules/
  connectors/
  skills/
  sandbox/
  evals/

Upgrade 0.8 yang paling kepakai:

1. User-level memory di samping agent memory. Agent memory di /memories/agent/ (shared). User memory di /memories/user/ (per identitas login). Runtime tidak copy konten antar layer — biar preferensi pribadi tidak bocor ke channel grup.
2. Credential scoped — agent-owned (shared, cocok buat web search) vs user-owned (GitHub, Notion, Salesforce per orang). Ada dukungan out-of-the-box ke puluhan layanan termasuk Linear, GitHub, Google Workspace.
3. Slack + file transfer — kirim log, spreadsheet, kontrak, screenshot langsung ke agen di DM/mention/thread.
4. HTTP channel — webhook JSON dari portal internal, order system, atau support product surface.
5. Web search Parallel — tinggal daftarkan MCP server di tools/mcp.py; kredensial Parallel diurus LangSmith. Selama MDA beta, Parallel search dijanjikan gratis.

Default akses memory yang mereka dokumentasikan:

Deploy cepat yang mereka contohkan:

uvx --from managed-deepagents mda init my-agent
cd my-agent
uv run mda deploy

Tips: Kalau agenmu multi-user di Slack channel, jangan asumsikan “ingat preferensi saya”. Itu by design ditolak di group. Pakai DM buat konteks pribadi.

Trajectories: baca sesi panjang tanpa pusing

Baca juga Google Buka SynthID untuk Umum, Begini Cara Cek Foto dan Video Buatan AI

Trace penuh tetap sumber kebenaran buat timing, nested run, retry, metadata. Tapi buat jawab “agen ini ngapain sih dari awal sampai akhir?”, tree nested sering kebanyakan.

Trajectory = proyeksi kronologis dari thread: pesan manusia, AI, tool call, tool result, handoff subagent — tiap pesan sekali, berurutan. Cocok buat:

• Debug cepat (cari turn tempat agen pakai hasil tool basi).
• Review SME (compliance, support lead, domain expert) tanpa parse execution tree.
• Online evaluator yang score path sesi, bukan cuma run tunggal.
• Curate dataset SFT dari behavior production yang bagus.

LangChain bilang Trajectories jalan out-of-the-box buat LangChain, LangGraph, Deep Agents, SDK OpenAI/Claude, plus coding agent seperti Codex, Claude Code, dan Cursor. Tersedia di semua plan (region US saat posting).

Alur praktis: filter skor rendah → annotation queue → human flag → simpan ke dataset → nanti masuk smithtune.

smithtune: dari trajectory ke model SFT

LangSmith Fine-Tuning public beta. CLI smithtune menutup loop:

1. Pull trajectory dari project tracing (bisa difilter).
2. Label — manusia + council agen bikin rubrik “trace bagus”, filter kandidat SFT.
3. Store dataset persisten di LangSmith (auditabel).
4. smithtune plan — review model target, jumlah contoh, LR, batch, epoch.
5. smithtune train — kirim ke Fireworks managed SFT atau Baseten Loops (LoRA). Tidak perlu provision GPU sendiri. Checkpoint dipilih dari validation loss terendah.
6. smithtune evaluate — replay eval: base vs fine-tuned, judge vs aksi di golden trajectory; hasil naik ke comparison view LangSmith.
7. smithtune deploy — serve model + sambungkan ke app.

Hasil internal yang mereka publish (benchmark vendor, bukan arena publik):

Untuk OpenSWE Review (Qwen-3.8-27B di set PR internal):

Mereka juga jujur: dataset yang kurang selektif sempat turunkan F1. Seleksi data + review trace tetap kunci. Saran workflow mereka: mulai dari harness engineering dulu; kalau kesalahan berulang dan sudah punya contoh benar di trajectory, baru SFT.

Syarat mulai: akun LangSmith + traces, API key Fireworks atau Baseten, CLI smithtune (bisa dijalankan langsung atau lewat coding agent + skill di repo).

Peringatan: Angka F1 dan IssueBench di atas dari evaluasi internal LangChain. Jangan jadikan jaminan buat domainmu. Uji dengan golden set sendiri.

Yang relevan dicoba dari Indo minggu ini

Buat developer, startup, dan tim product di Indonesia — termasuk teman-teman yang lagi bikin agen support atau internal ops — ringkasannya praktis:

1. LangSmith SaaS Plus — Engine v2 bisa diaktifkan dari dashboard. Self-hosted / BYOK belum lengkap; kalau compliance data ketat, cek dulu apakah SaaS US region OK.
2. Bayar dolar — billing biasanya kartu internasional / invoice USD. Siapkan metode; jangan asumsikan QRIS atau e-wallet lokal.
3. Stack yang sudah akrab — banyak tim Indo sudah main LangChain/LangGraph. Trajectories + Engine nempel ke stack itu, bukan ganti framework.
4. MDA 0.8 — cocok buat yang mau agen di Slack kantor tanpa bikin auth/memory dari nol. Parallel search gratis selama beta = hemat satu vendor search.
5. Fine-tune murah relatif — SFT open model (Kimi/Qwen class) via Fireworks/Baseten bisa potong latency & cost vs selalu panggil frontier. Tapi butuh volume trace bagus dulu; startup kecil tanpa traffic production belum “wajib” fine-tune minggu ini.
6. Timezone & onboarding — dokumentasi dan support community (Slack LangChain) berbahasa Inggris. Tidak ada localization UI khusus Indonesia di materi peluncuran.
7. Alternatif lokal workflow — kalau belum ready LangSmith, tetap bisa instrumentasi sendiri + eval manual. Update ini paling worth kalau tim sudah punya traces.

Praktik 7 hari: (a) aktifkan Trajectories di satu project, (b) minta satu domain expert review 10 sesi, (c) kalau Plus — biarkan Engine kumpulkan isu, (d) baru putuskan apakah MDA atau smithtune perlu masuk sprint.

Poin penting

• 24–25 September 2026: paket LangSmith di Interrupt NYC — Engine v2, MDA 0.8, Trajectories, Fine-Tuning, Custom Apps.
• Engine v2: red teaming, tren latency/cost/error, jalur boros, auto-validate fix (Deployment, private beta).
• Engine di Plus/Enterprise SaaS; self-hosted + BYOK menyusul.
• MDA 0.8: user memory, credential scoped, Slack file transfer, HTTP channel, Parallel web search (gratis selama beta MDA).
• Trajectories: view sesi kronologis buat debug, SME review, online eval, dataset SFT.
• smithtune: SFT end-to-end lewat Fireworks atau Baseten; hasil internal klaim naik skor IssueBench dan hemat call di code review.
• Seleksi data tetap kunci — dataset jelek bisa turunkan F1 setelah SFT.

Checklist

• Cek plan LangSmith (Plus/Enterprise) dan region data (US SaaS vs self-hosted)
• Aktifkan Trajectories di project tracing utama; review 5–10 sesi panjang
• Kalau Plus: enable Engine v2; biarkan antrian isu terisi 3–7 hari sebelum panik merge
• Daftar waitlist Red Teaming / auto-fix fix kalau sudah pakai LangSmith Deployment
• Coba mda init + deploy agen kecil ke Slack DM (bukan langsung channel publik)
• Set Parallel MCP di tools kalau butuh web search tanpa vendor terpisah
• Kalau punya golden trajectory: install smithtune, jalankan plan dulu sebelum train
• Siapkan API key Fireworks atau Baseten + anggaran training kecil untuk eksperimen pertama
• Libatkan satu domain expert di annotation queue sebelum ekspansi dataset SFT

Referensi

1. LangChain Blog (2026). New in LangSmith: Engine v2, Managed Deep Agents, Fine-Tuning, and more
2. LangChain Blog (2026). LangSmith Engine v2: Red teaming and automated testing
3. LangChain Blog (2026). Managed Deep Agents v0.8: new auth, memory, and channels
4. LangChain Blog (2026). Trajectories now in LangSmith: A readable view of every agent session
5. LangChain Blog (2026). Introducing LangSmith Fine-Tuning
6. LangChain Blog (2026). New in LangSmith Engine: >2x better issue detection (August baseline)
7. LangChain Blog (2026). Managed Deep Agents is now in public beta
8. Interrupt NYC (2026). Event page and agenda at Halo, 28 Pine Street
9. Fireworks (2026). Partner quote on smithtune to managed SFT path
10. Baseten (2026). Partner quote on smithtune and Baseten Loops
11. LangChain Docs / Managed Deep Agents (2026). Memory layers, channels, and MCP Parallel setup
12. LangChain GitHub (2026). smithtune CLI and skill repository materials
13. LangSmith Pricing (2026). Plus and Enterprise Engine availability notes
14. LangChain Community Slack (2026). Feedback channel referenced in MDA posts
15. Kyth.ai / Consensus engineering quotes (2026). Customer notes in Managed Deep Agents announcement