Cara Melaksanakan Ejen AI dalam Produksi: Daripada Demo kepada Pelancaran yang Boleh Dipulihkan, Dipantau dan Dikembalikan ke Versi Terdahulu

Pelan pelancaran: tetapkan sempadan dahulu, kemudian sahkan setiap perkara

Kunci untuk menggunakan Ejen AI dalam persekitaran produksi bukanlah menambah kerumitan model atau pengorkestraan, tetapi memastikan kegagalan tugas dapat dikenal pasti dan dipulihkan, serta perubahan dapat disahkan dan dikembalikan ke versi terdahulu. Urutan yang disyorkan ialah mentakrifkan tugas dan syarat penyelesaian, memilih bentuk persekitaran pelaksanaan, menyediakan masa jalan dan storan keadaan, melaksanakan sempadan keselamatan, menilai tugas yang mewakili senario sebenar, kemudian melancarkan secara berperingkat dengan trafik terhad serta mengatur petugas siap siaga dan pelan pengembalian ke versi terdahulu.

Tetapkan dahulu syarat pencetus, input, alat yang dibenarkan untuk dipanggil, hasil akhir perniagaan, pengendalian tamat masa dan titik pengesahan manusia. Jika aliran kerja tetap sudah memenuhi keperluan, tidak perlu memperkenalkan berbilang ejen semata-mata untuk menjadikannya sistem berasaskan ejen. Untuk memilih antara aliran kerja dan ejen, rujuk perbincangan Anthropic tentang cara membina ejen. Untuk butiran penyambungan antara muka sistem dan kebenaran alat, lihat Cara mengintegrasikan Ejen AI dengan sistem sedia ada perusahaan.

Memilih bentuk persekitaran pelaksanaan: buat pertimbangan berdasarkan kekangan

Jadual di bawah digunakan untuk membandingkan kekangan seni bina, bukan untuk membuat kesimpulan tentang prestasi atau harga. Keupayaan, kuota dan tanggungjawab operasi platform calon perlu disemak berdasarkan dokumentasi terkininya.

Apabila menggunakan inferens melalui API model, komponen yang digunakan biasanya ialah persekitaran masa jalan aplikasi, alat terkawal dan perkhidmatan keadaan; keputusan untuk membina persekitaran inferens sendiri perlu dinilai secara berasingan berdasarkan kependaman, sempadan data, ketersediaan model dan keperluan operasi. Dokumentasi Kubernetes Deployment boleh dirujuk untuk mekanisme kemas kini bergilir dan pengembalian kepada semakan terdahulu, tetapi ini tidak bermakna Agent mesti digunakan pada Kubernetes.

Seni bina produksi minimum: menghubungkan permintaan, pelaksanaan, keadaan dan kebolehcerapan

调用方 → 鉴权入口/请求校验 → 任务执行器（同步短任务或异步任务 ID）
      → Agent 运行逻辑 → 模型端点/受控工具 → 状态存储与结果核验
      → 日志、指标、追踪与告警

Untuk tugas singkat, pemanggil boleh menunggu hasilnya; jika tugas melebihi tempoh menunggu pemanggil atau memerlukan pemulihan merentas proses, sistem boleh mengembalikan ID tugas supaya klien dapat menyemak status atau menerima pemberitahuan selesai. Takrifkan status tugas, semantik pembatalan, had masa tamat dan kebenaran untuk membaca hasil.

Penyepaduan sistem tidak dihuraikan semula di sini; lihat Cara menyepadukan AI Agent dengan sistem sedia ada perusahaan yang disebut sebelum ini. Untuk tanggungjawab petugas siap siaga dan kerjasama kejuruteraan, rujuk Tanggungjawab penyampaian kejuruteraan dan sempadan kerjasama FDE. Tanggungjawab khusus perlu diperjelas dalam projek.

Penyediaan artifak keluaran: memastikan perubahan boleh dihasilkan semula

Sertakan kod, fail kunci kebergantungan, imej masa jalan, konfigurasi persekitaran, templat prom, serta versi konfigurasi model dan alat dalam rekod perubahan. Sahkan kebergantungan semasa proses binaan; asingkan persekitaran pembangunan, pengujian dan produksi; suntik kelayakan melalui mekanisme konfigurasi terkawal, dan jangan simpannya dalam repositori kod atau log biasa. Urus kunci API model, kelayakan perkhidmatan alat dan identiti perniagaan secara berasingan.

Senarai semak pelancaran sekurang-kurangnya perlu mengesahkan perkara berikut:

• Titik masuk pelaksanaan, pemeriksaan kesihatan, had sumber dan pengendalian isyarat penutupan telah disahkan;
• Versi kebergantungan, ringkasan kriptografi imej dan perubahan konfigurasi boleh dijejaki;
• Prom, kontrak alat, pengecam model dan parameter utama mempunyai rekod versi;
• Sampel ujian regresi dan hasil penilaian boleh dikaitkan dengan versi keluaran;
• Versi sasaran pengembalian boleh dimulakan dan boleh membaca format keadaan semasa atau menolak pemprosesan secara jelas.

Pemulihan tugas jangka panjang: titik semak tidak bermakna operasi perniagaan dilaksanakan tepat sekali

Kebolehpulihan melibatkan tiga lapisan: rekod tugas, keadaan pelaksanaan dan kesan sampingan perniagaan. Ini merangkumi sama ada tugas berada dalam baris gilir, sedang berjalan atau menunggu tindakan manusia; langkah yang telah dilaksanakan; dan sama ada penulisan ke sistem luaran berjaya. Menyimpan teks perbualan sahaja mungkin tidak mencukupi untuk memulihkan konteks pelaksanaan, manakala titik semak sahaja juga tidak dapat membuktikan hasil operasi tulis luaran.

Sebagai contoh, dokumentasi LangGraph membezakan checkpointer yang menyimpan keadaan pelaksanaan mengikut thread dengan store yang berkongsi data merentas thread. Pemulihan selepas proses dimulakan semula memerlukan bahagian belakang storan persisten yang sesuai, serta pengesahan terhadap penulisan, pembacaan, pengasingan, pengekalan dan pemulihan kegagalan; penyimpan dalam memori tidak boleh dijadikan asas bagi persistensi merentas pemulaan semula. Lihat Dokumentasi Persistensi LangGraph.

Dasar percubaan semula perlu membezakan tamat masa bagi satu percubaan, ralat yang boleh dicuba semula dan tindakan selepas semua percubaan semula habis digunakan. Alat yang mempunyai kesan sampingan perlu direka dengan kunci idempotensi atau mekanisme penyahduplikasian, dan hasil operasi perniagaan perlu disemak sebelum mencuba semula: panggilan yang tamat masa tidak bermakna penulisan belum berlaku. Jika hasilnya tidak dapat dipastikan, serahkan kepada manusia untuk semakan atau jalankan proses pampasan; titik semak, baris gilir dan percubaan semula sahaja tidak memberikan jaminan pelaksanaan tepat sekali dari hujung ke hujung. Rujuk Dokumentasi Pengendalian Kegagalan LangGraph.

Kawalan keselamatan: Tetapkan syarat sekatan bagi tindakan berisiko tinggi

Sebelum pelancaran, sahkan sekurang-kurangnya perkara berikut:

• Dokumen luaran, halaman web dan input pengguna tidak boleh memperluas kebenaran alat dengan sendirinya;
• Perkhidmatan alat mengesahkan identiti, skop sumber dan parameter pada setiap panggilan, manakala tindakan berimpak tinggi memerlukan pengesahan manusia yang jelas;
• Bukti kelayakan diasingkan mengikut persekitaran dan boleh digilirkan, manakala log diminimumkan mengikut tahap sensitiviti, disamarkan dan ditetapkan tempoh pengekalannya;
• Rekod kelulusan dipautkan kepada permintaan, pengendali, tindakan yang dirancang dan hasil akhir operasi perniagaan;
• Ujian akses tanpa kebenaran, suntikan prompt, penyerahan berulang dan kebocoran data sensitif semuanya menghasilkan penolakan seperti yang dijangkakan.

Bahan OWASP tentang Ancaman dan Mitigasi AI Beragen boleh membantu membina senarai ancaman, tetapi tidak menjadi bukti keselamatan atau pematuhan sistem ini.

Gerbang penilaian: Nilai hasil dan proses sekali gus

Jangan anggap dakwaan ejen bahawa tugas “telah selesai” sebagai bukti penerimaan. Tetapkan syarat kejayaan yang boleh disahkan dalam persekitaran bagi setiap jenis tugas, seperti status rekod sasaran, format output dan tindakan yang dilarang; simpan jejak pelaksanaan untuk mengenal pasti kegagalan dalam perancangan, panggilan alat atau pengesahan hasil. Rujuk Penerangan Anthropic tentang Kaedah Penilaian Ejen.

Sampel perlu merangkumi input biasa, medan yang tiada, maklumat bercanggah, panggilan alat yang tamat masa, penolakan kebenaran, permintaan berulang dan cubaan mempengaruhi ejen melalui kandungan luaran. Sampel penting boleh dijalankan beberapa kali dan variasi hasilnya direkodkan. Gerbang pelancaran boleh merangkumi hasil tugas, tindakan yang dilarang, pengendalian pengecualian, latihan pemulihan dan laluan pengambilalihan oleh manusia; nilai ambang ditentukan berdasarkan risiko perniagaan, garis dasar sedia ada dan hasil ujian.

Pemantauan: Kualiti, kependaman, pemulihan dan kos

Tetapkan takrif dan kaedah pengiraan, lokasi pengumpulan, syarat amaran serta pihak yang bertanggungjawab bagi setiap metrik:

Jejak pelaksanaan digunakan untuk mengenal pasti penyimpangan dalam pelaksanaan berbilang langkah, manakala status akhir dalam sistem perniagaan digunakan untuk mengesahkan bahawa tugas telah selesai. Medan log yang perlu dinyahkenal pasti, skop akses dan tempoh penyimpanan hendaklah ditentukan mengikut projek; perhatikan garis dasar pada peringkat awal pelancaran, kemudian laraskan ambang amaran mengikut risiko perniagaan.

Pelancaran berperingkat, pengembalian versi dan pengendalian tugas yang sedang diproses

Sebelum pelancaran, jalankan ujian regresi terhadap gabungan kod, prom, konfigurasi model dan kontrak alat; sahkan dahulu menggunakan trafik terhad atau tugas berisiko rendah, kemudian tingkatkan trafik secara beransur-ansur. Tetapkan syarat penghentian, seperti hasil perniagaan yang tidak normal, kegagalan ujian akses tanpa kebenaran, atau kadar ralat dan kependaman yang melebihi had yang ditetapkan oleh pasukan.

Apabila berlaku kegagalan, hentikan sementara penerimaan tugas baharu atau nyahdayakan alat berisiko tinggi, senaraikan tugas yang sedang berjalan, menunggu dan telah selesai, sahkan kesan sampingan pada sistem luaran, kemudian kembali kepada versi yang telah disahkan. Semak sama ada versi lama serasi dengan format keadaan sedia ada; serahkan tugas yang tidak dapat dipulihkan secara automatik kepada manusia atau laksanakan tindakan pampasan yang telah diluluskan. Kubernetes Deployment boleh dijadikan rujukan pelancaran apabila menggunakan Kubernetes; pengembalian aplikasi kepada versi terdahulu tidak akan membatalkan secara automatik penulisan data perniagaan yang telah berlaku.

Latihan pembelajaran: sahkan laluan pemulihan melalui suntikan kegagalan

Berikut ialah reka bentuk latihan pembelajaran, bukan kajian kes pelanggan atau keputusan pengukuran sebenar. Tetapkan tugas sebagai “jana laporan, kemudian tulis hasil selepas pengesahan manusia”, dan rekodkan jangkaan, hasil sebenar serta bukti bagi setiap percubaan:

Latihan hendaklah menyemak sama ada keadaan dalam sistem perniagaan dan rekod pelaksanaan sepadan dengan jangkaan, serta menetapkan dengan jelas pihak yang bertanggungjawab dan prosedur pengendalian bagi tugas bermasalah.

Senarai semak penerimaan pelancaran

• Skop tugas, takrif penyelesaian, tindakan yang dilarang dan titik pengesahan manusia telah didokumenkan.
• Bentuk penggunaan sepadan dengan tempoh tugas, keperluan pemulihan dan keupayaan operasi pasukan.
• Kebergantungan, imej, prom, konfigurasi model dan kontrak alat boleh dijejaki.
• Keadaan tugas, penyimpanan berterusan dan kesan sampingan terhadap perniagaan masing-masing boleh disahkan, serta percubaan semula dilindungi oleh idempotensi.
• Ujian kebenaran akses, suntikan prom, log sensitif dan kelulusan manusia telah lulus.
• Penilaian merangkumi tugas yang mewakili penggunaan sebenar, sampel luar biasa, pengesahan hasil dan senario pemulihan.
• Takrif metrik, pihak yang bertanggungjawab terhadap amaran, syarat penghentian pelancaran berperingkat dan prosedur petugas bertugas telah disahkan.
• Versi untuk pengembalian, pengendalian tugas yang sedang diproses, keserasian keadaan dan laluan pampasan perniagaan telah diuji melalui latihan.

Soalan lazim tentang pelaksanaan

Soalan: Adakah Kubernetes wajib digunakan? Jawapan: Tidak semestinya. Jika pasukan sudah mempunyai platform yang memenuhi keperluan tempoh tugas, pemulihan keadaan, pengasingan rangkaian serta operasi dan penyelenggaraan, tidak perlu menambah kerumitan kluster semata-mata untuk ejen AI.

Soalan: Adakah pelaksanaan ejen memerlukan pengehosan model sendiri? Jawapan: Tidak semestinya. Jika inferens digunakan melalui API model, biasanya memadai untuk melaksanakan persekitaran masa jalan aplikasi, alat terkawal dan komponen keadaan. Untuk pengehosan inferens sendiri, nilai secara berasingan sempadan data, kependaman, ketersediaan serta keperluan operasi dan penyelenggaraan.

Soalan: Adakah tugas akan hilang selepas perkhidmatan dimulakan semula? Jawapan: Ini bergantung pada rekod tugas, penyimpanan kekal keadaan pelaksanaan dan pengesahan proses pemulihan. Bergantung pada memori proses sahaja tidak mencukupi untuk pemulihan selepas mula semula. Kejayaan operasi penulisan ke sistem luaran juga perlu disahkan bagi mengelakkan pelaksanaan berulang.

Soalan: Bagaimanakah penulisan pendua akibat percubaan semula dapat dicegah? Jawapan: Reka kunci idempotensi atau rekod penyahduplikasian untuk operasi perniagaan, dan semak keadaan sistem luaran sebelum mencuba semula. Jika keadaan tidak dapat dipastikan, hentikan sementara percubaan semula automatik dan beralih kepada semakan manual atau proses pampasan.

Soalan: Berapakah ambang kadar kejayaan yang patut ditetapkan untuk pelancaran? Jawapan: Tiada nilai sejagat. Tetapkan kriteria kelulusan dan amaran berdasarkan risiko tugas, garis dasar perniagaan serta hasil ujian. Pengesahan penerimaan juga perlu merangkumi tindakan terlarang, pengambilalihan oleh manusia, pemulihan dan hasil perniagaan.