5 posting dengan tag ini
Saya membangun framework evaluasi untuk menilai pipeline podcast AI saya di 40 episode nyata dalam 7 bahasa. Langkah review malah memperburuk skrip (3.34 → 2.91). Semua URL kutipan tampak palsu (skor: 1.28). Bahasa Mandarin adalah locale terlemah (2.88). Enam perbaikan, satu hari, dan satu model baru kemudian — inilah angka sebelum/sesudah dan setiap perubahan yang saya buat.
Saya menghabiskan berhari-hari menulis system prompt untuk dua AI host podcast saya. Mereka membaca setiap kata — lalu mengabaikan hampir semuanya. Solusinya bukan kata-kata yang lebih baik, melainkan memahami bahwa LLM memproses aturan secara berbeda tergantung di mana aturan itu berada dalam pipeline Anda.
Saya nyaris membangun mode offline yang pintar dan khusus-AI untuk app iOS DIALØGUE. Lalu saya bertanya hal yang lebih membosankan — apa yang sudah diberikan iOS untuk saya? — dan ternyata pekerjaan tersulitnya adalah menahan dorongan untuk tampil pintar. Inilah mesin standar yang sama sekali tidak glamor di balik "unduh satu episode lalu dengarkan di pesawat" — dan kenapa memilih yang membosankan justru langkah yang lebih matang.
Saya merilis app iOS DIALØGUE sebagai port dari produk web, lalu membangunnya ulang secara native — tiga tab, audio di layar kunci, transkrip yang tersinkron, offline yang tahan banting, dan Siri — karena app web yang dikecilkan ke ukuran ponsel tetap saja app web.
Saya mendorong perubahan yang seharusnya jadi peningkatan pada sistem suara platform podcast saya. Enam hari dan beberapa commit kemudian, saya menghapus 2.724 baris kode dan me-rollback ke versi yang stabil. Inilah yang terjadi dan apa yang saya pelajari tentang menguji perubahan AI di production.