이 태그에 게시물 5개
7개 언어로 된 40개의 실제 에피소드에서 AI 팟캐스트 파이프라인을 평가하는 평가 프레임워크를 구축했습니다. 검토 단계가 스크립트를 오히려 악화시키고 있었습니다(3.34 → 2.91). 인용 URL이 모두 가짜처럼 보였습니다(점수: 1.28). 중국어가 가장 약한 로케일이었습니다(2.88). 6가지 수정, 하루, 그리고 새로운 모델 이후 — 여기에 전/후 숫자와 제가 한 모든 변경 사항이 있습니다.
AI 팟캐스트 호스트를 위해 며칠 동안 시스템 프롬프트를 정성껏 작성했습니다. 그들은 모든 단어를 읽고 거의 전부를 무시했습니다. 해결책은 더 나은 단어가 아니었습니다 — LLM이 파이프라인 내에서 규칙이 어디에 위치하느냐에 따라 규칙을 완전히 다르게 처리한다는 점을 이해하는 것이었습니다.
DIALØGUE의 iOS 앱을 위해 똑똑하고 AI에 특화된 오프라인 모드를 만들 뻔했어요. 그러다 좀 더 지루한 질문을 던졌죠 — iOS가 이미 나한테 뭘 주고 있지? — 그랬더니 진짜 어려운 일은 똑똑해지고 싶은 충동을 참는 거였어요. '에피소드를 다운로드해서 비행기에서 듣는다'는 것 뒤에 있는, 표준적이고 전혀 화려하지 않은 장치들, 그리고 왜 지루한 쪽을 고르는 게 더 노련한 선택이었는지 적어볼게요.
DIALØGUE iOS 앱을 처음엔 웹 제품의 이식판으로 출시했다가, 네이티브로 다시 만들었어요. 탭 세 개, 잠금 화면 오디오, 동기화되는 자막, 끈질긴 오프라인, 그리고 Siri까지. 폰 크기로 줄인 웹 앱은 결국 그냥 웹 앱이니까요.
팟캐스트 플랫폼의 음성 시스템을 업그레이드하려는 변경을 배포했습니다. 6일과 여러 커밋 끝에 2,724줄의 코드를 삭제하고 안정 버전으로 롤백했습니다. 실제로 일어난 일과 production AI 변경에 테스트를 어떻게 다뤄야 하는지 배운 점을 공유합니다.