#evals

7개 언어로 된 40개의 AI 팟캐스트를 평가했습니다. 6가지 파이프라인 수정 후 — 무엇이 개선되었는지.

7개 언어로 된 40개의 실제 에피소드에서 AI 팟캐스트 파이프라인을 평가하는 평가 프레임워크를 구축했습니다. 검토 단계가 스크립트를 오히려 악화시키고 있었습니다(3.34 → 2.91). 인용 URL이 모두 가짜처럼 보였습니다(점수: 1.28). 중국어가 가장 약한 로케일이었습니다(2.88). 6가지 수정, 하루, 그리고 새로운 모델 이후 — 여기에 전/후 숫자와 제가 한 모든 변경 사항이 있습니다.