AI 지식 검색

AI Alignment

AI의 행동을 사람의 의도·가치·제약과 맞추려는 연구와 설계. 보상 지표의 빈틈, RLHF의 역할, 평가와 운영 통제의 차이를 사례로 설명한다.

Reinforcement Learning from Human Feedback (RLHF)

사람의 선호·평가를 보상 신호로 활용해 모델 행동을 조정하는 학습 접근법.

AI Agent Oversight

도구를 사용하는 AI 에이전트의 목표·권한·실행·결과를 사람이 확인하는 설계. 승인 피로를 줄이면서 중요한 변경을 검토하는 사례와 실패 대응을 다룬다.