짧지만 두고두고 다시 읽게 되는 글. 핵심 주장:
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
human knowledge를 모델에 직접 박아 넣는 접근(체스의 도메인 휴리스틱, 음성인식의 음운학 등)은 단기적으로는 이기지만, compute가 더해지면 결국 search/learning 기반 일반 방법에 밀린다.
왜 이걸 큐에 남겼는가
LLM 시대에 와서 더 강해진 명제 같다. 본인이 사이드 프로젝트에서 “이 도메인 룰을 더 잘 인코딩하자”는 욕구가 들 때마다 이 글로 돌아오게 됨.