도비LOG(跳飛錄)

1. IntroductionREALM (Retrieval-Augmented Language Model pre-training): latent knowledge retriever를 이용한 pre-training, fine-tuning최근 언어 모델(BERT, RoBERTa, T5 등) pre-training은 방대한 코퍼스를 학습하여 놀라운 수준의 세상 지식을 암묵적으로 습득한다. 그러나 이러한 지식은 신경망 파라미터에 저장되므로 해석하기 어렵고, 더 많은 지식을 학습하기 위해서는 신경망의 크기를 확장해야 하므로 비효율적이다.REALM은 모델이 활용하는 지식에 대한 해석 가능성을 높이기 위해 학습된 knowledge retriever를 활용한다. 즉, 파라미터에 암묵적으로 지식을 저장하는 대신, 모델이 어..

목차 - 프로젝트 개요 - Retriever - Reader - Post-Processing - 결론 프로젝트 개요 ODQA (Open Domain Question Answering)란 domain이 한정되어 있지 않은, 다양한 종류의 질문에 대답하는 task이다. ODQA는 지문이 따로 주어지지 않고, knowledge resource에서 질문에 대답할 때 참고할 수 있는 문서를 스스로 찾아야 하는 과정(retrieval) 단계가 추가되기 때문에 풀기 어려운 task이다. 예를 들어, "광화문이 있는 도시는 어디야?"라는 질문이 입력으로 들어오면, Retriever 모델은 광화문과 관련된 문서를 찾는다. 그 다음, Reader 모델이 해당 문서에서 '서울'이라는 정답을 찾아내야 한다. ODQA는 이처럼..