성능이 가장 뛰어난 두 모델, ‘BiLSTM-Attn w/ ELMo + both scaffolds’ 와 ‘BiLSTMAttn w/ ELMO’(baseline)의 attention weight 비교함.(Fig.3)
- (Fig. 3a)의 실제 레이블은 Future Work, 단어 "future" 주변에 더 많은 가중치를 부여함,
baseline 모델은 "compare"에 더 많은 가중치를 부여하여 Compare 레이블로 잘못 예측함.
- (Fig. 3b)에서 실제 레이블은 Result Comparison, 비교의 의미 "than"에 가중치 부여
baseline모델은 “analyzed seprately” 에 가중치를 부여하여 "Background"로 잘못분류함.
- Error analysis
- (Fig.4)classification error를 나타냄, 오류는 주로 Background 카테고리에서 발생.
- 표7의 첫 문장은 “model in (citation)” and “ILP formulation from (citation)” 부분때문에 노이즈가 발생하여 오분류됨.
(Motivation 분류의 학습데이터 수가 적기 때문일 수 있음)
- 네번째 문장은 분류가 애매함.
- 이러한 유형의 오류를 방지 할 수있는 방법은 학습을 위한 input 데이터를 추가 하거나
모델링 시에 extended surrounding context를 적용하는 것임
위 오류 개선을 위해 BiLSTM을 사용하여 extended surrounding context 인코딩을 실시하고 main citation context vector (z)와 연결했지만, 전체적으로 노이즈가 늘어나 성능이 크게 저하됨을 알 수 있음.
5 Related Work
기존에 인용의도 분류에 관한 연구들 (Stevens and Giuliano, 1965; Moravcsik and Murugesan, 1975; Garzone and Mercer, 2000; White, 2004; Ahmed et al., 2004; Teufel et al. , 2006; Agarwal et al., 2010; Dong and Schafer ¨, 2011).은 인용의도 분류의 범주가 너무 세분화 되어있고, 어떤 분류범주는 거의 없는경우도 많아 과학문헌의 자동분석에는 유용하지 않다.
이러한 문제를 해결하기 위해 Jurgens et al. (2018)은 인용의도에 대한 6가지 분류범주를 제안했다
본 논문에서는 (1)Jurgens가 제안한 분류범주와 (2)우리가 제안한 좀더 "범용적인" 분류범주 두가지를 비교했다.
그 결과, domainspecific한 기존의 Scheme들과 달리, 우리의 Scheme은 일반적인 과학적 담론에 적합함을 확인할 수 있었다.
자동인용의도분류 초기에는 규칙기반 위주의 연구가 이뤄짐(Garzone and Mercer, 2000; Pham and Hoffmann, 2003))
이후 다양한 연구들이 진행되었으며, 우리는 데이터 기반의 방법으로 인용의도를 분류할 수 있음을 확인했다.
이를 “scaffold”라는 용어를 차용하여 인용의도 분류를 위한 novel scaffold neural model 을 제안한다
6 Conclusions and future work
이 연구에서 우리는 과학적 담론과 관련된 구조적 속성이 인용 의도 분류를 알리는 데 효과적으로 사용될 수 있음을 보여줍니다.
우리가 제안한 모델은 기존 ACL-ARC 데이터 세트에서 최고점(F1-score 67.9)으로, 기존연구의 점수보다 13.3점 높았다.
새로운 대규모 데이터셋인 SciCite에서도 우리 모델의 성능은 더 우수하며, scientific domains에 범용적으로 활용할 수 있다.
본 논문의 최종제출시점에 Beltagy et al (2019)은 과학 텍스트 pre-trained model인 BERT contextualized representation model(Devlin et al., 2018)이 SciCite데이터셋에서 더 좋은 결과를 얻을 수 있음을 보여주었다
Wu, Z., Pan, S., Chen, F., Long, G., Zhang, C., & Philip, S. Y. (2020). A comprehensive survey on graph neural networks.IEEE transactions on neural networks and learning systems.
Cohan, A., Ammar, W., Van Zuylen, M., & Cady, F. (2019). Structural scaffolds for citation intent classification in scientific publications.arXiv preprint arXiv:1904.01608.
Jurgens, D., Kumar, S., Hoover, R., McFarland, D., & Jurafsky, D. (2018). Measuring the evolution of a scientific field through citation frames.Transactions of the Association for Computational Linguistics,6, 391-406.
Mercier, D., Rizvi, S. T. R., Rajashekar, V., Dengel, A., & Ahmed, S. (2020). ImpactCite: An XLNet-based method for Citation Impact Analysis.arXiv preprint arXiv:2005.06611.
Kunnath, S. N., Pride, D., Gyawali, B., & Knoth, P. (2020). Overview of the 2020 wosp 3c citation context classification task. In Proceedings of the 8th International Workshop on Mining Scientific Publications (pp. 75-83). Association for Computational Linguistics.
베이직어텐션토큰(BAT; Basic Attention Token, 注意力币)은 블록체인 기반의 디지털광고플랫폼을 위해 설계된 분산형암호화폐이다.자바스크립트언어와파이어폭스웹브라우저를 만들었던 미국의브렌든 아이크(Brendan Eich)가 설립한브레이브 소프트웨어(Brave Software)가 개발한 프로젝트로 이더리움 플랫폼ERC-20기반의 토큰이다. 베이직어텐션토큰의 티커는BAT이다. 2017년 3월 31일 베이직어텐션토큰에 대한ICO를 진행하여, 불과 30초만에 3,500만 달러(약 380억원)를 모금했다. 한국의업비트와고팍스거래소 등에 상장되어 있다. 시가 총액은 3억 달러로 30위를 기록하고 있다.[1]베이직어텐션토큰과 유사한 블록체인 기반의 광고 플랫폼에는애드엑스,애드토큰,위블락등이 있다. (출처: 해시넷-wiki.hash.kr/index.php/베이직어텐션토큰)
무엇보다 신뢰가 갔던점은, BAT 개발자가 브랜든 아이크이기 때문이었다.
무려 자바스크립트언어와 모질라, 파이어폭스 브라우저를 만든장본인이다.
JavaScript의 아버지 브랜든 아이크 형님
다른 전문용어는 잘 모르지만, 한마디로 정리하면
브레이브 브라우저를 통해 광고를 하는 사람이, 광고를 보는 사람에게 BAT를 지불하는 구조라고 보면 된다.
