ALBERT 유압 펌프 ABT1-55-4R02-Z11 ALBERT ABT1-25-1R00-B10E ABT1-55-2R02-C1 베인 펌프 서보 유압 펌프.

자연어 표현을 사전 훈련할 때 모델 크기를 늘리면 다운스트림 작업의 성능이 향상되는 경우가 많습니다. 그러나 어느 시점에서 GPU/TPU 메모리 제한으로 인해 추가 모델 증가가 더 어려워지고

더 긴 훈련 시간. 이러한 문제를 해결하기 위해 우리는 메모리 소비를 낮추고 훈련을 증가시키는 두 가지 매개변수 감소 기술을 제시합니다.

BERT의 속도(Devlin et al., 2019). 종합적인 실증적 증거가 보여줍니다.

우리가 제안한 방법은

원래 BERT. 또한 모델링에 중점을 둔 자체 감독 손실을 사용합니다.

문장 간 일관성을 유지하고 그것이 다운스트림 작업에 일관되게 도움이 된다는 것을 보여줍니다.

다중 문장 입력. 결과적으로 우리의 최고의 모델은 새로운 첨단 기술을 확립합니다.

BERT-large에 비해 매개변수가 적으면서 GLUE, RACE 및 SQuAD 벤치마크 결과. 코드와 사전 학습된 모델을 사용할 수 있습니다.