咕咚咕咚

清单:算法

coderforces、nowcoder、atcoder 等算法网站的题目清单 字符串 难度 题目 关键词 1700 GYM105018A 匹配 贪心 难度 题目 关键词 1600 GYM105805D 逆序对 构造 难度

清单:小说

小说清单 时间 名称 作者 其它作品 赏析 2024 《太平令》 阎ZK 《镇妖博物馆》我为长生仙 2023 《天才俱乐部》 城城与蝉 2022 《仙人消失之后》 风行水云间 2021 《道诡异仙》

后 BERT 时代小结

2018年10月,Google 发布 BERT 模型,然后 BERT 横扫了 NLP 的各个任务: 文本分类、序列标注、文本摘要、信息检索、问答系统、阅读理解等等。

到如今,BERT 及其变种几乎一统了 NLU(Natural Language Understanding,自然语言理解)领域, 只有 GPT 模型依托 NLG(Natural Language Generation,自然语言生成)领域能与之周旋。 而细究下来,GPT 与 BERT 的结构其实只有一处不同。

不夸张地说,这是属于 BERT 的时代。因此,本文对 BERT 及其之后的发展作一个粗略的小结,以供参考。