语料库的作用

为大模型恶补数学,上交开源MathPile语料库,95亿tokens_-The Paper

他们从~520B tokens(大约 2.2TB)的数据源中,经过一套严谨复杂的预处理,预过滤,语言识别,清洁,过滤和去重等步骤,来确保语料库的高质量。值得一提的是,OpenAI 所用的 MathMix 也只有 1.5B tokens。4.数据文档化:为了...

i人、社恐、影响工作?您需要这款语料库脑插件|

“不会吧,语料库的主人在公务员系统干到处长,不说出彩,怎么也得四平八稳吧,”老板有点不相信。蓝翠山注意到他刚剃了胡子,能隐约看到黑白相间的胡茬。蓝翠山把麦克卢汉系统的初体验简要复述了一遍。自己的语言系统中插入...

如何使用BYU语料库辅助翻译—以COCA语料库为例(下)实践_检索_应用

在前两期语料库系列推送中,我们带大家一起了解了BYU语料库的主要功能、查询界面,汇总了BYU语料库常用的检索表达式和POS标签,想必大家一定收获满满。本期推文将通过一些案例向大家展示BYU语料库在翻译实践中的具体应用。(1...

讲脏话、爱用网络用语、一讲话“这这那那”.新学期,先学会好好说话!栗子|代词|汪曾祺|语料库_网易订阅

语言是构成思维的官能,语言的边界就是世界的边界,“语料库丰富与否影响着我们看待世界的维度。事实上,“词不达意”这件事是当代小朋友和成年人都在面对的问题。在豆瓣上,有38万人聚集在一个“文字失语者互助联盟”小组...

训练大模型要小心什么?这场研讨会热议AI语料建设与合规|语料库|人工智能_网易订阅

香港作为一个高度国际化城市,可以在收集中英文语料库和利用普通法保护版权著作上发挥国家所需、香港所长的作用。第十四届全国人大代表、中手游联合创始人兼副董事长、国宏嘉信资本创始合伙人兼董事长冼汉迪认为,大模型训练...

三分钟科普|语料库初探(二)

机器翻译研发团队也需要借助语料库来训练高质量的机器翻译引擎。此外,对我们的语言学习者、翻译研究者和翻译实践者来说,语料库也发挥着不可忽视的作用。本期推文将从以下几个方面带大家进一步了解语料库 (1)翻译学习必备...

学术英语论文写作,怎样使用语料库

英文论文的写作者对在线词典和翻译软件都比较熟悉,但是很多人对语料库是比较陌生的。它是一种未被充分利用的能够帮助学术写作的宝贵资源。这篇文章简要介绍在线英语语料库对于学术写作的作用。什么是语料库语料库(corpus,...

用导图读论文|翻译技术之术语知识库的发展趋势_工具_语言_语料库

而广义的翻译技术则涵盖了“在翻译实务、翻译研究和翻译教学中实际使用或可能使用的各种电子技术和信息技术”(方梦之,2011:328-329),即除狭义的翻译工具外,还包括电子词典、语料库、术语管理工具、语音识别系统、对齐工具...

为大模型恶补数学,上交开源MathPile语料库,95亿tokens,还可商用

他们从~520B tokens(大约 2.2TB)的数据源中,经过一套严谨复杂的预处理,预过滤,语言识别,清洁,过滤和去重等步骤,来确保语料库的高质量。值得一提的是,OpenAI 所用的 MathMix 也只有 1.5B tokens。4.数据文档化:为了...

2023新传相关「政策法规」大汇总!丰富你的案例&语料库

这些通知、政策、行动等不仅能够帮助我们拓展补充专题,也能成为我们的答题案例,丰富我们的语料。今天,小田心就将相关内容(所有内容均为小田心手动梳理,如有遗漏,欢迎大家补充~)整理在文中,本文内容较多,同学们可按需...