lazynlp 一个允许您对网页进行抓取,清理和重复数据删除,以创建大量的单语数据集

lazynlp 一个直接的库,允许您对网页进行抓取,清理和重复数据删除,以创建大量的单语数据集。 使用此库,您应该能够创建大于OpenAI for GPT-2使用的数据集。