针对大学生在四六级、雅思托福等英语考试上的学习需要,请你设计一个外刊推荐系统。
主要任务
- 爬虫程序:设计一个爬虫程序,爬取任意外刊网站的资源(包括但不限于标题、作者、内容、标签、日期、原文链接等等),进行结构化存储。
- 难度分级:根据文章的词汇量、句法复杂度等指标对每篇文章进行难度分级。考虑将难度等级映射至常见的考试难度(如 CET-4 难度,IELTS 6.0-7.0 难度等)。
- 生成摘要:对于每篇外刊,自动生成一篇摘要,供读者参考。
- 分类与筛选:基于主题分类,分类可以基于网站原有栏目、关键词匹配或文本分类等方法进行优化。
以上内容不要求全部完成。除此之外,我们鼓励你自主设计并完善该系统的其他功能。
请提交一份可运行的网页 demo,要求有基本的前端功能。
参考技术
这里推荐的技术都是可以实现的方法,但并不是唯一的方法。我们鼓励大家尝试多种方法完成此题。
- 爬虫实现:考虑 python 的 Requests、BeautifulSoup 等库。
- 数据存储:SQLite,MySQL 等数据库。
- 外刊分类:结合网站原有栏目信息进行映射优化、关键词匹配、文本分类等方法。
- 摘要生成:sumy 等 python 库。
- 难度分级:textstat 等 python 库或其他自定义指标。