组队
journal-recommendation
2025

外刊推荐系统

考四六级吗?包实用的

爬虫Web

针对大学生在四六级、雅思托福等英语考试上的学习需要,请你设计一个外刊推荐系统。

主要任务

  1. 爬虫程序:设计一个爬虫程序,爬取任意外刊网站的资源(包括但不限于标题、作者、内容、标签、日期、原文链接等等),进行结构化存储。
  2. 难度分级:根据文章的词汇量、句法复杂度等指标对每篇文章进行难度分级。考虑将难度等级映射至常见的考试难度(如 CET-4 难度,IELTS 6.0-7.0 难度等)。
  3. 生成摘要:对于每篇外刊,自动生成一篇摘要,供读者参考。
  4. 分类与筛选:基于主题分类,分类可以基于网站原有栏目、关键词匹配或文本分类等方法进行优化。

以上内容不要求全部完成。除此之外,我们鼓励你自主设计并完善该系统的其他功能。
请提交一份可运行的网页 demo,要求有基本的前端功能。

参考技术

这里推荐的技术都是可以实现的方法,但并不是唯一的方法。我们鼓励大家尝试多种方法完成此题。

  1. 爬虫实现:考虑 python 的 Requests、BeautifulSoup 等库。
  2. 数据存储:SQLite,MySQL 等数据库。
  3. 外刊分类:结合网站原有栏目信息进行映射优化、关键词匹配、文本分类等方法。
  4. 摘要生成:sumy 等 python 库。
  5. 难度分级:textstat 等 python 库或其他自定义指标。
出题人:兼白