%A 胡吉颖,吴振新,谢靖,张智雄 %T 构建面向WARC文档的全文索引系统 %0 Journal Article %D 2016 %J 数据分析与知识发现 %R 10.11925/infotech.1003-3513.2016.05.11 %P 91-98 %V 32 %N 5 %U {https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/abstract/article_4229.shtml} %8 2016-05-25 %X

目的】开发网络信息存档WARC文件的解析与索引系统, 充分挖掘科技网站存档资源价值。【应用背景】在网络资源采集存档领域, WARC文件格式获得了广泛的应用。随着网络信息的多样化, 已有的WARC文件索引工具越来越难以满足用户多样性的查询需求。【方法】采用模块化方案解析WARC文件。分析比较常用的索引工具, 选择Solr平台开发全文索引系统。【结果】实现对WARC文件基于内容的检索访问服务, 并在WARC的索引中增加了学科分类、资源类型和存档时间等分面检索内容, 从多维度对WARC文件内容进行揭示。【结论】向用户提供了丰富的科技网站存档数据信息, 提高了用户检索访问效率。