解密搜索引擎技术实战:Lucene&Java精华版(第3版) + 源码 pdf
内容简介
本书是猎兔搜索开发团队的软件研发和教学实践的经验汇总。本书总结搜索引擎相关理论与实际解决方案,并给出了Java实现,其中利用了流行的开源项目Lucene和Solr,而且还包括原创的实现。
本书主要包括总体介绍部分、爬虫部分、自然语言处理部分、全文检索部分以及相关案例分析。爬虫部分介绍了网页遍历方法和如何实现增量抓取,并介绍了从网页等各种格式的文档中提取主要内容的方法。自然语言处理部分从统计机器学习的原理出发,包括了中文分词与词性标注的理论与实现及在搜索引擎中的应用等细节,同时对文档排重、文本分类、自动聚类、句法分析树、拼写检查等自然语言处理领域的经典问题进行了深入浅出的介绍,并总结了实现方法。在全文检索部分,结合Lucene介绍了搜索引擎的原理与进展。用简单的例子介绍了Lucene的*新应用方法,包括完整的搜索实现过程:从完成索引到搜索用户界面的实现。此外还进一步介绍了实现准实时搜索的方法,展示了Solr的用法以及实现分布式搜索服务集群的方法。*后介绍了在地理信息系统领域和户外活动搜索领域的应用。
作者简介
罗刚,猎兔搜索创始人,带领猎兔搜索技术开发团队先后开发出猎兔中文分词系统、猎兔信息提取系统、猎兔智能垂直搜索系统以及网络信息监测系统等,实现互联网信息的采集、过滤、搜索和实时监测。曾编写出版《自己动手写搜索引擎》、《自己动手写网络爬虫》、《使用C#开发搜索引擎》,获得广泛好评。在北京和上海等地均有猎兔培训的学员。
目录
内容简介
前言
第1章 搜索引擎总体结构
1.1 搜索引擎基本模块
1.2 开发环境
1.3 搜索引擎工作原理
1.4 本章小结
第2章 网络爬虫的原理与应用
2.1 爬虫的基本原理
2.2 爬虫架构
2.3 抓取网页
2.4 存储URL地址
2.5 并行抓取
2.6 RSS抓取
2.7 抓取FTP
2.8 下载图片
2.9 图像的OCR识别
2.10 Web结构挖掘
2.11 部署爬虫
2.12 本章小结
第3章 索引内容提取
3.1 从HTML文件中提取文本
3.2 从非HTML文件中提取文本
3.3 流媒体内容提取
3.4 存储提取内容
3.5 本章小结
第4章 中文分词的原理与实现
4.1 Lucene中的中文分词
4.2 查找词典算法
4.3 中文分词的原理
4.4 中文分词流程与结构
4.5 形成切分词图
4.6 概率语言模型的分词方法
4.7 N元分词方法
4.8 新词发现
4.9 未登录词识别
4.10 词性标注
4.11 平滑算法
4.12 本章小结
第5章 让搜索引擎理解自然语言
5.1 停用词表
5.2 句法分析树
5.3 相似度计算
5.4 文档排重
5.5 中文关键词提取
5.6 相关搜索词
5.7 信息提取
5.8 拼写检查与建议
5.9 自动摘要
5.10 文本分类
5.11 拼音转换
5.12 概念搜索
5.13 多语言搜索
5.14 跨语言搜索
5.15 情感识别
5.16 本章小结
第6章 Lucene原理与应用
6.1 Lucene深入介绍
6.2 Lucene中的压缩算法
6.3 创建和维护索引库
6.4 查找索引库
6.5 读写并发控制
6.6 检索模型
6.7 本章小结
第7章 搜索引擎用户界面
7.1 实现Lucene搜索
7.2 实现搜索接口
7.3 历史搜索词记录
7.4 实现关键词高亮显示
7.5 实现分类统计视图
7.6 实现Ajax搜索联想词
7.7 集成其他功能
7.8 搜索日志分析
7.9 本章小结
第8章 使用Solr实现企业搜索
8.1 Solr简介
8.2 Solr基本用法
8.3 Solr扩展与定制
8.4 本章小结
第9章 地理信息系统案例分析
9.1 新闻提取
9.2 POI信息提取
9.3 机器翻译
9.4 本章小结
第10章 户外活动搜索案例分析
10.1 爬虫
10.2 信息提取
10.3 活动分类
10.4 搜索
10.5 本章小结
参考资料
附录
会员免费下载
链接:https://pan.baidu.com/s/1VhvFsYyaGkdJGYK4k2mMhA
提取码: ****** 查看
成为本站VIP会员即可无限下载。 请先点击百度网盘,看资源是否还在,不在请点击链接通知站长补资源。