软件工程硕士论文
摘 要
随着社会的发展，海量数据在给人们带来生活便利的同时也带来了困扰。以用户购房为例，海量房源数据使用户容易陷入信息过载的泥潭，难以获取到有效数据；并且区位资源已经成为用户购房考虑的重要因素，但是用户难以将自己对于区位资源的需求同房源数据关联起来。本文针对以上用户购房时遇到的问题进行设计实现。
系统由六个模块组成，分别是数据台账、查询统计、区位资源、房源推荐、房源对比和个人信息。数据台账模块展示整体房价和区位资源的情况；查询统计模块面向用户提供房源查询；区位资源模块从不同角度为用户提供区位资源相关服务；房源推荐模块根据用户信息进行房源推荐；房源对比模块用于对不同房源进行对比分析；个人信息模块用于个人信息管理。在房源推荐模块，本文在推荐算法研究的基础上针对实际情况，提出一个基于内容推荐和基于用户协同过滤的混合推荐模型，将基于内容的推荐算法和基于用户的协同过滤算法采用级联式的方式组合，并结合 K-Means 算法进行房源数据粗分类、通过矩阵计算得出用户兴趣偏好、使用灰色关联分析求出房源间的相关联度。最后使用 NDCG 和Coverage 两种评估指标将模型与传统推荐算法的实验结果进行对比分析，验证本文提出的混合推荐模型在 NDCG 评估指标可达到47.8%，Coverage 达到43.3%，相比传统推荐算法在推荐效果上具有很大的提升。
最后系统通过测试，能够帮助用户快速获取想要查找的信息、推荐房源等，有效解决用户购房时的烦恼，具有实际使用价值。
关键词： 混合推荐模型；房源推荐；区位资源；用户兴趣偏好 。
Abstract
With the development of society, massive data brings convenience to people's life, but alsobrings trouble. For example, the massive housing data makes users easily fall into the mire ofinformation overload and difficult to obtain effective data; And location resources have becomean important factor for users to consider when buying houses, but it is difficult for users toassociate their demand for location resources with the data of housing sources. This paper isfaced with the above problems encountered by users to design and implement.
The system consists of six modules, which are data account, query statistics, locationresources, housing recommendation, housing comparison and personal information. The dataaccount module shows the overall housing price and location resources; The query and statisticsmodule provides the function of house source query for users; Location resource moduleprovides users with location resource related services from different perspectives; The housingrecommendation module recommends the housing according to the user information; Thehousing comparison module is used for comparative analysis of different housing sources; Thepersonal information module is used for personal information management. In the listingrecommendation module, based on the research of recommendation algorithm, this paperproposes a hybrid recommendation model of content-based recommendation and user basedcollaborative filtering, which combines the content-based recommendation algorithm and userbased collaborative filtering algorithm in a cascade way, and combines k-means algorithm toroughly classify the listing data and construct the matrix calculate the user's interest preference,use the gray correlation analysis to get the correlation degree between the houses. Finally,NDCG and Coverage are used to compare the experimental results of the model and thetraditional recommendation algorithm. It is verified that the hybrid recommendation modelproposed in this paper can achieve 47.8% in NDCG evaluation index and 43.3% in Coverage,which has a great improvement compared with the traditional recommendation algorithm.
Finally, through the test, the system can help users quickly get the information they wantto find, recommend house source and so on, and effectively solve the problems of users whenbuying houses, which has practical value.
Key Words ： Hybrid Recommendation Model; Housing Recommendation; LocationResource; User Interest Preference 。
1、绪论
1.1、 研究背景及意义 。
在过去的二十年里，中国互联网迎来了高速发展的黄金时期，而“互联网+”、“人工智能”、“5G”等口号也从科研人员口中走向了寻常百姓家。互联网的大力发展，再给人们带去便利的同时，也带来了很多的困扰。新“摩尔定律”指出互联网上的信息量仍以每六个月翻一倍的速度增长[1]。在如今大数据时代中，很多的互联网用户在海量数据中感到迷茫，深陷于信息过载的泥潭中。而过去的二十年，也是我国的房地产发展的黄金阶段，全国各地随处可见正在修建或者准备开发的新楼盘，但是房地产信息产业却没能紧跟发展脚步，也陷入了信息爆炸的泥潭，而很多互联网企业却抓住时代发展的机会，根据用户数据分析出用户偏好，从而进行个性化推荐，实现精准营销。例如阿里巴巴根据用户的淘宝账号的个人信息和交易数据对用户进行构建用户画像，来实现商品的精准推荐；如亚马逊、京东的推荐系统也是基于用户线上消费数据从而构建用户画像来实现精准营销[2]，从而促进整个产业链的发展。房地产信息产业无法向很多互联网企业一样，依据用户信息数据，帮助用户迅速找到有效房源数据，既束缚了自身的发展，又给用户购房增加了烦恼。
另一方面如今随着社会的不断进步，时代观念的也在悄然发生变化。过去用户购房更多的考虑是自己能够拥有一个生活住所，而不会考虑其他的社会因素；如今用户出于各种原因而需要购买房屋，因此在进行购房时通常需要综合考虑诸多因素，尤其以房价、房屋面积等房源因素和娱乐资源、学区资源、医疗资源等社会因素。此外高昂的房屋价格，导致很多人购房更加慎重，上述原因从另一角度给购房用户在看房购房时增加了困扰。
推荐系统起源于上个世纪90年代，是一个通过挖掘海量数据，寻找数据之间关联的智能系统，经过多年的研究和发展，推荐技术已经相对成熟并且得到广泛应用。推荐系统通过收集和分析挖掘用户过去的行为数据和其他信息，根据分析结果对用户和物品去建模，再结合推荐算法实现符合用户需求的产品推荐。推荐系统已经在电子商务、社交网络、新闻、广告等多个领域证明它的强大能力，而很多互联网公司也纷纷将推荐系统应用到自己的产品中，并且产品大获成功。
本文从用户购房的实际情况出发，设计实现了城市小区推荐系统。通过利用推荐系统强大的挖掘能力在海量数据中快速、准确、高效的找出用户需求的小区，此外结合用户购房时对于社会因素，尤其是房源的区位资源因素的考虑，根据用户的基本信息，为购房用户进行房源推荐，帮助用户解决看房购房时的困扰。
【由于本篇文章为硕士论文，如需全文请点击底部下载全文链接】
1.2、国内外研究现状.
1.3、论文的主要研究内容.
1.4、 论文主要工作及组织结构.
2、相关技术研究
2.1、网络爬 虫技术.
2.1.1、网络爬 虫原理.
2.1.2、网络爬 虫策略.
2.2、推荐系统框架
2.2.1、协同过滤算法.
2.2.2、基于内容的推荐算法
2.2.3、混合推荐算法.
2.3、聚类算法.
2.4、本章小结.
3、系统分析.
3.1、系统客户分析.
3.2、系统可行性分析.
3.2.1、经济可行性.
3.2.2、技 术可行性.
3.2.3、操作可行性 .
3.3、系统功能需求分析.
3.4、系统非 功能需求
3.4.1、性能 需求
3.4.2、界面 需求.
3.4.3、算法 需求.
3.5、本章小结
4、系统设计
4.1、系统概要设计
4.1.1、系统总 体架构设计
4.1.2、系统功能架构.
4.2 、系统详细设计
4.2.1、资源区位数据获取
4.2.2、数据 台账模块.
4.2.3、查询统计模块.
4.2.4、区位资源模块.
4.2.5、房源推荐模块
4.2.6、房源对比 模块.
4.2.7、个 人信息模块
4.3、数据库 设计.
4.3.1、 概述.
4.3.2、关键 表设计.
4.4、本章小结.
5、混合推荐模型.
5.1、基于内容推荐和基于用户协同过滤的混合推荐模型
5.1.1、算法整 体流程设计
5.1.2、基于用户的协同过滤算法
5.1.3 、KMeans 聚类算法
5.1.4、用户 兴趣偏好计算
5.1.5、灰色 关联分析
5.1.6、基于内容的推荐算法.
5.2、实验数据.
5.2.1、数据 来源.
5.2.2、特 征提取
5.3、实验结 果
5.3.1、评估指 标.
5.3.2、实验结 果分析
5.4、本章小结
6、系统实现与测试
6.1、爬虫网络实现
6.2、系统实 现
6.2.1、数据 台账模块实现
6.2.2、查询统计模块实现
6.2.3、区位资源模块实现
6.2.4、房源推 荐模块实现
6.2.5、房 源对比模块实现
6.2.6、个人信 息模块实现
6.3、系统测试.
6.4、本章小结 .
结 论
本文在用户在购房场景下面对海量房产数据，难以找到有效数据以及购房用户无法将房源信息与区位资源结合考虑的背景下，结合自己研究学习的内容，设计开发了城市小区推荐系统，帮助用户解决找房难、找房不满意的问题。其中在面对传统推荐算法在房源推荐上效果不佳的背景下提出了一种基于内容推荐和基于用户协同过滤的混合推荐模型，并通过实验证明该模型相比传统推荐算法在房源推荐上具有更好的推荐效果。
用户利用此系统既可以整体了解该地区房价整体变化和整体区位资源分布，也可以详细了解某一处房源信息和周边区位资源情况，系统根据用户个人信息为用户进行房源推荐。
本文主要完成的内容如下：
（1）通过网络爬虫的方式，爬取实验所需要的部分数据。包括小区房源数据和区位资源数据，并将爬取的数据和国土资源局提供的房产交易数据进行整合分析处理。
（2）在传统推荐算法的研究基础上，提出一种基于内容推荐和基于用户协同过滤的混合推荐模型，并通对该模型与传统的推荐算法进行实验对比分析，验证该模型在房源数据上具有更好的推荐效果。
（3）开发了城市小区推荐系统，实现系统的主要功能。包括区位资源信息分析和查询、房源信息查询、房源推荐、房源对比等功能。在系统设计上结合Map VGL的地图组件，将相关数据通过地图形式进行展示，让用户对于房源和区位资源有更直观的了解和认识。
本文基于自身所学内容完成对以上内容的分析、设计和实现，但是由于个人自身能力有限，对推荐系统和推荐算法的学习有限、在系统设计上也有存在欠考虑的地方，因此系统还需要进一步改进和完善，因此下一步的工作计划如下：
（1）继续研究推荐算法，思考对算法进一步改进，通过调整参数、融合其他推荐模型等方法来进一步提高推荐结果的准确率。
（2）系统设计所使用的数据是用户显式反馈数据，后面将尝试通过将用户显式反馈数据和用户隐式反馈数据结合，进一步提取其他用户特征以及用户购房时其他购房考虑要素，并进行实验。
（3）系统设计方面也有考虑不足的地方，下一步也将对系统进行进一步的测试和完善。
参考文献
[1] 吴瑶瑶，杨庚. 云环境下分布式文件系统负载均衡研究[J]. 计算机工程与应用, 2019,55(10): 67-72.
[2] 陈树栋. 基于用户消费行为的用户画像技术研究[D]. 广州: 华南理工大学, 2018.
[3] 李善涛. 基于跨域的信息推荐技术研究及应用[D]. 北京: 北京邮电大学, 2014.
[4] Greg Linden, Smith Brent, York Jeremy. Amazon.com recommendations: Item-to-item collaborative filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80.
[5] Meshal Alfarhood, Cheng Jianlin. Deep learning-based recommender systems. 2021:1-23.
[6] Alexandros Karatzoglou, Hidasi Balazs. Deep learning for recommender systems.Como, Italy: 2017: 396-397.
[7] 张紫嫣，周驰. 结合类别偏好的协同过滤推荐算法[J]. 计算机应用与软件, 2021,38(01): 293-296.
[8] 高仰，刘渊. 融合知识图谱和短期偏好的推荐算法[J]. 计算机科学与探索, 1-14.
[9] 康来松，刘世峰，宫大庆. LBSN 中基于加权异构信息网络的兴趣点推荐[J]. 系统工程,2020, 38(06): 14-24.
[10] Qian Zhang, Lu Jie, Jin Yaochu. Artificial intelligence in recommendersystems[J]. Complex & Intelligent Systems, 2021, 7(1): 439-457.
[11] 栗恒. 基于社交环境和时空数据的个性化位置推荐研究[D]. 重庆: 重庆大学, 2016.
[12] 张雨萌. 基于内容推荐的视频服务平台的设计与实现[D]. 北京: 北京交通大学, 2020.
[13] 周德懋，李舟军. 高性能网络爬虫:研究综述[J]. 计算机科学, 2009, 36(08): 26-29.
[14] 唐芳草. 基于神经网络的技术合同风险分析技术研究[D]. 哈尔滨: 哈尔滨工程大学,2017.
[15] Chunxia Yin, Liu Jian, Zhang Huiying. Topic-specific crawling algorithm basedon EIPage Rank[J]. Journal of Information and Computational Science, 2010, 7(2):341-347.
[16] 付志鸿. 基于 Storm 云平台的分布式网络爬虫技术研究与实现[D]. 成都: 电子科技大学,2015.
[17] 张光荣. 基于实值条件受限玻尔兹曼机的推荐算法研究[D]. 天津: 天津大学, 2018.
[18] 姚觐轲. 推荐系统中协同过滤算法及隐私保护机制研究[D]. 沈阳: 东北大学, 2013.
[19] 刘君良，李晓光. 个性化推荐系统技术进展[J]. 计算机科学, 2020, 47(07): 47-55.
[20] Qusay-H Mahmoud, Al-Masri Eyhab, Wang Zhixin. Design and implementation of a [1] 吴瑶瑶，杨庚. 云环境下分布式文件系统负载均衡研究[J]. 计算机工程与应用, 2019,55(10): 67-72.
[2] 陈树栋. 基于用户消费行为的用户画像技术研究[D]. 广州: 华南理工大学, 2018.
[3] 李善涛. 基于跨域的信息推荐技术研究及应用[D]. 北京: 北京邮电大学, 2014.
[4] Greg Linden, Smith Brent, York Jeremy. Amazon.com recommendations: Item-to-item collaborative filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80.
[5] Meshal Alfarhood, Cheng Jianlin. Deep learning-based recommender systems. 2021:1-23.
[6] Alexandros Karatzoglou, Hidasi Balazs. Deep learning for recommender systems.Como, Italy: 2017: 396-397.
[7] 张紫嫣，周驰. 结合类别偏好的协同过滤推荐算法[J]. 计算机应用与软件, 2021,38(01): 293-296.
[8] 高仰，刘渊. 融合知识图谱和短期偏好的推荐算法[J]. 计算机科学与探索, 1-14.
[9] 康来松，刘世峰，宫大庆. LBSN 中基于加权异构信息网络的兴趣点推荐[J]. 系统工程,2020, 38(06): 14-24.
[10] Qian Zhang, Lu Jie, Jin Yaochu. Artificial intelligence in recommendersystems[J]. Complex & Intelligent Systems, 2021, 7(1): 439-457.
[11] 栗恒. 基于社交环境和时空数据的个性化位置推荐研究[D]. 重庆: 重庆大学, 2016.
[12] 张雨萌. 基于内容推荐的视频服务平台的设计与实现[D]. 北京: 北京交通大学, 2020.
[13] 周德懋，李舟军. 高性能网络爬虫:研究综述[J]. 计算机科学, 2009, 36(08): 26-29.
[14] 唐芳草. 基于神经网络的技术合同风险分析技术研究[D]. 哈尔滨: 哈尔滨工程大学,2017.
[15] Chunxia Yin, Liu Jian, Zhang Huiying. Topic-specific crawling algorithm basedon EIPage Rank[J]. Journal of Information and Computational Science, 2010, 7(2):341-347.
[16] 付志鸿. 基于 Storm 云平台的分布式网络爬虫技术研究与实现[D]. 成都: 电子科技大学,2015.
[17] 张光荣. 基于实值条件受限玻尔兹曼机的推荐算法研究[D]. 天津: 天津大学, 2018.
[18] 姚觐轲. 推荐系统中协同过滤算法及隐私保护机制研究[D]. 沈阳: 东北大学, 2013.
[19] 刘君良，李晓光. 个性化推荐系统技术进展[J]. 计算机科学, 2020, 47(07): 47-55.
[20] Qusay-H Mahmoud, Al-Masri Eyhab, Wang Zhixin. Design and implementation of a smart system for personalization and accurate selection of mobile services[J].Requirements Engineering, 2007, 12(4): 221-230.
[21] 吴清春. 多源信息融合的推荐模型研究[D]. 北京: 北京交通大学, 2020.
[22] Zengmao Wang, Guo Yuhong, Du Bo. Matrix completion with preference ranking fortop-n recommendation. Stockholm, Sweden: 2018: 3585-3591.
[23] Dheeraj Bokde, Girase Sheetal, Mukhopadhyay Debajyoti. Matrix Factorizationmodel in Collaborative Filtering algorithms: A survey. Fr. Agnel Ashram,Bandstand, Bandra West, Mumbai, Maharashtra, 400 050, India: 2015: 136-146.
[24] Silvia Puglisi, Parra-Arnau Javier, Forne Jordi, et al. On content-basedrecommendation and user privacy in social-tagging systems[J]. Computer Standardsand Interfaces, 2015, 4117-27.
[25] 翁海瑞，林穗，何立健. 基于内容推荐与时间函数结合的新闻推荐算法[J]. 计算机与数字工程, 2020, 48(12): 2973-2977.
[26] 聂帅华. 基于内容推荐/协同过滤推荐算法的智能交友网站的设计&实现[D]. 武汉:华中师范大学, 2015.
[27] Miquel Montaner, López Beatriz, de la Rosa Josep-Lluís. A Taxonomy ofRecommender Agents on the Internet[J]. The Artificial intelligence review, 2003,19(4): 285-330.
[28] 邵煜，谢颖华. 协同过滤算法中冷启动问题研究[J]. 计算机系统应用, 2019, 28(02):246-252.
[29] Benjamin Schelling, Plant Claudia. KMN - Removing noise from K-means clusteringresults. Regensburg, Germany: 2018: 137-151.
[30] Resmiye Nasiboglu, Tezel Baris-Tekin, Nasibov Efendi. Learning the stressfunction pattern of ordered weighted average aggregation using DBSCANclustering[J]. International Journal of Intelligent Systems, 2019, 34(3): 477-492.
[31] Mesmin-J Mbyamm Kiki, Zhang Jianbiao, Kouassi Bonzou-Adolphe. Map Reduce FCMclustering set algorithm[J]. Cluster Computing, 2021, 24(1): 489-500.
[32] 伍艺. 面向大数据集的递增聚类方法研究[D]. 北京: 北京理工大学, 2015.
[33] 胡文江，胡大伟，高永兵，等. 基于关联规则与标签的好友推荐算法[J]. 计算机工程与科学, 2013, 35(02): 109-113.
[34] Pavan. Single Pass Seed Selection Algorithm for k-Means[J]. Journal of computerscience, 2010, 6(1): 60-66.
[35] 郭永坤，章新友，刘莉萍，等. 优化初始聚类中心的 K-means 聚类算法[J]. 计算机工程与应用, 2020, 56(15): 172-178.
[36] 张靖，段富. 优化初始聚类中心的改进 k-means 算法[J]. 计算机工程与设计, 2013,34(05): 1691-1694.
[37] 何明，孙望，肖润，等. 一种融合聚类与用户兴趣偏好的协同过滤推荐算法[J]. 计算机科学, 2017, 44(S2): 391-396.