重磅:大数据课程实验案例:网站用户行为分析(免费共享)

 

  大数据课程实验案例:网站用户行为分析,由厦门大学数据库实验室团队开发,旨在满足全国高校大数据教学对实验案例的迫切需求。本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习大数据课程后的综合实践案例。通过本案例,将有助于学生综合运用大数据课程知识以及各种工具软件,实现数据全流程操作。各个高校可以根据自己教学实际需求,对本案例进行补充完善。

  本案例可以作为大数据入门级课程结束后的“大作业”,或者可以作为学生暑期或寒假大数据实习实践基础案例,完成本案例预计耗时7天。

  需要案例使用者,已经学习过大数据相关课程(比如入门级课程《大数据技术原理与应用》),了解大数据相关技术的基本概念与原理,了解Windows操作系统、Linux操作系统、大数据处理架构Hadoop的关键技术及其基本原理、列族数据库HBase概念及其原理、数据仓库概念与原理、关系型数据库概念与原理、R语言概念与应用。

  不过,由于本案例提供了全部操作细节,包括每个命令和运行结果,所以,即使没有相关背景知识,也可以按照操作说明顺利完成全部实验。

  单机上完成本案例实验时,建议计算机硬件配置为:500GB以上硬盘,8GB以上内存。

  Linux系统基本命令、Hadoop项目结构、分布式文件系统HDFS概念及其基本原理、数据仓库概念及其基本原理、数据仓库Hive概念及其基本原理

  Hadoop的安装与基本操作、HDFS的基本操作、Linux的安装与基本操作、数据仓库Hive的安装与基本操作、基本的数据预处理方法

  1. 安装Linux系统;2. 数据集下载与查看;3. 数据集预处理;4. 把数据集导入分布式文件系统HDFS中;5. 在数据仓库Hive上创建数据库

  为了解决高校大数据教学需要综合实验案例的迫切需求,2016年10月上旬,厦门大学数据库实验室组建了由林子雨老师和阮榕城(厦大数据库实验室2015级研究生)、薛倩(厦大数据库实验室2015级研究生)、魏亮(厦大数据库实验室2016级研究生)、曾冠华(厦大数据库实验室2016级研究生)同学组成的案例开发小组,通过大量调研学习网络资料和相关案例,开发了本教学案例。期间,多次举行小组会议,讨论案例制作思路和技术细节。最终,经过近两个月的团队努力,于2016年11月29日顺利完成案例第1版的开发并上线发布。

  本案例相关事宜,欢迎联系厦门大学数据库实验室林子雨老师:E-mail: .cn

  第24期大数据师资培训班报名主页(Hadoop+Spark综合班,暑假,厦门,2024年7月21日-28日)

  第25期大数据师资培训班报名主页(数据采集与预处理专题班,暑假,泉州,2024年8月4日-9日)

  厦门大学大数据课程虚拟教研室成员周华涛副教授参加2024年中国高校计算机教育大会

  林子雨编著《大数据技术原理与应用》教材配套大数据软件安装和编程实践指南

  林子雨编著《大数据技术原理与应用(第3版)》教材配套大数据软件安装和编程实践指南

搜索