大数据开发(黑马)

启动步骤 :::color2 su - hadoop ::: :::color2 #一键启动hdfs集群 start-dfs.sh ::: 一键关闭hdfs集群 stop-dfs.sh :::color2 启动&#xff1a

2024-12-7650

Python新闻网站项目-2.Scrapy爬虫的配置和数据抓取

在构建完整的新闻网站系统中,通过高效的自动化数据抓取技术和全面的内容管理系统架构,能使网站具备实时更新和管理的功能,成为多功能新闻信息平台。 本项目综合应用了Scrapy和Gerapy技术,构建分布式爬虫系统,结合Django框架实现前后

2024-11-23580

大数据总结

Hadoop 学习 1.hvie 不是一个完整的数据库,其中最大的限制是hive不支持记录级别的更新,插入,删除。但是用户可以通过查询生成新表或者将查询结果导入到文件中 PYTHON学习 可以把模块想像成导入到python以增强其功能的

2024-11-20350

大数据学习笔记 第1天 Linux(一)

大数据学习笔记 第1天 Linux(一) 一、GNULinux 简介与下载 1.1 简介 1.1.1 定义与起源 GNULinux 是类 Unix 操作系统。GNU 计划是要创建自由操作系统,Linux 是

2024-11-15770

2021 Java后端+大数据暑期实习大厂面经

目录 高频考点操作系统篇1.进程与线程的区别【常问】2.进程的通信方式?【常问】3.操作系统调度方法?【腾讯】4.缓存算法(页面置换算法)?【字节、腾讯】5.什么是死锁?如何避免死锁?6.IO模型7.IO复用:select、epoll、po

2024-10-25600