本系列文章主要在简书上发布，图片链接如果有问题可直接访问我的简书页面： 基于scrapy-redis分布式网络爬虫存储数据分析
懂球帝的文章很有特点，每篇文章按主键自增，对应的URL都是唯一，所以我直接暴力爬取了全站的文章，但是这里为了快速加载数据只随机统计了部分爬取存入到MySQL中全部的文章数量。作为一名足球界的小菜鸟，当然要仔细分析数据，向老司机们学习，争取早日拿到驾照，安全驾驶。
本系列文章主要在简书上发布，图片链接如果有问题可直接访问我的简书页面： 基于scrapy-redis分布式网络爬虫存储数据分析
在Windows的命令窗口中输入tree /f dqd命令，出现以下文件目录结构：
C:\Python27\Scripts>tree /f dqd
文件夹 PATH 列表
卷序列号为 A057-81B6
C:\PYTHON27\SCRIPTS\DQD
│ docker-compose.yml
│ Dockerfile
│ mongodb2mysql.py
│ process_items.py
│ scrapy.cfg
│
├─.idea
│ dqd.iml
│ misc.xml
│ modules.xml
│ workspace.xml
│
├─dqd
│ │ image_pipelines.py
│ │ image_pipelines.pyc
│ │ items.py
│ │ mongo_pipelines.py
│ │ mongo_pipelines.pyc
│ │ mysql_pipelines.py
│ │ mysql_pipelines.pyc
│ │ redis_pipelines.py
│ │ redis_pipelines.pyc
│ │ settings.py
│ │ settings.pyc
│ │ __init__.py
│ │ __init__.pyc
│ │
│ └─spiders
│ dqdspider.py
│ dqdspider.pyc
│ __init__.py
│ __init__.pyc
│
└─Image
└─full
│ full.rar
│
└─女球迷采访：由萌yolanda
480-150605104925433.jpg
480-150605104940P1.jpg
480-15060510522UT.jpg
480-150605105242F9.jpg
480-15060510525X18.jpg
480-150605105312V0.jpg
本系列文章主要在简书上发布，图片链接如果有问题可直接访问我的简书页面： 基于scrapy-redis分布式网络爬虫存储数据分析
开源代码： https://github.com/fxsjy/jieba
学习笔记：
红黑树（英语：Red–black tree）是一种自平衡二叉查找树，是在计算机科学中用到的一种数据结构，典型的用途是实现关联数组。它是在1972年由鲁道夫·贝尔发明的，他称之为”对称二叉B树”，它现代的名字是在Leo J. Guibas和Robert Sedgewick于1978年写的一篇论文中获得的。它是复杂的，但它的操作有着良好的最坏情况运行时间，并且在实践中是高效的：它可以在O(log n)时间内做查找，插入和删除，这里的n是树中元素的数目。
红黑树相对于AVL树来说，牺牲了部分平衡性以换取插入/删除操作时少量的旋转操作，整体来说性能要优于AVL树。
在几乎所有的机器上，多字节对象都被存储为连续的字节序列。例如在C语言中，一个类型为int的变量x地址为0x100，那么其对应地址表达式&x的值为0x100。且x的四个字节将被存储在存储器的0x100, 0x101, 0x102, 0x103位置。[1]
而存储地址内的排列则有两个通用规则。一个多位的整数将按照其存储地址的最低或最高字节排列。如果最低有效位在最高有效位的前面，则称小端序；反之则称大端序。在网络应用中，字节序是一个必须被考虑的因素，因为不同机器类型可能采用不同标准的字节序，所以均按照网络标准转化。
例如假设上述变量x类型为int，位于地址0x100处，它的十六进制为0x01234567，地址范围为0x100~0x103字节，其内部排列顺序依赖于机器的类型。大端法从首位开始将是：0x100: 01, 0x101: 23,..。而小端法将是：0x100: 67, 0x101: 45,..。