————By:倾玄
]]>————By:倾玄
]]>————By:倾玄
]]>分布式
离线：已经存在的数据（静态的）
分而治之（分布式存储）
将超级大的文件切分成多个小文件，每一个小文件存储在一个服务器上（无限扩展服务器的数量）
纵向扩展
可以在一台服务器上加硬盘
摩尔定律
数据的分类：
产生时间：
大数据：大而复杂的数据集（存储 | 计算）
容量大、种类多、速度快、整体数据价值高
分布式存储：
分布式计算：
负载均衡：
一个集群中，各个节点承担的存储（压力）相当
负载均衡一定和每一个节点的硬盘配置相关
集群中的每一个节点存储的数据量的占比相当的
数据采集——数据存储——数据清洗——数据计算——数据存储结果——数据可视化展示
]]>看过一个很好的节目（新城商业）https://i.youku.com/i/UMTgwNDU5NjY4MA==?spm=a2hzp.8253869.0.0
结果由于新城的运营导致停止运营了，很可惜的一个节目，在国内算是很好的节目了，对科技感兴趣的童鞋可以好好看看。
又找回以前的LED小灯泡，本来这个灯泡是打算DIY一个广州小蛮腰的灯塔的。现在只有灯泡了，本来这个LED灯是送给一个女生的。这个灯泡还是2019年的圣诞节前一个星期买的，可惜DIY失败，女生也没了。
由于实在太无聊了，只好听歌了，把《相见恨晚》听了很多遍。其中的心情可能和一个女生有关吧。听歌和听电台是一种享受吧。
]]>从2020年起出现特殊状况离开深圳一年，离开的这一年真是一言难尽。还好都过去了，更具自己的预判从2016年经济出现下滑起，就是意料之中有所改变。经济下滑加上疫情打乱了很多人的计划，很多原本计划好的事情被改变得一塌糊涂。
更具自己的预判加直觉一时之间很难经济回转，最快也需要到2023年经济出现回转和稳定的局势。更具近期状况互联网局势也是出现一片调整，各大公司下架企业应用（APP）被叫停，游戏行业更是如此。虽然作为一个互联网新人，但是我的直觉错不了。现在很多行业被调整，必然牵扯到一定的经济局势。
高速发展的今天，必然只有打破常规创新才是一个时代前进的方向。AI时代的今天，很多行业必然会受到牵连。只有接受时代的改变才能从中发现原因。未来的时代每个人具备的简单技能就是阅读，只有阅读才能了解一切。
时代不会等待每个人，只有不断的准备时代的迎接才是最好的选择。阅读是一个枯燥且无聊的过程，但是阅读是一个提升最好的方式。在这个快节奏的时代里很少有人浪费时间做一些在自己看来毫无意义的事，因为每个人的时间很宝贵。
最近一年没有唱歌了，不得不说又变成五音不全的狮子吼。今天不唱，明天变垃圾。突然发现自己码字的水平也是一般般，写作对于我来说算是一个弱项了。最近又快上涨一岁了，还有几天就23岁了不得不说我又老了。
写给23岁的自己，希望自己能够不疾不徐，好好提升自己。能够在未来的某一天想起自己也曾努力过，至少不留下遗憾。其实以错过了很多，但希望不错过一些自己认为不能错过的事情吧，比如（事业、爱情、家人）
——————写于2021年9月12日 By:轩
]]>1 | # -*- coding:utf-8 -*- |
栗子：
1 | #!/usr/bin/env python |
栗子：
1 | #!/usr/bin/env python |
HTTP是无状态的面向连接的协议，服务器和客户端的交互仅限于请求/响应过程，结束之后便断开，在下一次请求时，服务器会认为新的客户端。为了维护他们之间的链接，让服务器知道这是之前某个用户发送的请求，则必须在一个地方保存客户端的信息。
Cookie：通过在 客户端 记录的信息确定用户的身份。
Session：通过在 服务器端 记录的信息确定用户的身份。
Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话
栗子：
1 |
|
1 | #-*- coding:utf-8 -*- |
1 | #-*- coding:utf-8 -*- |
伪装成一个合法的身份，用不同浏览器发送请求时，会有不同的User-Agnet报头
栗子：
1 | import urllib2 |
可以通过调用Request.add_header()添加/修改
也可以用Request.get_header()
添加一个特定header
栗子:
1 | import urllib2 |
1 | 随机添加/修改User-Agent |
1 | import urllib2 |
GET和POST方法Urlencode方法用来产生get查询字符串，而urllib2则没有（这是urllib和urllib2经常一起使用主要原因）
Urlencode()函数，将key：value 键值对，转换成’key = value’ 这样的字符串
urllib 的Unquote()函数
栗子：
1 | import urllib |
Get方式
get请求一般用于服务器获取数据 ，比如用百度搜索 轩轩: https://www.baidu.com/? wd = 轩轩
浏览器的url跳转成：https://www.baidu.com/s？wd =轩轩
http://www.baidu.com/s? wd=%DO%F9%D%F9
http://www.baidu.com/S? 之后出现长字符串，其中就包含要查询的关键字，于是尝试用默认get方式发送请求
例子：
1 | import urllib |
Post方式：
Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对。
Post请求向服务器发送请求数据并不是在url里，Post请求一定要抓包。
?分开与url分开。忽略12306网站数字证书认证
栗子：
1 | import urllib2 |
基本的Urlopen()方法 不支持代理、Cookie等其它的HTTP/HTTPS高级功能
要支持这些功能：
1.使用相关的Handler 处理器来创建特定功能的处理器对象
2.然后通过Urllib2.buid_open()方法使用这些处理器对象
3.使用自定义的Opener对象，调用Open()方法发送请求
如果程序里的所有请求 都是使用自定义的Opener对象定义为全局Opener，表示如果之后凡是调用Urlopen，都将使用这个Opener
1 | import urllib2 |