HASH GAME - Online Skill Game GET 300

　　云原生时代，我们将面临全新的数据应用生态，云原生数据仓库是其中的典型代表。今天我们将和来自于哈士呆塔的 ceo 简历荣先生聊一聊如何构建云原生数据仓库的最佳存储底座。 大家好，我叫简丽荣，是哈士奇的联合创始人，江西哦！哈士奇是一家专注于原声数据仓库的初创公司，为金融、电信、能源、交通等重要行业的头部客户解决最具挑战性的数据仓库难题。 我们致力于推动数据分析平民化，大幅降低企业进行数据分析的门槛。很多人认为只要一款，所以仓库产品本身是分 不是的，然后能够不在云端运行，那他就是云元盛岁仓库。其实这是非常初级版本的云元盛岁仓库。云平台提供了很多特性，例如支付、无限的计算和存储资源、弹性声说以及廉价的存储资源，尤其是对上存储， 但不意味着任何一个分布色素仓库布在云端之后就能够充分利用到这些特性的。这里简单举两个例子说明一下。第一个是上上，基于对上存储构建的税仓库产品趋之可数，绝大部分都是居于快存储的， 这些区块存储构建的数据仓库即便不止在云端，也很难充分利用云平台的廉价存储资源。第二个例子是你可以通过云平台在一分钟之内创建一百个新的计算节点，但却因为计算存储及漯河传统 anpp 数据仓库扩容过程中的数据成分部 到一百个新的计算节点可能得六个小时之后才能加入到原有咨询中，参与新的查询分析，这种情况下，很难说这个数据仓库产品充分利用了云平台的弹性伸缩特性与人生技术，对数据仓库的价值跟对其他技术软件的价值是一样的。我个人认为 余元生续仓库除了能够充分利用云计算的特性外，没有自己独特的价值。续仓库保存着企业内部具有商业价值的历史数据，而数据又是一种具有网络放大效应的资源，类似社交网站， 一份数据跟另外一份数据融合，产生的价值可能远远大于这两份数据各自价值的和。展望未来，我们认为大数据技术的发展不仅仅是能够以越来越低的成本、越来越快的速度，对越来越多样的数据 进行越来越复杂的分析，更重要的是构建一个平台，在安全和规律情况下，让数据能够非常便捷、高效的流动、交易和融合，成为真正的生产要素。我们坚信于原生数据仓库在这一历史进程中扮演着重要的角色。 作为原声的数据仓库， hostage 采用创新性的原数据计算和存储三层分离的架构，数据切跨到底层的对上存储。怀疑存储现已经是业界领先的数据存储技术提供商， 尤其是华为的欧神 stop pacific 分布式存储平台，具有很多业界领先的功能特性。 hostita 携手华为乘储推出的联合解决方案，完美的结合了 hustata 属于仓库和 houston stock pacific 的技术优势，助力各行各业进行数据化转型，最大限度的释放数据价值。 hostel 数据仓库通过可插拔的存储借口，可以无缝地对接多和混合运的对象存储产品。 一、统一的平台提供包括数据仓库、数据壶、数据科学、数据工程和数据共享等能力。怀疑存储提供了对第三方友好的访问接口，跨可用区和跨序中心的数据同步全军缓存服务，实现易购数据源的统一访问和计算。引擎热查房 哈西的数据仓或与华为存储的结合，真正的实现了计算和存储的多余融合。

　　哈西值就是给信息通过一定的方法赋予一个简化的代号，简化后的代号就是这段信息的哈西值。类似于让一个居民获得身份证号码， 居民的名字就是信息本身，身份证编号的方式就是哈西函数，而身份证号就是这段信息的哈西值。哈西值具有固定长度、唯一性，不可逆行的特点。 固定长度是指无论输入大或者小，输出都是固定的二百五十六比特的长度，这一特性在处理大量数据和交易时是至关重要的。并且任意一段信息只能有唯一的哈西直，这是哈西直的唯一性， 不可逆行。就好像榨汁机，我们可以把苹果榨成苹果汁和果渣，但不能把苹果汁和果渣还原成苹果，所以 从哈西直不可能推算出原本的七夕是什么。另外，哈西直还有非常强大的防串改能力，对于任意一个输入，哪怕是很小的改动，其哈西直的改变也会非常大。比如安 ipo 的哈西直是这样的， 而只改了一个大小写的安 ipo 的哈西值可能是这样的。所以这一特性对于区块链来说十分重要，因为他决定的区块链是不可改变的。

　　今天九月二十一号，苹果的 ios 十五正式上线了，我也在第一时间更新了，然后的话 ios 十五中一个我非非常喜欢的一项服务，就是 icl 的 icloud， 现在的话成了那个 icloud 家服务了。我先 icloud 增加了， ios 十五增加了一项功能，就是专用，专用代理，这个功能我给你打开看一下这样代理，然后的话， 然后的话这专用代理是有一个打开一个详情给看一下，专用的代理是带 suv 浏览器，可以隐藏 app 地址之类的，保护一些信息之类的，这项功能 感觉还是非常重要的，现在毕竟每个人都非常注重个人的隐私嘛。然后的话 ios 叫 iclod， 我为什么要等 icloud 十 ios 十五要升级 icloud 这项服务呢？ 前段时间我的屏，我的屏幕又被摔坏了，上个月摔坏一次，前一个月又摔坏一次，然后的话 icloud 里面存的照片都有保留， 嗯，因为我如果不开 iclou 的话的话，里面很多东西都有，都不方便，所以的话，这次的话我真的要把 icloud 要打开了。 现在的话我用的账号是我的美区账号，美区账号 这面要美区账号，现在用的是给大家看看，是用的美区的账号， 因为国区的账号我现在用是美国区的账号，然后的话我国区的账号打开 icloud 的话，是没有这个专用代理备胎这个版本的，现在的话我我开通，现在开通我美区账号苹果 id， 美区账号的 icloud 加服务 主要是为了这个隐私访问，然后的话我现在是每个月是零点九九美元，然后的话我点击订阅服务， 五十 g 的存储空间我感觉是够用的，现在的话我买这个服务每个月才扣零点九九美元，非常便宜，我感觉 ok 了，现在订阅了这项服务了，现在我买了，然后是每个月扣 扣我零点九九美元，现在是订阅成功了，然后的话我开启之后家人可以共享，然后的话，耶原先的是免费的，是无机币，现在成五十机币了， ok 了， 主要是为了体现这个贝塔，然后我把这个专用贝塔版的打开它， ok， icloud 专用地理科保障你。互联网这项功能我感觉还是非常重要的，其实有些地区是不能用的，你像在 国内地区是不能用了，你看此国家或地区上部知识代理，嗯，有，大陆有，我们过过去，现在不能用这个。先不说不能说这个，感觉这项功能是非常有用的，现在的话一会的话我就用 x 加服务了，以后每个月支付零点九九美元就用这个服务，我感觉还是这个钱花的是比较值的。

　　他只用了十年，就把全世界公认最安全的网络密码破解了，这套密码如果使用军用超级计算机，需要一百万年才能破解，他就是中国科学院院士，我国顶尖的密码学学者王小云。王小云和团队破解的是米国基于哈斯函数的 md 五沙万两大密码， 全世界的计算机系统通用的就是这两个算法，全世界都觉得这应该是最安全的计算机网络密码。有两位世界顶级的密码学家都试图破解米国最强的 md 五杀万，但最终都放弃了。 而王小云用手算的方式，带着团队用了十年就把密码破解了，全世界都轰动了。米国说要在五年之内把所有的这种密码全部停掉，一举成名。之后呢，国外许多顶尖机构向王小云抛来橄榄枝，王小云却毫不犹豫的选择为国效力。二零零五年， 王小云参与设计了我国首个哈西函数算法标准 s m 三，受 s m 三保护的智能电网用户有六亿多，含 s m 三的银行卡超过了一个亿。许多黑产人员呢，利用破解密码的技术，几年之内就能收获几百亿的收入。 正因为有了王小云这样的科学家，顶住了利益诱惑，本着推动先进密码算法的目的去破解密码，才保护了我们的数字安全。

　　谈到优化，必然离不开锁引，咱们今天呢和大家聊一聊 mesco 当中存在的锁引的类型。在 mesco 当中，通常会通过选取一列或举列数据，通过一定的数据结构进行组织排列，把它存在内存或磁盘当中。同时，锁引可以指向具体的数据。 这样做的目的无非是为了加速我们的查询过程，无论你选择 b 加速这种多路搜索速，还是选用哈西表，都可以让查询变得速度极快。 还不是我粉丝的同学，咱们点个关注后边的视频大家就可以接着看了。言归正传，咱们聊一聊 masco 当中存在哪些类型的锁印。首先呢，咱们聊一聊基于 b 加速这种数据结构的锁印， 这样的锁引往往是将数据存储在磁盘当中，通过 b 加速这种结构对搜索进行加速，当然他也会带来额外的维护成本。这个咱们后边再聊。从大的方向讲，这 这种 b 加速结构的锁引通常可以分为两大类，一类叫聚促锁引，一类叫非聚促锁引。在聚促锁引当中，锁引列和数据是存在同一个结构当中的，他们通过指针相互关联。 通常情况下，麦斯狗会选用组件当做我们的锁引列，如果没有组件，会选取具有唯一约束的列作为咱们的锁引链，如果都没有，他会选取 roid 作为我们的锁引。在 misco 当中，只有 inodb 引擎支持。巨粗锁引 和巨速锁引相对的就是咱们的非巨速锁引，他也叫辅助锁引。辅助锁引存储的不是数据和锁引，而是锁引和与之匹配的 id， 通过辅助所引进行查询，可以得到目标数据的 id， 然后需要回到据促所引进行二次查询，这个过程叫回表，非据促所引，通常我们可以根据 其特性也可以分为唯一锁引、普通锁引、符合锁引等等。普通锁引很简单，对这个锁引没有任何的要求，所有的猎几乎都可以建立辅助锁引， 而唯一所引要求当前的列可以为难，但是不能重复。这个时候大家可能会想到一个问题，叫唯一所引和唯一约束他们有什么关系和区别？ 告诉大家，唯一约束就是通过唯一锁引来实现的，你要给这一列建立唯一约束，他会默认给他建立一个唯一锁引，来确保这一列数据唯一。 那确保的过程很简单，当你插入一个数据的时候，他就会通过这个锁引进行判断，这个数据在这个列当中存在不存在，如果存在，直接爆抛一场，如果不存在，则插入。当然，如果我们以多个列同时进行组织，我们会形成 一个联合锁引，或者叫复合锁引。复合锁引存在的目的不是说一次查询可以走多个锁引，其最大的好处是，如果我们所查询的列都包含在复合锁引当中，他就不必要回表进行二次查询，可以提升咱们的查询性能。这个概念叫覆盖锁引， 如果你好好研究过，一定是清楚的。在咱们的 circle 语句当中，无论你使用的是复合锁引还是普通锁引，锁引最多只能选择一个。当然也有些例外存在，如果我们对单表进行查询， vr 语句当中使用二连接的所有的条件全部都带有锁引，那么这些锁引都会被使用到， 这个过程叫锁引合并。到此为止，我们已经将基于 b 加速的这些主流的锁引类型给大家讲完了，接下来呢，咱们给大家讲一些特殊的锁引。第一个是基于 memory 冲出引擎的 哈西锁引，这种哈西锁引就相当于咱们自己在内存当中 new 的一个哈西卖法，使用哈西表作为锁引进行数据数据检索，这个过程会非常非常快，时间复杂度无限接近于 oe。 还有在 mii 上这种数据存储引擎当中还支持全文锁引，全文锁引需要特殊的分磁器进行分磁， 并将分词结果进行独立保存。 message 当中是支持多种分词查见的，那么以后查询的时候，我们就可以按照这种分词的结果进行查询。 当然对于这一类的场景，我们有更好的替代方案，比如使用芒果 db 或者 es。 当然在 mesco 当中还有一个特殊的锁引叫空间锁引，因为他几乎用不到，所以我们就不再多做赘述了。 ok， 到目前为止，咱们把 mesco 当中的锁引分类就给大家讲完了，如果大家觉 觉得 ok 还不错，请给南哥点个赞，加个关注。我所有的课程都在我的 misco 境界里边给大家详细的介绍讲过，如果有需要的同学可以去购物车里边购买。

　　所以如果我们的账号密码通过网络传输的时候用的是铭文，就太不安全了，这就需要用到哈系算法了，只要我们把密码用哈系算法转成哈系值的形式。当然，我们一般只会加密密码，账号一般都是保持铭文的形式，只要把密码通过哈系算法转成密文之后，再进行网络传输，这样即便是我们的数据包被别人截获到了，他也不知道我们的密码是什么。 由于我们密码传输用的是哈系直，而哈系直又是不可缓解的，所以服务端传出你密码的时候就必须存经过同样的还是正法加密后的密码， 也就是在你注册 qq 的时候，填的密码就是经过哈系算法加密之后的密文形式传给服务端保存的，这样你登录的时候传的是密文，然后服务端存储的也是密文，就可以对密码进行比对了。但前提是注册和登录的时候用到的哈系算法要一致。 注册用的 md 五，那登陆的时候也必须用 md 五好。虽然哈西子不可逆，用哈西双法对密码进行加密，能够提升密码的安全性，但这个世界上 没有绝对的安全，对于攻击者来说，不一定要可逆才能攻击。因为在同一个哈系算法下，虽然输入数据的长度不固定，而输出的哈系时的长度却是固定的，这就意味着哈系时的数量是有限的，而输入的数据却有无穷格。这样的话，要建立一对一的关系很明显是不可能的， 所以必然会发生碰撞。就是只要我们找到一段内容，他可以算出和你密码同样的哈系直。因为前面我们已经解惑到了你密码的哈系直了吗？那是不是就可以用这段内容登录你的账号了？所以只要我的 cpu 算的足够快，我的电脑足够多，是能够算出来你的密码的。 如果是八位纯数字，那就是死的八次方总组合，也就是一亿中组合。所以要破解这个八位数的密码，只要生成好零到一亿数字的哈西值，然后做一亿次布尔运算就可以破解了。就拿一台普通的 i 五四和的 cpu 来说，它每秒可以做两百亿次伏点数据算，而做一亿次布尔运算，也就是秒级别的时间就可以破解了。所以我们的密 尽量不要用纯数字，因为根本没有任何安全性可以，即便是你的密码不是纯数字，如果太简单了的话，也会很容易被破解。网上也有一些什么常用的密码库，我们可以算出这个密码库里面每一个密码的哈西值，然后和我们截取到了密码做对比。如果你的密码很简单，恰好在这个密码库里面，你的密码就很容易被破解了。 所以说没有绝对安全的密码，只要我的算题足够大，都是能够破解的，而我们能做的只是让攻击者破解的成本越来越高，这就涉及到一个加严防碰撞的操作了，这个我们后面讲代码的时候再说，然后我们再来看哈系算法的第二个用途。前面我们说在同一个哈系算法下，只要我们输入的内容不变，那得到了哈系直就不变， 只要输入的内容有任何变化，得到了哈西子就会变，基于他的这个特性就可以用于文件完整型脚印。你看我打开拍摄的官网给你看一眼，选这个单漏子，点击 windows 进来之后，我们随便点开一个版本，比如我就选这个最新版本，打开之后往下翻， 这里是这个版本的一些安装包，然后我们把注意力放到这一列，这些都是拍摄官方上传这些安装包的时候，通过 md 五算法把安装包传进去之后，计算得到了哈系词，也就是说我们把拍摄的安装包下载下来之后，也可以按照同样的算法进行哈系教研。 我们可以把安装包一二精致的方式读出来，然后传给 md 五算法。如果得到了哈西子，和官网上面提供的哈西子是一样的，就说明这个安装包是完整的，没有被篡改过， 但是如果不一样，就说明你下载了这个安装包是有问题的，你就不要用这个安装包了，因为你下载数据就要走网络嘛，只要走网络就可能被公记者截获，然后给你往里面放了点病毒再发给你，就像我第一集的那个视频一样。

　　redis 作为内存数据库，支持多种数据类型。这些数据类型允许你在 redis 中存储不同结构和形式的数据，以满足各种应用需求。我们常见的几种数据类型分别为，字符串 string、 列表 list、 哈西表 hash、 有序集合 started set 集合 set。 我们先来简单地了解下他们。一、字符串 dream redis 的字符串数据类型是简单的建职队，可以存储文本或二、禁制数据。你可以对字符串执行各种操作，如设置、获取、递增、递减等。二、列表 list redis 的列表数据类型是一个有序的字符串元素集合， 你可以在列表的两端添加或删除元素，支持类似战 stack 或对列 q 的操作。三、哈西表 has reddis 的哈西表数据类型类似于关联数组，它 用于存储字段和与之关联的值，你可以添加、获取、更新和删除字段。四、集合 set gettys 的集合数据类型是一个无需的字符串元素集合，不允许重复元素。你可以执行集合操作，如添加、删除、交集、病集等。五、有序集合 有序集合类似于集合，但每个元素都关联一个分数，可以用于排序元素。你可以执行按分数范围获取元素的操作，以及添加和删除元素。重点来了哦！除了如上几种常见的数据类型外， redis 还有三种特殊的数据结构类型，他们分别为， 一、未图 bitmap， 用于未及操作，例如标记用户是否在线，用户是否点击过某个广告等。二、 hyper lock lock 基数统计 red is 支持 hyper lock lock 数据类型， 用于估算一个数据级的基数及不重复元素的数量，这在统计分析中很有用。三、地理空间 geos 倍收 ready 三点二级更高版本，支持地理空间数据类型，允许你存储地理位置、精度和纬度，并执行相关的地理空间查询操作，你掌握了吗？

　　还是 k 的相对来说他的这个速度要快一点啊，当然我们还是要配合这些 pw、 p w、 siri 的哈，先把他导到这个三点， 我们可以看一下啊，这几个哈西直都在这里啊，在这里，然后呢我们把这个直呢给他烤比到这个哈士 k 的目录下去， 特别的卡全。那么接下来呢，咱们书上呢是使用了这个 word max， 这是最简单的就是说使用字典贡献，那么接下来我们在这演示呢，就给大家演示这个暴力破解啊，暴力破解是这样的， 大家可以先用这个哈士 k 的六啊，先看一下他的黑奥，黑奥，这里面你可以看的话，第一步我们是要指明攻击模式，这个杠 a 呢是指的 ticel， 一般的 暴力破茧就是三啊，这些具体的模式呢，可以在上面可以看到啊，零的话就是这次还可以字典，那么我们是使用的三是暴力破茧啊，然后这里呢他有一层预定的自负极，他这个自负极呢，跟咱们 k 不一样，他通常需要使用一个叫做 max， 后面要跟一个嘛似个文件来做啊，跟一个嘛似个，这个嘛似个就是指明了这个大概有多少多少个字符要给自己来看一下，跟这个我们的 k 呢，一般的印象不一样，大家看这里有个嘛， 他这个这个穿线的呢，只是表明了这个每一个制服是什么样的，那么制服有多长？每一个制，每一个穿里面的每一个制服大概什么样的，那需要使用这个嘛啊，我们可以看一下这个嘛，在这个里面呢，他有一些预定义的，我们比如说给大家看一个这个八， 大家看他定义了每一种，比如说这里是一个七个八个字符的，他每一个字符大概什么样，他都自己做了一个组合，这个为什么要用这个 max 呢？主要是可能还是用来他用来制作并发，并发可以快一点啊。那么我们就定义了几个简单的 max 啊，定了两个嘛，一个是小写字母一到八，还有一个是小写字母一到六啊，一个六零，一个这个 loh。 我们来给大家看一下这个一到六的，这个相对比较简单，就是速度也比较快，适合我们演示哈， 大家看我们用这个六二零的哈，我们对刚才的三点台词做一个分析，大家看的还是比较会比较快，因为只有六个字母，他的时间比较短， 大家看啊，大概不要这个多久，大概只需要四秒钟啊，四秒钟，这个时候呢数据就出来了，数据在哪里呢？在这个 pose flie 里面， 大家看解出来两个，一个六个字母的，怕是我的，还有一个是 hello 啊，对他们对应的哈，是这个值可以改啊，可以看到这两个字，那么你只需要对应的，我们这个 就可以查一下了，是吧？这个 a 二 d 一 c 就是这个，也就郭帆是帕斯沃 l f b f 四三 c hello， 那么这个的名字吹的呢？这个有八个字母的话，那我们可以用哪个呢？用另外一个复杂一点的用这个八个，但是这种的话，如果有八个字母的话，他的速度就会很慢了，因为八个字母的话，他的时间就很要 需要的比较长，我们可以跑跑看一看啊，跑跑看一看，我们每次可以看一下他的 siri， 大家看他可以到一到八的就这么多，你看每一次大概才跑了零点七三 pro 啊， 当然了，我们如果说等很久的话，你看估计大概五分钟啊，估计大概是五分钟就可以解出来，所以说这个以一般的这个 pc 速度来讲呢，他也是比较快， 你看现在我们已经到了百分之六点几了，最后他是肯定可以破出来，就是一到八。好吧，这个就是大概的我们哈士 k 的一个基本用法啊，基本用法 我们把它退出了啊，具体的情况呢，可以看一下这个帮助了哈，大家看这个帮助啊，看这个帮助里面指明了，这个主要指明了一个哈气模式，哪一种哈气值。

　　hash map 是如何解决 hash 冲突的？首先， hash map 底层采用了数组的结构来存储数据元素，数组的默认长度是十六。当我们通过 put 方法添加数据的时候， hash map 根据 key 的 hash 值进行曲模运算， 最终保存到数组的指定位置。但是这种设计会存在 have 冲突问题，也就是两个不同 has 值得 key 最终曲模后会落到同一个数组下标，所以 hash map 引入了链式巡止法来解决 have 是冲突问题。对于存在冲突的 key， hash map 把这些 key 组成一个单向链表，然后采用尾插法把这个 key 保存到链表的尾部。另外，为了避免链表过长的尾 问题，当链表长度大于八，并且数组长度大于等于六十四的时候， hash map 会把链表转化为红黑数，从而减少链表数据查询的时间复杂度问题，提升查询性能。 最后再补充一下，解决 has 冲突问题的方法有很多，比如一在 has 法就是如果某个 has 函数产生了冲突，再用另外一个 has 进行计算，比如不容过滤器就采用了这种方法。二，开放巡止法， 就是直接从冲突的数组位置往下寻找一个空的数组下标进行数据存储，这个在 threat local 里面有使用到。三，建立公共溢出区，也就是把存在冲突的 key 统一放在一个公共溢出区里面。

　　什么叫哈西值？哈西值？ hash value， 也称为哈西马、 hash、 cold 或摘要 digest， 是由输入数据通过哈西函数计算生成的固定长度的字符串， 通常以十六禁制表示。哈西函数将不同长度的输入数据映射为固定长度的哈西值。哈西值具有以下特点，一、 唯一性。对于不同的输入数据，其哈西值几乎是唯一的，即使输入数据稍微发生改变， 产生的哈西值也将完全不同。二、不可逆性。从哈西值无法推导出原始输入数据，即使稍微更改输入数据的一个字符， 也会导致完全不同的哈西值。三、固定长度。哈西函数生成的哈西值具有固定长度。不管输入数据的长度多长 长，哈西值始终保持相同。哈西值在计算机科学中广泛应用。例如，一、数据完整性验证。通过比较原始数据的哈西值和接收到的数据的哈西值，可以验证数据是否在传输过程中被篡改。 二、密码存储，密码通常以哈吸值的形式存储在数据库中，以提高安全性。三、数字签名。通过对数据进行哈吸处理后，使用撕药对哈吸值进行签名，从而确保数据的身份验证和完整性。 总之，哈西值是一种通过哈西函数生成的固定长度字符串，具有唯一性和不可逆性的特点，在计算机科学和信息安全领域有广泛地应用。