2012 年文章归档
共 16 篇文章
用消息队列和消息应用状态表来消除分布式事务(转载)
由于数据量的巨大,大部分Web应用都需要部署很多个数据库实例。这样,有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性,经典的方法是使用两阶段提交协议。 长期以来,分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵,很多人都不敢越雷池一步,想像没有分布式事务的世界会是怎样。如今就如MySQL和PostgreSQL这类面向低端用户的开源数据库都支持分布式事务了,开发者更是沉醉其中,不去考虑分布式事务是否给系统带来了伤害。 事实上,有所得必有所失,分布式事务提供的ACID保证是以损害系统的可用性、性能与可伸缩性为代价的。只有在参与分布…
2012-11-21 11:12 · 应用架构
对淘宝tair分布式K、V的一些理解
Tair是什么 Tair是由淘宝开发的key/value方案,系统默认支持基于内存和文件的存储引擎,对应于通常我们所说的缓存和持久化存储, 这里 可以获取更多关于tair的信息,淘宝团队介绍,Tair在淘宝有着大规模的应用,在登录淘宝、查看商品详情页面、在淘江湖和好友“捣浆糊”等等时候,后面都在直接或间接的和Tair交互。 对照表 Tair使用路由表来解决数据的路由问题。 简单的路由表包含两列,一列是hash值(我们通常称其为桶——bucket),一列是负责这个hash值的节点。比如: 0 192.168.0.1 1 192.168.0.2 2 192.168.1.1 3 192.168.1…
2012-09-23 10:18 · 开源
CA认证原理以及实现(下)
在上述的文章后了解到原理之后,我们这篇文章来进行CA的搭建。 OPEN SSL 环境搭建 在基础原理中我们提到了两种认证服务,单项认证服务和双向认证服务,我们就以双向认证服务举例说明。 OpenSSL是一个开放源代码软件包,实现了SSL以及相关加密技术,是最常用的证书管理工具,OpenSSL功能远胜于KeyTool,可用于根证书(KeyTool不含有,因此KeyTool没有办法作为CA)、服务器证书、客户证书的管理。 在OpenSSL官网下载:http:www.openssl.org/source/下载最新的源码,官网还提供了windows版的二进制发行版地址: http://www.slp…
2012-09-10 20:38 · 应用架构
CA认证原理以及实现(上)
原理基础 数字证书为发布公钥提供了一种简便的途径,其数字证书则成为加密算法以及公钥的载体,依靠数字证书,我们可以构建一个简单的加密网络应用平台,数字证书就好比我们生活中的身份证,现实中,身份证由公安机关签发,而网络用户的身份凭证由数字证书颁发认证机构—CA签发,只有经过CA签发的证书在网络中才具备可认证性,CA并不是一个单纯的防御手段,它集合了多种密码学算法: 消息摘要算法:MD5、和SHA(对数字证书本省做摘要处理,用于验证数据完整性服务器) 对称加密算法:RC2、RC4、IDEA、DES、AES(对数据进行加密/解密操作,用于保证数据保密性服务) 非对称加密算法:RSA、DH(对数据进行…
2012-09-10 20:00 · 应用架构
企业追逐的--网络热点(云、海量数据、虚拟化)(下)
云管理平台 云是IT实现,是造出来的,不是买来的。我们可以买服务器,买数据库,但买不了云,不可能说买来以后一装就行了,那就不是云了,那只能是买一个服务器,或者买一个集群,要想买一个云的是不大可能。反过来说,这个集成本身就有复杂性,所以会遇到比如说多种虚机不一样的,不同厂家的虚拟机,多种存储设备,很多API都不一样。然后物理机和虚机又混着使用,有些应用在物理机上运行,有些应用在虚机上运行,还有跟已有的应用要集成起来,所以有很多事情要做。这也是为什么会有云管理平台,云管理平台就是一个框架,这个框架是个云框架,它基本上搭建好了一个架构,就是关于云应该如何来设计,把这个架子搭建起来,然后需要把该放的…
2012-06-28 21:58 · 应用架构
企业追逐的--网络热点(云、海量数据、虚拟化)(上)
云之所以热,是因为现在以及未来市场的业务推动力(回报率),现在哪个家庭中只有一台计算机?哪个企业只有几台计算机?计算机多了就会出现耗电、占地、维修保养、商业软件升级等问题,对于家庭而且这个成本算不上什么,但是对于服务行业的企业而言,这个成本是不可估量的,所以加快信息化脚步的同时,也会无形中出现相应的负担,成本越来越高,大家都在琢磨该如何解决? 我们现在家庭中用水、用电是没有在自己家里安装发电机的,我们都是利用了统一的资源,这个交由国家统一在管理,我们 也无需去管理水是怎么来的,电是怎么来的,我们只需要每个月按照使用的量来付费即可,这是一个很好的模式,同样如果 有哪家公司能够自己创办一个这样的…
2012-06-28 21:08 · 应用架构
Terracotta Server[兵马俑]集群
Terracotta的介绍以及原理在我之前的文章中已经做了相关介绍,那么这次我们就来看看它是如何实现集群的。 测试代码编写 我们首先写一个demo,该demo在没有terracotta的环境下执行一次,看看结果 我们首先先写一个简单的多线程代码(我们这个例子制定共享TerracottaDemo类的demo对象,它包含的count和yale对象也就随之被整个集群共享了): package yale.terracotta.demo; public class TerracottaDemo implements Runnable { private static TerracottaDemo de…
Terracotta设计原理分析--(部分内容来自官方描述)
因为工作中历史产品采用了terracotta作为分布式缓存线性扩展平台,因此不得不提前对其原理做了相关了解,当然其中很多的设计思想和oracle、memcached的设计相似,但也有自己的亮点,那就是JVM的懒加载细粒度拷贝以及线性扩展,使得序列化对象消耗大大降低,提高CPU使用率以及内存无缝线性扩展。 我在研究terracotta的时候,没有急于去尝试环境搭建以及demo实现,首先我去了解了一下为什么之前产品为什么会选型使用它、它是什么、能做什么、和其他相似的技术相比有什么优势,最后才做了相关的demo验证,以及相关产品中的调优,那么现在让我们来揭开它的面纱吧(文章内容从官方、网络、公司资…
2012-05-25 23:47 · 开源
分布式事务设计-三段式提交
前面的文章提到的两段式提交,已经能够很好得解决分布式事务了,然而两阶段在即使只有一个进程发生故障时(协调员发生故障了),那么整个系统中也会存在较长时间的block(参与者进程需要block直至协调员恢复,或者与其他参与者进程进行协同终止协议,直至获得决定)。但如果只有个别进程发生故障,就要长时间得被block住这就令人无法忍受,这个block时间能否减少。于是,3段式提交设计出现。在实际应用中,由两阶段引起的block的情况很少见,因此即使被block住了,时间稍微长一点的block开销也是可以接受的。因此两阶段是实际系统中经常被采用的方法。但三阶段作为一种理论上的设计也很有借鉴意义。 三阶…
2012-05-25 20:24 · 应用架构
HDFS框架中便于借鉴的设计
HDFS几个设计特点: 1. Block的放置:默认不配置。一个Block会有三份备份,一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一Rack上的DataNode,最后一份放在与指定DataNode同一Rack上的DataNode上。备份无非就是为了数据安全,考虑同一Rack的失败情况以及不同Rack之间数据拷贝性能问题就采用这种配置方式。 2. 心跳检测DataNode的健康状况,如果发现问题就采取数据备份的方式来保证数据的安全性。 3. 数据交验:采用CRC32作数据交验。在文件Block写入的时候除了写入数据还会写入交验信息,在读取的时候需要交验…
2012-05-25 14:03 · 开源
hadoop分布式集群
hadoop的基础知识我就不在这里介绍了,任何有关hadoop书籍中都有非常详细的原理以及其开源框架(HDFS、Mapreduce、combiner、Partitioner等)、子项目(Hive、Hbase等)的介绍以及讲解,而这些方面的知识也不是在短期内能够了解和深入的,有一个循序渐进的过程,我这里只是针对其集群结合介绍其原理介绍,让大家更快速的对hadoop有一个了解,但也请大家意识到,会搭建集群并不代表掌握了hadoop,集群的搭建之后,会涉及到集群的深度优化、多集群、性能调优等,除了hadoop集群之外还要深入的了解他的子项目以及框架才能更好的利用Hadoop来达到最佳效果 集群网络…
2012-04-05 19:31 · 开源
oracle10gRAC+Data Guard环境配置以及原理说明(非常详细)
文章中相关配置虽然是在虚拟机上进行的,但是配置内容在正式环境下已经成功运行,如果在环境搭建好后出现宕机或者节点服务器重启,请核对配置是否正确,如果配置无误,请检查硬件(HBA卡等)、网络等。。因为此配置已经逐步优化过,已经在生产环境中使用,因此不会出现问题,如果出现其他问题,请留言,或者上网搜索,上述有些需要通过metalink帐号才能下载的补丁包,如果需要,请留言,其中还附带了相关的原理内容,已经配置说明(图文并茂)!
2012-04-05 19:07 · oracle数据库
分布式事务设计-两段式提交
事务是一个很重要的概念,它必须满足ACID特性,在单机的数据库中,这很容易实现。但在分布式数据库中,各个表分散在各台不同的机器上,如何对这些表实施分布式的事务处理就成为一个比较困难的问题,其中两段式提交就是解决分布式事务的一种方式。 两段式提交设计本身的思路非常的容易理解,步骤如下: 1. 协调员服务器(协调员)发送一条投票请求消息给所有参与这次事务的服务器(参与者)。 2. 当一个参与者收到一条投票请求,它会向协调员发送一条响应请求消息,该响应消息包含了参与者的投票:YES 或者NO。如果参与者的消息的投票是NO,那就意味着由于某些原因,参与者不能参与这次事务,等价于收到了ABORT决定,…
2012-02-08 17:16 · 应用架构