y.a.l.e
yale · 共 55 篇文章
HDFS框架中便于借鉴的设计
HDFS几个设计特点: 1. Block的放置:默认不配置。一个Block会有三份备份,一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一Rack上的DataNode,最后一份放在与指定DataNode同一Rack上的DataNode上。备份无非就是为了数据安全,考虑同一Rack的失败情况以及不同Rack之间数据拷贝性能问题就采用这种配置方式。 2. 心跳检测DataNode的健康状况,如果发现问题就采取数据备份的方式来保证数据的安全性。 3. 数据交验:采用CRC32作数据交验。在文件Block写入的时候除了写入数据还会写入交验信息,在读取的时候需要交验…
2012-05-25 14:03 · 开源 · 评论(0)
hadoop分布式集群
hadoop的基础知识我就不在这里介绍了,任何有关hadoop书籍中都有非常详细的原理以及其开源框架(HDFS、Mapreduce、combiner、Partitioner等)、子项目(Hive、Hbase等)的介绍以及讲解,而这些方面的知识也不是在短期内能够了解和深入的,有一个循序渐进的过程,我这里只是针对其集群结合介绍其原理介绍,让大家更快速的对hadoop有一个了解,但也请大家意识到,会搭建集群并不代表掌握了hadoop,集群的搭建之后,会涉及到集群的深度优化、多集群、性能调优等,除了hadoop集群之外还要深入的了解他的子项目以及框架才能更好的利用Hadoop来达到最佳效果 集群网络…
2012-04-05 19:31 · 开源 · 评论(0)
oracle10gRAC+Data Guard环境配置以及原理说明(非常详细)
文章中相关配置虽然是在虚拟机上进行的,但是配置内容在正式环境下已经成功运行,如果在环境搭建好后出现宕机或者节点服务器重启,请核对配置是否正确,如果配置无误,请检查硬件(HBA卡等)、网络等。。因为此配置已经逐步优化过,已经在生产环境中使用,因此不会出现问题,如果出现其他问题,请留言,或者上网搜索,上述有些需要通过metalink帐号才能下载的补丁包,如果需要,请留言,其中还附带了相关的原理内容,已经配置说明(图文并茂)!
2012-04-05 19:07 · oracle数据库 · 评论(0)
分布式事务设计-两段式提交
事务是一个很重要的概念,它必须满足ACID特性,在单机的数据库中,这很容易实现。但在分布式数据库中,各个表分散在各台不同的机器上,如何对这些表实施分布式的事务处理就成为一个比较困难的问题,其中两段式提交就是解决分布式事务的一种方式。 两段式提交设计本身的思路非常的容易理解,步骤如下: 1. 协调员服务器(协调员)发送一条投票请求消息给所有参与这次事务的服务器(参与者)。 2. 当一个参与者收到一条投票请求,它会向协调员发送一条响应请求消息,该响应消息包含了参与者的投票:YES 或者NO。如果参与者的消息的投票是NO,那就意味着由于某些原因,参与者不能参与这次事务,等价于收到了ABORT决定,…
2012-02-08 17:16 · 应用架构 · 评论(2)
替代分布式事务策略
由于数据量的巨大,现在大部分的Web应用都需要部署很多个数据库实例。这样,有时候某些操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性,经典的方法是使用两阶段事务提交(我的blog中已经提到过),现在MySQL和PostgreSQL这类面向低端用户的开源数据库都支持分布式事务了,开发者泪在其中的同时,却没有考虑分布式事务是否给系统带来了伤害。 分布式事务提供的原则保证是以损害系统的可用性、性能与可伸缩性为代价的。只有在参与分布式事务的各个数据库实例都能够正常工作的前提下,分布式事务才能够顺利完成,只要有一个工作不正常,整个事务就不能完成。这样,系统…
2011-06-10 19:59 · 应用架构 · 评论(3)
redis的主从复制配置
一、 集群介绍 Redis的主从复制功能非常强大,一个master可以拥有多个slave,而一个slave又可以拥有多个slave,如此下去,形成了强大的多级服务器集群架构。下面是关于redis主从复制的一些特点: 1.master可以有多个slave 2.除了多个slave连到相同的master外,slave也可以连接其他slave形成图状结构 3.主从复制不会阻塞master。也就是说当一个或多个slave与master进行初次同步数据时,master可以继续处理client发来的请求。相反slave在初次同步数据时则会阻塞不能处理client的请求。 4.主从复制可以用来提高系统的可伸…
2011-04-28 22:24 · 开源 · 评论(0)
redis jredis jedis 使用
一、 简介 Redis是一种高级key-value数据库。它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。有字符串,链表,集 合和有序集合(list,set ,sorted set和hash)。支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。 Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);也可以把每一次数据变化都写入到一个里面(这称为“全持久化模式”),本来可以采用memcache,但是memcache的 value只包括st…
2011-04-28 18:53 · 开源 · 评论(2)
JAVA垃圾回收分析
JAVA垃圾回收简介 java中的内存java虚拟机自己去管理的,java的内存分配分为两个部分,一个是数据堆,一个是栈。 堆是给开发人员用的,是在JVM启动时创建,程序在运行的时候一般分配数据堆,把局部的临时的变量都放进去,生命周期和进程有关系,在堆中分配的内存由java虚拟机的自动垃圾回收器来管理,堆内存用来存放由new创建的对象和数组。 栈是留给JVM自己用的,用来存放类的信息的,它和堆不同,运行期内GC不会释放空间,当超过变量的作用域后,java会自动释放掉为该变量所分配的内存空间: 1、如果程序声明了static的变量,就直接在栈中运行的,进程销毁了,不一定会销毁static变量。…
2011-04-23 12:17 · 开源 · 评论(2)
你还在用IO吗?
回顾传统 有必要了解传统的I/O操作的方式。以网络应用为例,传统方式需要监听一个ServerSocket,接受请求的连接为其提供服务(服务通常包括了处理请求并发送响应),下图是服务器的生命周期图,其中标有粗黑线条的部分表明会发生I/O阻塞。 ServerSocket server=new ServerSocket(10000); //接受新的连接请求 Socket newConnection=server.accept(); //对于accept方法的调用将造成阻塞,直到ServerSocket接受到一个连接请求为止。一旦连接请求被接受,服务器可以读客户socket中的请求。 InputSt…
2011-04-01 11:19 · JDK记录 · 评论(0)
oracle分区表
此文从以下几个方面来整理关于分区表的概念及操作: 1.表空间及分区表的概念 2.表分区的具体作用 3.表分区的优缺点 4.表分区的几种类型及操作方法 5.对表分区的维护性操作. (1.) 表空间及分区表的概念 表空间: 是一个或多个数据文件的集合,所有的数据对象都存放在指定的表空间中,但主要存放的是表, 所以称作表空间。 分区表: 当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就会下降,这时就应该考虑对表进行分区。表进行分区后,逻 辑上表仍然是一张完整的表,只是将表中的数据在物理上存放到多个表空间(物理文件上),这样查询数据时,不至于每次都扫描整张表。 ( 2).表分区的具体…
2011-03-30 11:12 · oracle数据库 · 评论(0)
Memcached缓存客户端连接池设计
设计的目的就是为了解决资源的申请和释放的开销增加系统压力的问题,将资源通过池的方式回收重用,有利于系统性能的提高。memcached cache client 其实是通过socket来和服务端进行通信,建立socket连接也是比较消耗时间的工作,因此设计配置池的初始连接数(initConn),最小连接数(minConn),最大连接数(maxConn)。这三者关系如下图,维护他们之间状态转移的就是后台线程。 后台进程维护资源池的作用就是将有限资源回收,例如数据库连接,如果一台oracle只有500个连接数可以支持,那么如果一个应用都占用了50个闲置,那对于其他需要资源的应用来说无疑是一种浪费。…
2011-03-19 12:35 · 开源 · 评论(0)
缓存客户端集群
Memcached Cache是集中式Cache,它仅仅是支持将数据能够分片分区的存储到一台或者多台的Cache Server实例中,但是这些数据并没有作冗余,因此任何一个服务实例不可用,都会导致部分缓存数据丢失。当然很多人采取持久化等方式来保证数据的完整性,但是这种方式对于效率以及恢复的复杂性都会有影响。 简单的来想,为什么不把数据在多保存一份或者多份呢,当其中一份不可用的情况下,就用另外一份补上。这就是最原始的Cache Client Cluster的构想。 这张图上需要注意四个角色:web应用程序(使用Cache的应用),缓存集群(Cache配置的虚拟集群),缓存节点(Cache的虚拟…
2011-03-18 17:12 · 应用架构 · 评论(0)