`
yale
  • 浏览: 356730 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论
文章列表
HDFS几个设计特点: 1. Block的放置:默认不配置。一个Block会有三份备份,一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一Rack上的DataNode,最后一份放在与指定DataNode同一Rack上的DataNode上。备份无非就是为了数据安全 ...
因为内容较多,已经作为附件已经

hadoop分布式集群

hadoop的基础知识我就不在这里介绍了,任何有关hadoop书籍中都有非常详细的原理以及其开源框架(HDFS、Mapreduce、combiner、Partitioner等)、子项目(Hive、Hbase等)的介绍以及讲解,而这些方面的知识也不是在短期内能够了解和深入的,有一个循序渐进的过程,我这里只是针对其集群结合介绍其原理介绍,让大家更快速的对hadoop有一个了解,但也请大家意识到,会搭建集群并不代表掌握了hadoop,集群的搭建之后,会涉及到集群的深度优化、多集群、性能调优等,除了hadoop集群之外还要深入的了解他的子项目以及框架才能更好的利用Hadoop来达到最佳效果 集群网 ...
因为内容较多,已经作为附件已经
因为内容较多,已经作为附件已经
文章中相关配置虽然是在虚拟机上进行的,但是配置内容在正式环境下已经成功运行,如果在环境搭建好后出现宕机或者节点服务器重启,请核对配置是否正确,如果配置无误,请检查硬件(HBA卡等)、网络等。。因为此配置已经逐步优化过,已经在生产环境中使用,因此不会出现问题,如果出现其他问题,请留言,或者上网搜索,上述有些需要通过metalink帐号才能下载的补丁包,如果需要,请留言,其中还附带了相关的原理内容,已经配置说明(图文并茂)!
事务是一个很重要的概念,它必须满足ACID特性,在单机的数据库中,这很容易实现。但在分布式数据库中,各个表分散在各台不同的机器上,如何对这些表实施分布式的事务处理就成为一个比较困难的问题,其中两段式提交就是解决分布式事务的一种方式。 两段式提交设计本身的思路非常的容易理解,步骤如下: 1. 协调员服务器(协调员)发送一条投票请求消息给所有参与这次事务的服务器(参与者)。 2. 当一个参与者收到一条投票请求,它会向协调员发送一条响应请求消息,该响应消息包含了参与者的投票:YES 或者NO。如果参与者的消息的投票是NO,那就意味着由于某些原因,参与者不能参与这次事务,等价于收到了ABORT决定 ...
由于数据量的巨大,现在大部分的Web应用都需要部署很多个数据库实例。这样,有时候某些操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性,经典的方法是使用两阶段事 ...
一、     集群介绍 Redis的主从复制功能非常强大,一个master可以拥有多个slave,而一个slave又可以拥有多个slave,如此下去,形成了强大的多级服务器集群架构。下面是关于redis主从复制的一些特点:1.master可以有多个slave2.除了多个slave连到相同的master外,slave也可以连接其他slave形成图状结构3.主从复制不会阻塞
一、     简介 Redis是一种高级key-value数据库。它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。有字符串,链表,集 合和有序集合(list,set ,sorted set和hash)。支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。 Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);也可以把每一

JAVA垃圾回收分析

JAVA垃圾回收简介java中的内存java虚拟机自己去管理的,java的内存分配分为两个部分,一个是数据堆,一个是栈。 堆是给开发人员用的,是在JVM启动时创建,程序在运行的时候一般分配数据堆,把局部的临时的变量都放进去,生命 ...
回顾传统有必要了解传统的I/O操作的方式。以网络应用为例,传统方式需要监听一个ServerSocket,接受请求的连接为其提供服务(服务通常包括了处理请求并发送响应),下图是服务器的生命周期图,其中标有粗黑线条的部分表明 ...
此文从以下几个方面来整理关于分区表的概念及操作:        1.表空间及分区表的概念        2.表分区的具体作用        3.表分区的优缺点        4.表分区的几种类型及操作方法        5.对表分区的维护性操作. (1.) 表空间及分区表的概念表空间:是一个或多个数据文件的集合,所有的数据对象都存放在指定的表空间中,但主要存放的是表, 所以称作表空间。 分区表: 当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就会下降,这时就应该考虑对表进行分区。表进行分区后,逻 辑上表仍然是一张完整的表,只是将表中的数据在物理上存放到多个表空间(物理文件上), ...
设计的目的就是为了解决资源的申请和释放的开销增加系统压力的问题,将资源通过池的方式回收重用,有利于系统性能的提高。memcached cache client 其实是通过socket来和服务端进行通信,建立socket连接也是比较消耗时间的工作,因此设计配置池的初始连接数(initConn),最小连接数(minConn),最大连接数(maxConn)。这三者关系如下图,维护他们之间状态转移的就是后台线程。 后台进程维护资源池的作用就是将有限资源回收,例如数据库连接,如果一台oracle只有500个连接数可以支持,那么如果一个应用都占用了50个闲置,那对于其他需要资源的应用来说无疑是一种浪费。但 ...
Memcached Cache是集中式Cache,它仅仅是支持将数据能够分片分区的存储到一台或者多台的Cache Server实例中,但是这些数据并没有作冗余,因此任何一个服务实例不可用,都会导致部分缓存数据丢失。当然很多人采取持久化等方式来 ...
Global site tag (gtag.js) - Google Analytics