使用sqoop导mysql表数据到hive
最近又开始学习hadoop，主要是有台40GB内存的vCenter放在那里太浪费了，搭建了一个CDH5集群，1个namenode，1个secondary namenode，3个datanode。 然后学了下怎么将mysql数据导入hive，使用的工具是sqoop。 安装mysql »
nocache在文件备份时的应用
背景介绍 我目前负责运维的一个项目，目前搭建在国内某云平台(12核28G内存)上。经过一段时间的运行，可以确定当前最大的瓶颈在于内存，平均一个进程大概需要3G内存，内存消耗最多的可能要用到16G左右，且为了节约成本，一台机器上可能有3到5个这样的进程。 这些进程所使用的数据库每三 »
perf-tools
介绍一个性能分析工具：perf-tools Brendan Gregg 大神的项目，大部分利用了ftrace来实现。需要注意的是，ftrace是在内核版本2.6.27才引入的，内核需要开启CONFIG_FTRACE及其他相关的ftrace选项。另外，如果使用3.2以下的内核版本， »
strace处理nscd服务高cpu利用率用例一则
问题： 某环境发现nscd服务(dns缓存服务)长期高cpu负载率(100%)，如下： PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND »
strace处理库链接错误用例一则
问题： 在某个suse环境下编译完php-5.4.41及memcached扩展后，执行php报错如下，且检查/var/log/php_error.log无错误输出。 # php -v Floating point exception 在/var/log/messages有如下 »
strace和ldd处理故障一则
问题：php执行脚本报错： # php /data/web/test.php Warning: odbc_connect(): SQL error: [unixODBC][Driver Manager]Can't open lib '/opt/cloudera/impalaodb »
hadoop 2.4 on centos 6.5
机器情况 角色分配 角色 主机名 ip namenode master 192.168.15.194 datanode slave1 »
iftop监控端口流量
项目中需要根据端口来收集流量，如一台服务器上有3个不同的服务，需要分别监控各个服务的进出流量。 新版本的iftop提供了文本模式的选项，适合用来做文本处理然后做统计。 iftop: display bandwidth usage on an interface by host S »
用systemtap来做系统性能分析和事件分析
用systemtap来做系统性能分析 做性能分析的前提首先是需要了解一个事件所调用的内核函数、系统调用等，并根据这些函数调用所消耗的时间去初步判断系统或业务的瓶颈，比如说简单的一个创建/删除文件，我们来分析下它所调用的内核函数 #!/bin/bash echo $$ slee »
system embedded C
systemtap支持嵌入C，这样我们就可以实现systemtap自带tapset没有提供的功能 再用上面的例子来举例，我们之前实现了可以根据inode找到d_name来打印文件名，但没有路径，可读性不高，用embedded C来实现打印一个文件的绝对路径 查看内核代码中实现打 »