学习科技理念,提升生活品质,追求思想自由之路

0%

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase、mongo中,长期数据进入 hadoop 中存储。 接下来打算将这其间所遇到的问题、学习到的知识记录整理下,作为备忘,作为分享,带给需要的人。

淘宝开源了许多产品组件,其中包括这鼎鼎有名的 jstorm ,也就是我们采用的分布式实时处理框架,至于为什么,请看《为什么选择Jstorm》。这篇文章只介绍 Jstorm 整个集群的搭建过程,并提供一键安装部署脚本,方便其它使用的人员(搭建环境是一件头疼的事情,费时、费力)。

这是 Jstorm 的介绍PPT:(slideshare PPT 分享服务在大陆是被墙的,不能科学上网?查看使用shadowsocks服务享受自由网络学习方法)

Read more »

近期时间安排的不是太合理,导致全线开工很多事情,有些忙不过来,本打算好要写的几篇文章也一直没有动笔,先把这几篇文章记录下来,后续尽量每天一篇发上来。

  • ixirong.com 的建站流程,包括使用的方案、网站的监控、域名申请机备案等 2015-05-17 已经完成,详细请看使用 github Pages 服务建立 ixirong.com 独立博客全过程
  • 大型网站的进化流程的 xmind 分享,阅读完毕后,我进行了思维导图的整理,觉得对人应该是有些帮助的,可以看看
  • intellig idea 开发工具使用技巧,自从转到Java平台,从使用上也有了些心得,分享出来
  • 最近在做的实时日志统计,打算写个系列,作为自己工作的总结,也给需要的朋友们一个可以阅读学习的东西 2015-05-12 已经开始整理,查看请搜索分布式实时日志系统环境搭建
  • mac iosx 系统效率提升工具集合,一些自己正在使用的,的确有明显效率提升的工具集合

最近开始慢慢去尝试自己想到的东西,比如 公益 就是其中的一件,这两天在挑选月捐活动的时候看到了“2015腾讯益行家古长城公益挑战塞”的活动,感觉挺好,号召大家一起来做公益这件事,虽然1元钱在你的手中是那么的渺小,不值得一提,可这些小小的资金汇聚起来就是巨大的力量,能帮助那些需要帮助的人,可以参见我的一篇文章《为什么要参与公益事业?

Read more »

公益是什么

公益是个人或组织自愿通过做好事、行善举而提供给社会公众的公共产品。在这里,做好事、行善举是对个人或组织行为的价值判断;行动的结果是向非特定的社会成员提供公益产品。

公益活动是现代社会条件下的产物,是公民参与精神的表征。公益活动要生产出有利于提升公共安全、有利于增加社会福利的公共产品。在组织公益活动时,要遵循公德、符合公意,努力形成参与者多赢共益的良好氛围。因而,公益活动至少应包含公民、公共、公德、公意和共益等五个要素。

为什么参与

在我长大的过程中,有无数的人帮助过我,那个时候我就想着将来一定要回报他人,帮助更多需要帮助的人,这可以说是我想法的雏形。以前,在电视上看到哪个明星又捐钱了,我嗤之以鼻,总感觉是在作秀,是在为自己名声宣传,随着年龄的增长,慢慢的理解了成龙的那句话 “一开始做慈善真的有宣传的成分,别人都在做,自己不做不好,可是做着做着就发现这是一个值得一生做下去的使命,尽力帮助那些需要帮助的人”,人的思想是在成长的,有些东西真的只有在一些经历后才能理解体会。

Read more »

当我知道了zsh,并体验了5分钟的时候,我决定将zsh作为我的默认 shell 终端。为什么?效率提高实在是太简单啦!
从这里你可能也就知道了zsh是 shell 的一种,当然还包括目前估计是你默认的bash ,输入下面的命令,就能看到你的系统中提供了多少的 shell :

1
cat /etc/shells

前人已经有好多使用zsh的,所以这类的文章也很多,包括怎么安装、使用技巧等等,请看:

Read more »

Application_End事件在HttpApplication 类的最后一个实例被销毁时被触发,在一个应用程序的生命周期内它只被触发一次,那么在什么情况下会导致该事件的触发呢?

一、Application_End 事件触发时间/机制

1、回收应用程序池会导致站点重启,记录的原因是如下:

1
  HostingEnvironment initiated shutdown HostingEnvironment caused shutdown
Read more »

Godaddy申请的域名怎么样备案?不在国内申请的域名能不能备案?为什么一定要备案?自己就写个个人博客,不备案不行吗?这几个问题是当我开始运营独立博客的时候,遇到的困惑,我在网络上疯狂的找资料,却没有发现有一篇文章能够清楚的说明些问题,当然如果你已经很熟悉备案的整个事情,那么这篇文章不适合你看,没必要浪费你的时间!

一、什么是备案?

来自百度百科的解释 http://baike.baidu.com/view/33319.htm

网站备案是指向主管机关报告事由存案以备查考。行政法角度看备案,实践中主要是《立法法》和《法规规章备案条例》的规定。网站备案的目的就是为了防止在网上从事非法的网站经营活动,打击不良互联网信息的传播,如果网站不备案的话,很有可能被查处以后关停。

Read more »

mac 下编程 Java 环境搭建 jdk1.7 +sdk1.7+maven +tomcat

(文章主要目的是新入手mac的人对mac下的目录结果不了解,网络上也很少有这样子的文章,新人对mac下Java环境的搭建会浪费很多时间。如有不当的地方,请指正或者修改下)

环境依赖:

  1. 开发工具 idea 14 破解工具见百度网盘或者 eclipes
  2. 下载mac版专用的jdk*.dmg文件双击即可安装,地址如下:jdk7 https://jdk7.java.net/download.html (jdk8下载地址),或者下载se的版本:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 或者直接下载地址-jdk-7u79-macosx-x64.dmg
  3. 下载sdk7 java-ee-sdk7 http://www.oracle.com/technetwork/java/javaee/downloads/index.html (java-se-sdk8)
  1. 下载 maven http://maven.apache.org/download.cgi 和 tomcat http://tomcat.apache.org/ (注意版本对应jdk7对应tomcat7,jdk8对应tomcat8)

安装过程:

  1. 先安装 jdk (自带了jre 就没有必要安装了),才能安装 sdk,mac 中 jdk1.7 的默认位置:/Library/Java/JavaVirtualMachines/jdk1.7.0_40.jdk/Contents/Home,如果不在这里使用 which java 命令查看下安装到了哪里
  2. 安装 sdk7

错误解决
安装sdk错误:This program requires DISPLAY environment variable
解决: vim ~/.bash_profile 添加 export DISPLAY=:0 即可

环境配置Java+maven+tomcat环境

1.配置JAVA_HOME:
用户目录下 vim ~/.bash_profile(如果没有这个文件可以自己创建一个),MAVEN_HOME 和 JAVA_HOME 都是你的安装目录,如果不知道安装到了哪里,使用which命令查看,例如 “which java ”

1
2
3
4
5
6
7
8
MAVEN_HOME=/Users/taoyutong/Documents/apache-maven-3.0.5
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_40.jdk/Contents/Home
PATH=$MAVEN_HOME/bin:$PATH
PAHT=$JAVA_HOME/bin:$PAHT

export MAVEN_HOME
export JAVA_HOME
export PATH

保存退出即可。
立即生效需要执行:$ source .bash_profile(这是文件名)

1
2
3
4
# mac下的配置文件
./etc/profile 文件 全局共有配置,无论哪个用户登录,都会读取此文件
/etc/bashrc (一般在这个文件中添加系统级环境变量)全局(公有)配置,bash shell执行时,不管是何种方式,都会读取此文件。
~/.bash_profile (一般在这个文件中添加用户级环境变量)

2.配置Tomcat:
进入用户目录,编辑.bash_profile

1
2
3
4
5
vim ~/.bash_profile
# 增加如下:
export PATH=$PATH:/usr/local/apache-tomcat-8.0.9/bin
# 设置startup.sh文件的权限
chmod 755 /usr/local/apache-tomcat-8.0.9/bin/*.sh

测试:

  • 启动tomcat
    sh startup.sh
  • 测试
    可以使用:http://localhost:8080 ,看到tomcat的默认页面即可
  • 停止tomcat
    sh shutdown.sh

这步可以不用,这是用来给tomcat添加管理员使用的
vim /usr/local/apache-tomcat-7.0.55/conf/tomcat-users.xml

1
2
3
4
5
6
7
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-script"/>
<role rolename="manager-jmx"/>
<role rolename="manager-status"/>
<user username="admin" password="admin" roles="manager-gui,manager-script,manager-jmx,manager-status,admin-script,admin-gui"/>

3.配置maven
解压下载的zip包 apache-maven-3.2.5-bin.tar.gz 到一个目录,比如 /usr/local/ ,将里面包含setting.xml备份下,使用网站专用的setting.xml来替换;maven 最重要的需要把setting.xml文件配置对,比较关键的是使用的用户目录,mac默认是 ~/.m2 文件,对应的需要将 网站专用setting.xml文件复制到 ~/.m2/下;
关于maven的setting.xml文件有两个,一个是maven安装目录下的,是全局的配置,这台机器上的所有用户都使用,另一个是 ~/.m2/下的,这个是用户级别的配置:

1
2
3
4
5
6
vim ~/.bash_profile
MAVEN_HOME=/Users/taoyutong/Documents/apache-maven-3.0.5
PATH=$MAVEN_HOME/bin:$PATH

export MAVEN_HOME
export PATH

保存退出即可。
立即生效需要执行:$ source ~/.bash_profile(这是文件名)

IDE中setting中关于tomcat和maven的设置,去关注下,如果需要修改就修改下,否则可能会有问题;

到这里,整个Java环境就配置问了,可以建立项目来测试下,参考下:
IntelliJ IDEA 12 创建 Maven 管理的 Java Web项目 http://blog.csdn.net/zht666/article/details/8673609

OSX 系统介绍

OSX 是苹果公司为Mac系列产品开发的专属操作系统,基于 UNIX 系统,处处体现着简洁的宗旨。从 PC 过渡到 Mac,建议先了解 OS X 系统,你就会知道OS X 比 Windows 先进了多少,高度的安全,简单易用,操作方便,让你在 Magic TracPad 触控板和 Magic Mouse 触控鼠标上尽情Mouti-touch。建议先看看张宁博写的《Mac操作说明 完全指南》来了解OS X,非常详细,这本书能让初学者在一天之内对OS X了如指掌,百度网盘:http://pan.baidu.com/share/link?shareid=3590577445&uk=19629232

在我们常用的 window 系统上,你已经习惯了使用 office 来办公处理,射手来看电影,winzip 来压缩解压缩文件,ps 进行图片处理等等,那么在 mac 下面,要进行同样的操作,应该使用什么样子的软件呢? 威锋网进行了汇总《OSX 常用装机软件》,新手值得看看 !

macx 论坛上面有个网友耗费一年多时间写的一篇文章 [原创]MAC系统使用教程,从零到高手!必备软件合集 适合刚刚从window转换过来,或者还没有开始使用mac,对mac有很多疑问的人来看一看。

池建强老师写过的一篇文章,开始使用Mac OS X——写给Mac新人

mac 下常用网站、资料推荐,高效率方式方法推荐

我的终端背景

一、分布式文件系统 FastDFS 架构解析

FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件,许多大型互联网公司包括几个大的云网盘都在使用,感兴趣的可以了解下。

FastDFS 项目地址 :http://code.google.com/p/fastdfs/
分布式文件系统FastDFS架构剖析 : http://blog.csdn.net/MONKEY_D_MENG/article/details/6038133
作者余庆对 fdfs 做的介绍PPT FastDFS介绍_余庆.ppt

二、安装配置过程

1. 概述

包位置:/home/tester/fdfs/FastDFS/

192.168.9.92 nginx模块 ,tracker ,storage
192.168.9.93 storage
192.168.9.94 storage

Read more »