luoshi0801的博客
luoshi0801 · 共 27 篇文章
值得推荐的研发工具
好的开源框架、工具应该广泛分享,不仅可以大大提高企业效率,反过来也能促进这些工具的优化升级~ 自动化部署: rundeck http://rundeck.org/ 简单数据分析/报表工具: easyreport https://github.com/xianrendzw/EasyReport/
2017-04-12 10:48 · 开源框架 工具 · 评论(0)
技术人员层级描述
层级 特征描述 技能 初级 能在一定的指导下完成日常工作。 1、程序设计和开发(I) 2、工作中需用到的Java开发的技术点(I) 3、工作中需用到的Web开发的技术点(I) 4、工作中需要用到的数据库技术点(I) 中级 能独立完成日常工作,并能够对一些方案提出自己的建议。 1、程序设计和开发(II) 2、工作中需用到的Java开发的技术点以及相关的其他技术点(II) 3、工作中需用到的Web开发的技术点以及相关的其他技术点(II) 4、工作中需要用到的数据库技术点以及相关的其他技术点(II) 5、运维能力(I) 高级 能独立解决问题,制定系统的实现方案。 除中级的技能外,还需 1、架构设计…
2017-02-16 14:47 · java技术 · 评论(0)
java技能模型
Java技术人员岗位模型 *I为了解;II为熟练;III为精通 岗位设置目的 岗位职责 初级工程师 中级工程师 高级工程师 资深工程师 架构师 项目管理 给自己的开发工作内容制定细分的的开发计划 √ √ 制定项目中开发计划,控制整个开发的进度 √ √ 在项目中,协调与其他技术部门在开发上的接口,确定方案 √ √ 业务支持 为商业需求提供技术可行性分析报告 √ √ √ 为其他业务部门提供数据提取支持 √ √ √ 需求 参于需求讨论,同产品设计师充分沟通,并为其提供技术解决方案 √ √ √ 参与需求确认与评审,并且提出自己的建议 √ √ √ 设计 编写项目的《概要设计》与《详细设计说明书》 √ …
2017-02-16 14:36 · java技术 · 评论(0)
日志agent解决方案
logagent是部署在每台服务器上的一个deamon进程,起着日志数据的传输通道。对外提供http服务拉取日志,结构如下: 其中, filter:请求过滤器,负责访问源解析统计,权限认证等 container:包含了正在访问的文件句柄集合,当日志滚动文件名变更发生时可以防止错误定位 handler:获取日志数据的处理器,采用偏移量随机读取的方式 storer:保存用户成功获取的文件位点信息 1.长链接 vs 短链接 http1.1默认支持长链接,避免重复建立连接带来的性能消耗。但长链接会占用系统资源,在大量请求时存在隐患,故选择短链接方式,即关闭http中的keep-alive 2.请求规…
redis实践-cluster搭建
redis3开始支持cluster集群模式,解决单点的瓶颈问题,本文以3.0.3为例搭建并测试cluster集群 搭建步骤 一.安装ruby a) wget https://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz b) tar -xvzf ruby-2.2.3.tar.gz c) cd ruby-2.2.3 d) ./configure e) make d) make install 二.安装rubygems & ruby redis a) yum install rubygems b) gem install redis 上述过…
2015-09-17 10:22 · 中间件 · 评论(0)
Disruptor封装
在数据交换场景,disruptor受到越来越多的欢迎。下面是将原生disruptor封装成queue模型的代码,供参考 抽象类Disruptor,提供pull、take等接口 import com.lmax.disruptor.EventHandler; import com.lmax.disruptor.InsufficientCapacityException; import com.lmax.disruptor.WaitStrategy; import com.lmax.disruptor.dsl.ProducerType; public abstract class Disrupto…
2015-07-24 11:28 · 开源框架 · 评论(0)
技术编码规范
最近为公司整理了下技术编码规范,主要是统一下研发风格并从长远看提高整个团队的工作效率。如下: 一、Git工程 1.1 使用maven创建依赖工程,上传到公司git库 http://10.1.xx.xx:8080/groups/koudai ,初创者拥有owner权限,相关开发developer,其它一律guest 1.2 工程结构,以dump-consle子工程为例 src/filters:工程配置目录,一般包括线上配置prod.properties和日常配置daily.properties src/main/java:代码目录 src/main/resource:工程资源目录,包括bean…
2015-06-23 13:48 · 技术方法 · 评论(0)
消息队列
最近在公司调研消息中间件,参考metaq设计总结了需要focus的点 1 项目背景 消息队列作为中间件核心的产品,在电商平台体系中扮演着异构系统解耦、数据同步等极其重要的作用,目前公司采用了开源的rabbitMq,存在以下几个问题: (1) erlang语言,学习成本高,出现问题难以把控,基本是黑盒 (2) 消息数据的完整性、实时性无法得到保障 (3) 不支持批量操作,吞吐量不高 (4) 对事务支持薄弱,难以使用 (5) 负载、水平扩展、消息堆积、容灾恢复等有待验证 基于上述原因,为更好服务满足业务发展,也为相关技术储备和沉淀,vq项目应运而生(其中v指代微店,q即消息队列messageQu…
2015-05-29 16:53 · 中间件 · 评论(0)
jstorm
Jstorm 是参考storm的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用 作为commiter和user,我还是非常看好它的应用前景,下面是在团队内的分享介绍,更多请参考 https://github.com/alibaba/jstorm 一、jstorm是什么 jstorm可以看作是 storm 的java增强版本,除了内核用纯java实现外,还包括了thrift、python、facet ui。从架构上看,其本质是一个基于zk的分布式调度系统 Jstorm主要应用场景有: 1.信息流处理,如聚合、分析等 2.持续计算,如实时数据…
2014-12-20 18:26 · 开源框架 · 评论(3)
搜索技术架构
年初加入搜索组到现在快一年过去了,期间有幸经历了团队由小变大、系统从若变强的原始积累过程,回顾下走过来的技术体系,也算是年终总结 搜索支撑的业务线包括商品、店铺、订单、用户等大大小小20多个,双11期间搜索量在2亿/天,实体服务器超过100台。按功能分为分布式实时引擎、dump中心、数据分析和运维平台几大块 dump中心 , 实质是根据实例搜索与展现的需求将数据库中相关字段组装成document,并生成索引替换上线的过程。我们的dump分为全量和增量模式。 全量模式,依赖hadoop的批处理方式流程如下 (1)将业务涉及到的db数据表加载到hdfs上,db表的每天快照对应hive上的一个日期…
2014-12-19 22:05 · 开源框架 · 评论(0)
tlog宣讲ppt
http://dl2.iteye.com/upload/attachment/0093/6776/433dc11e-4df4-3776-b75d-e7f0f26d01f8.swf
2014-02-09 00:18 · 技术方法 · 评论(0)
groovy和java结合的常用两种使用方式
groovy是基于JVM的一种敏捷动态语言,可以在不改动正在运行着程序的情况下为系统动态增加特性 方法一:通过类加载 import groovy.lang.Binding; import groovy.lang.GroovyClassLoader; import groovy.lang.Script; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.util.HashMap; import java.util.List; impor…
2014-01-26 15:30 · java技术 · 评论(0)
hadoop如何封装shell脚本
package com.taobao.hsf.tlog.config.shell; import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.io.InputStreamReader; import java.util.Map; import org.slf4j.Logger; import org.slf4j.LoggerFactory; abstract class Shell { public static class ShellCommandExecutor …
2014-01-26 15:11 · hadoop相关 · 评论(0)