meng_philip的博客_Java,高性能,rpc,搜索引擎,分布式,php,java,mysql(8)_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 25年5月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

Kafka剖析（一）：Kafka背景及架构介绍

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建背景Kafka是

服务器
访问量
管道
LinkedIn
kafka
周期性
转载 精选 2015-03-17 11:29:04 415 阅读

RocketMQ与Kafka对比（18项差异）评价版

RocketMQ与Kafka对比（18项差异）2015-02-28王启军奔跑中的蜗牛此文是rocketmq作者vintage.wang所写，对于每项对比，后面都增加了我的观点，有不对的地方，请各位指出。淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Ka

中间件
消息队列
阿里集团
Kafka
RocketMQ
淘宝交易
转载 精选 2015-03-12 12:51:49 10000+阅读

360消息系统RPC基础库迭代

360消息系统RPC基础库迭代引文：    消息系统内部各服务的通信，是依赖于RPC调用串联起来的。RPC框架的易用性，性能，开销决定了整个系统的开发的灵活性，整体性能     和负载上限。因此对于这样一个基础库，硬性要求一定是稳定高效易用的，一旦整个系统使用，除非必要不做影响应用层的修改。   &

接口
开发
应用层
起点
RPC 模型设计
转载 精选 2015-03-12 12:33:36 1377 阅读

大型电子商务网站架构之-前端优化

1           前端优化必要性随着互联网的发展，前端优化越来越被人们重视，在一个大型的大型电子商务网站技术架构中，前端架构一定是一项必不可少的工作，国内几个大型的互联网公司也有非常强大的前端技术人员。在业界享有名气淘宝 UED团队就有好几十人。在浏览器访问一个网站时，有&

Google
浏览器
互联网
电子商务
下载页面
转载 精选 2015-03-12 12:31:37 314 阅读

网站的架构与优化[价值十万块的课程]

一般网站的架构缓存失败的结构：优化方式一：动静分离根据数据有效期分别拉取数据 –商品常规数据为非及时数据 –现存库存因下单扣减为及时数据非及时性数据走CDN（各级缓存）及时数据要注意缓存和读取效率 –及时数据也要有缓存 –注意逐级漏斗的衰减情况优化方式二：按需加载按时段按屏数按显示数据 –用户需要看到的时候才加载优化方式三：逐级缓存业务允许的范围内

网站架构 优化
转载 精选 2015-03-12 12:29:51 314 阅读

分布式任务分发框架Gearman教程和PHP实现实例

1、Gearman介绍和使用场景Gearman是一个分发任务的程序框架，可以用在各种场合，与Hadoop相 比，Gearman更偏向于任务分发功能。它的任务分布非常简单，简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片 resize功能，由于图片resize需要消耗大量计算资源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面。通常，多语言多系统

分布式任务分发框架 Gearman
转载 精选 2015-03-12 12:17:05 732 阅读

宋琦:PHP在微博优化中的“大显身手”

2013中国软件开发者大会（以下简称SDCC）于8月30-31日在北京新云南皇冠假日酒店举办。作为CSDN和《程序员》杂志倾力打造、千人规模以上的顶级技术盛会，今年SDCC 2013以“软件定义未来”为主题，来自于国内外一线的技术精英，就大数据分析与BI、架构实践、研发管理、IT基础设施与运维、产品与设计、开放平台等专题和参会者进行了深入的分享和探讨。此外，32小时编程马拉松、CTO论道

weibo php
转载 精选 2015-03-11 22:02:07 341 阅读

使用HAProxy、PHP、Redis和MySQL支撑每周10亿请求

在公司的发展中，保证服务器的可扩展性对于扩大企业的市场需要具有重要作用，因此，这对架构师提出了一定的要求。Octivi联合创始人兼软件架构师Antoni Orfin将向你介绍一个非常简单的架构，使用HAProxy、PHP、Redis和MySQL就能支撑每周10亿请求。同时，你还能了解项目未来的横向扩展途径及常见的模式。状态服务器3个应用程序节点2个MySQL+1个备份2个Redis应用程序应用程序

服务器
应用程序
创始人
压力测试
php haproxy redis 可扩
转载 精选 2015-03-11 21:58:24 379 阅读 1点赞

PHP中级篇:Apache配置httpd-vhosts虚拟主机总结及注意事项【OK】

经常使用Apache虚拟主机进行开发和测试，但每次需要配置虚拟主机时都习惯性的ctrl+c和ctrl+v，这次由于重装系统，需要配置一个新的PHP开发环境虚拟主机，于是总结一下Apaceh配置httpd-vhosts虚拟主机使用方法和步骤，便于查找和使用。开发环境：WAMP网址：http://www.wampserver.com/en/实例一，Apaceh配置localhost虚拟主机步骤1，用记

虚拟主机
开发
记事本
localhost
习惯性
转载 精选 2015-03-11 18:09:45 258 阅读

Bigpipe:一种新的页面加载技术

BigPipe是一个重新设计的基础动态网页服务体系,也是一种新的页面加载技术。大体思路是，分解网页成叫做Pagelets的小块，然后通过Web服务器和浏览器建 立管道并管理他们在不同阶段的运行。这是类似于大多数现代微处理器的流水线执行过程：多重指令管线通过不同的处理器执行单元，以达到性能的最佳。虽然 BigPipe是对现有的服务网络基础过程的重新设计，但它却不需要改变现有的网络

浏览器
服务器
互联网
百度百科
微处理器
转载 精选 2015-03-11 18:08:12 382 阅读

PHP分布式抓取框架模型

守护进程,负责向加入集群,并初始化和管理子进程检查子进程,负责检查系统是否正常运行,并与集群进行心跳检测,故障转移,主从自荐.计划子程序,当本节点为主的时候,则启动,负责调度计划任务.处理子程序,负责监听并执行任务进行任务处理.

模型
检测
计划
子程序
守护
转载 精选 2015-03-11 18:07:22 423 阅读

使用PHP直接在共享内存中存储数据集

概述共享内存是一种在相同机器中的应用程序之间交换数据的有效方式。一个进程可创建一个可供其他进程访问的内存段，只要它分配了正确的权限。每个内存段拥有一个惟一的 ID（称为 shmid），这个 ID 指向一个物理内存区域，其他进程可在该区域操作它。创建并提供了合适的权限之后，同一台机器中的其他进程就可以操作这些内存段：读取、写入和删除。这 表明使用 C 语言编写的应用程序可与使用其他语言（比

php
数据库
应用程序
能力
管道
转载 精选 2015-03-11 18:06:18 413 阅读

php读取大文件详解【OK】

在php中，对于文件的读取时，最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数，简简单单的几行代码就能很漂亮 的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时，这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时，常用的操作方法。需求如下：现有一个1G左右的日志文件,大约有500多万行，用php返回最后几行的内容。实现方法:1.

php 大文件 读取
转载 精选 2015-03-11 18:02:46 362 阅读

Solr] (源) Solr与MongoDB集成，实时增量索引

一. 概述 　　大量的数据存储在MongoDB上，需要快速搜索出目标内容，于是搭建Solr服务。　　另外一点，用Solr索引数据后，可以把数据用在不同的项目当中，直接向Solr服务发送请求，返回xml、json等形式的内容，使得对数据的使用更灵活。 　　对于MongoDB与Solr的描述不在这里阐释了，本文旨在给大家提供整个Solr与MongoDB接合的方法，实现实时的增量索引

solr
转载 精选 2015-03-10 18:18:16 568 阅读

RabbitMQ入门（6）--远程调用

摘要 实现远程调用RabbitMQ RabbitMQ入门目录[-]远程过程调用(RPC)(使用Java客户端)用户接口回收队列相关性ID (原：Correlation Id)摘要把所有的放在一起远程过程调用(RPC)(使用Java客户端)在指南的第二部分，我们学习了如何使用工作队列将耗时的任务分布到多个工作者中。但是假如我们需要调用远端计算机的函数，等待结果呢？好吧，这又是另一

消息队列
转载 精选 2015-03-10 14:14:19 275 阅读

RabbitMQ入门（5）--主题

摘要 根据表达式来接收消息RabbitMQ RabbitMQ入门目录[-]主题(topic)（使用Java客户端）topic类型交易所把所有放在一起主题(topic)（使用Java客户端）在先前的指南中我们改进了我们的日志系统。取代使用fanout类型的交易所，那个仅仅有能力实现哑的广播，我们使用一个direct类型的交易所，获得一个可以有选择性的接收日志。虽然使用direct

消息队列
转载 精选 2015-03-10 14:13:30 275 阅读

RabbitMQ入门（4）--路由

摘要 有选择性的接收消息RabbitMQ RabbitMQ入门目录[-]路由（使用Java客户端）绑定直接交换多种绑定发出日志订阅把它们放在一起路由（使用Java客户端）在先前的指南中，我们建立了一个简单德日志系统。我们可以将我们的日志信息广播到多个接收者。 在这部分的指南中，我们将要往其中添加一个功能-让仅仅订阅一个消息的子集成为可能。例如，我们可以直接将关键的错误

消息队列
转载 精选 2015-03-10 14:12:32 304 阅读

RabbitMQ入门（3）--发布和订阅

摘要 一次将消息发送到多个消费者RabbitMQ RabbitMQ入门目录[-]发布和订阅（使用java 客户端）交换临时队列绑定把所有放在一起发布和订阅（使用java 客户端）在先前的指南中，我们创建了一个工作队列。这工作队列后面的假想是每一个任务都被准确的传递给工作者。在这部分我们将会做一些完全不同的事情–我们将一个消息传递给多个消费者。这部分被认知为“发布和订阅”。为了说

消息队列
转载 精选 2015-03-10 14:11:37 390 阅读

RabbitMQ入门（2）--工作队列

摘要 在工作者之间分配任务RabbitMQ RabbitMQ入门目录[-]工作队列(使用Java客户端)准备循环分派消息确认消息持久化公平分发把它们放在一起工作队列(使用Java客户端) 在这第一指南部分，我们写了通过同一命名的队列发送和接受消息。在这一部分，我们将会创建一个工作队列，在多个工作者之间使用分布式时间任务。 工作队列（亦称：任务队列）背后主要的

消息队列
转载 精选 2015-03-10 14:10:53 268 阅读

RabbitMQ入门（1）--介绍

摘要 RabbitMQ中一些基本的概念RabbitMQ RabbitMQ入门目录[-]“Hello World”(使用java客户端)发送接收把所有放在一起前面声明本文都是RabbitMQ的官方指南翻译过来的，由于本人水平有限难免有翻译不当的地方，如发现不对的地方，请联系下我，好及时改正。好了，正文开始：RabbitMQ 是一个消息代理。这主要的原理十分简单，就是通过接受和转发

消息队列
转载 精选 2015-03-10 14:08:07 456 阅读

session放入缓存（redis）、DB

为什么要把SESSION保存在缓存就php来说，语言本身支持的session是以文件的方式保存到磁盘文件中，保存在指定的文件夹中，保存的路径可以在配置文件中设置或者在程序中使用函数session_save_path()进行设置，但是这么做有弊端，第一就是保存到文件系统中，效率低，只要有用到session就会从好多个文件中查找指定的sessionid，效率很低。第二就是当用到多台服务器的时候可能会出

session
缓存
redis
转载 精选 2015-03-10 11:07:39 386 阅读

Hadoop 技术在电信运营商上网日志处理中的应用架构

一、电信运营商上网日志处理的现状在移动互联网如此普及的今天，每天会产生大量的上网日志，这些上网日志由于数据量巨大，产生后只能被保留3 天，就因为存储空间等原因被丢弃。目前，电信运营商只能基于CDR（详细通话记录）为主的客户行为分析可能缺失了大量的客户行为有效信息。例如，两个通话行为相似的人可能是完全不同类型的客户，如果将之同等对待，客户的接受度必然很差，浪费大量资源，并且无法取得良好的效

生活方式
运营商
移动互联网
hadoop
日志记录
转载 精选 2015-03-10 11:02:55 1524 阅读

基于redis分布式缓存实现

简单说明下，写此文章算是对自己近一段工作的总结，希望能对你有点帮助，同时也是自己的一点小积累。一.为什么选择redis在项目中使用redis做为缓存，还没有使用memcache,考虑因素主要有两点：1.redis丰富的数据结构,其hash,list,set以及功能丰富的String的支持，对于实际项目中的使用有很大的帮忙。（可参考官网redis.io）2.redis单点的性能也非常高效（利用项目中

redis 分布式缓存
转载 精选 2015-03-10 11:01:41 1517 阅读

微博红包：大规模Docker集群实践经验分享

编者按每年除夕看春晚，今年除夕抢红包。在整个羊年的春节假期里，大家都在忙着抢各种各样的电子红包，互联网用红包的方式革新了我们的拜年方式。为此，InfoQ策划了“春节红包”系列文章，以期为读者剖析各大平台的红包活动背后的技术细节。本文为微博篇。羊年春晚Docker集群成功的为1.02亿小伙伴刷微博、抢红包提供了可靠的服务。本文将为大家揭开微博平台Docker集

互联网
文章
微博
编者按
小伙伴
转载 精选 2015-03-09 15:54:48 448 阅读

用Apache Kafka构建流数据平台

近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像Kafka、Storm或Samza这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是，Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Apache Kafka的经验，介绍了如何构建一个公司范围的实时流数据中心。他们将该实时流数据中心称为流

Oracle
数据库
数据中心
LinkedIn
监控系统
转载 精选 2015-03-09 15:32:05 316 阅读

php优化

1、升级硬件的一般规则：对于 PHP 脚本而言，主要的瓶颈是 CPU ，对于静态页面而言，瓶颈是内存和网络。一台 400 Mhz 的普通奔腾机器所下载的静态页面就能让 T3 专线（45Mbps）饱和。 2、Apache 处理 PHP 脚本的速度要比静态页面慢 2-10 倍，因此尽量采用多的静态页面，少的脚本。3、PHP 脚本如果不做缓冲，每次调用都需要编译，因此，安装一个 PHP 缓冲产

php 优化
转载 精选 2015-03-06 12:45:22 374 阅读

如何提高php应用的性能

1、 如果能将类的方法定义成static，就尽量定义成static，它的速度会提升将近4倍。 2、$row[’id’] 的速度是$row[id]的7倍。 3、echo 比 print快，并且使用echo的多重参数(译注：指用逗号而不是句点)代替字符串连接，比如echo$str1,$str2。 4、在执行for循环之前确定最大循环数，不要每循环一次都计算最大值，最好运用

表达式
如何
转载 精选 2015-03-06 12:40:59 271 阅读

mysql 大数据分页和索引使用

使用覆盖索引一个表建立在id,create_time上建立了索引。如下2个sql语句，执行时间一样。 因为查询字段id被索引覆盖。select id from order_manage where create_time > '2014-01-01'order by create_time desc limit 100000,10select a.id from order_manage a

mysql
数据表
inner
sql语句
数量级
转载 精选 2015-03-06 12:39:21 1497 阅读

深入理解PHP中赋值与引用

先看下面的问题：<?php$a = 10;//将常量值赋给变量，会为a分配内存空间 $b = $a;//变量赋值给变量，是不是copy了一份副本，b也分配了内存空间呢？ $c = &$a;//引用是不会为c分配空间的，c和a是共用一份空间的。 ?>　　对于中间的那个问题，你的答案是什么呢？在今天之前，我的答案是会为b分配内存空间。因为我是这么理解的

php 变量拷贝
转载 精选 2015-03-06 12:33:01 262 阅读

Apache的工作原理

Apache的请求处理 尽管不是全部的，但是绝大部分模块都关注处理HTTP请求的某些方面。不过，一个模块不能考虑处理HTTP的所有方面——这是httpd要做的工作。模块化方法的一个好处就是：一个模块可以只关注一个具体的任务，而不去考虑那些和它不相关的HTTP的其他方面。 2.7.1  内容生成 Web服务器最简单的形式就是一个程序，它侦听HTTP请求，在收到一个HTTP请求之后做出

职场
服务器
Apache
休闲
转载 精选 2011-06-15 08:45:58 1053 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯