php终极数据缓存,比redis、GlobalData等快200倍以上,极致性能

dingfei

一、效果:每秒读取2000万条。写入2200万条。cpu开销很小二、原理:1.将数据以数组方式存储在内存中,php进程需要数据时直接通过内存地址访问数据,没有任何IO开销以及CPU开销。
三、具体实现:1.利用linux的写时复制技术。运行php主进程一次性读取所有的数据保存到数组中,然后通过workerman监听端口。每次收到请求时:创建一个子进程去执行任务,执行完成之后子进程自动结束。
      2.子进程完全共享主进程的数组,不消耗内存。
四、代码[code] ini_set('memory_limit','5872M'); // 临时设置最大内存占用为5G
$a = [[[[]]]];
$start = microtime(true);
for ($i=0; $i<=200; $i++) {
for ($j=0; $j<=100; $j++) {
for ($k=0; $k<=1000; $k++) {
$a[$i][$j][$k] = '我是一条数据';
}
}
}
// 2000万数据,时间1秒,消耗内存720M。 相当于1000万-0.5秒-360M
echo microtime(true) - $start, "s。主进程写入完成,当前内存:" . (memory_get_usage() / 1024 / 1024) . "MB
";
$start = microtime(true);
for ($i=0; $i<=200; $i++) {
for ($j=0; $j<=100; $j++) {
for ($k=0; $k<=1000; $k++) {
$m = $a[$i][$j][$k] ;
}
}
}
echo microtime(true) - $start, "s。主进程读取完成,当前内存:" . (memory_get_usage() / 1024 / 1024) . "MB
";
$start = microtime(true);
$intNum= 1; // 进程总数
$pids= array(); // 进程PID数组
for($i= 0; $i<$intNum; $i++)
{
$pids[$i] = pcntl_fork();// 产生子进程,而且从当前行之下开试运行代码,而且继承父进程的所有变量
if($pids[$i] == -1){echo"couldn't fork". "\n";
}elseif(!$pids[$i]){
$m= 0;
$start = microtime(true);
for ($i=0; $i<=200; $i++) {
for ($j=0; $j<=100; $j++) {
for ($k=0; $k<=1000; $k++) {
$m = $a[$i][$j][$k] ;
}
}
}
echo microtime(true) - $start, "s。子进程读取完成,当前内存:" . (memory_get_usage() / 1024 / 1024) . "MB
";

            sleep(100);
            exit(0);//子进程要exit否则会进行递归多进程,父进程不要exit否则终止多进程
        }
    }
    echo  microtime(true) - $start, "s。子进程创建完成,当前内存:" . (memory_get_usage() / 1024 / 1024) . "MB

";
sleep(200);[/code]
五:代码运行结果:
1.0883929729462s。主进程写入完成,当前内存:719.90679168701MB
0.66096806526184s。主进程读取完成,当前内存:719.90679168701MB
0.0097589492797852s。子进程创建完成,当前内存:719.90715026855MB
0.72923994064331s。子进程读取完成,当前内存:719.90715026855MB

6018 7 3
7个评论

dingfei

存储1000万条数据,大概占用360M内存,耗时0.45秒
读取1000万条数据,耗时0.37秒

  • 暂无评论
dingfei

主进程的数据可以动态更新。每次新建的子进程总能读取到最新的数据

  • 暂无评论
keytehu

学习了。

  • 暂无评论
jiage666

分布式情况下呢?进程在不同的机器上呢?

  • 暂无评论
jiage666

redis 这种最耗时的操作是网络时延吧?本来就是内存数据库

  • 暂无评论
kenny534

好高深的功力

  • 暂无评论
小阳光

这种效率很高,但是子进程不能修改父进程写入的缓存数据,一旦修改cow触发就是两份数据了,一般处理业务是子进程,从而触发修改缓存,导致使用场景有限。可以对比一下共享内存和redis,redis需要走网络。共享内存实现缓存不需要。

  • 暂无评论
年代过于久远,无法发表评论

dingfei

-14
积分
0
获赞数
0
粉丝数
2019-05-07 加入
×
🔝