互联网科技列表
-
软件测试基本价值观笔记
一、测试是获取信息的技术调查1.测试是为了发现错误而执行程序的过程2.测试是一个获取信息的过程,用来降低决策风险测试是服务性的工作低质量的信息无助于决策 ,还可能浪费团队的时间,甚至作出错误的决策团队
-
软件架构设计的目的
软件架构设计的目的简单说就是在保持软件内在联系的前提下,分解软件系统,降低软件系统开发的复杂性,而分解软件系统的基本方法无外乎分层和分割。但是在保持软件内在联系的前提下,如何分层分割系统,分层分割到什
-
python光荣之路测试开发班list学习笔记
# coding=utf-8book_list_in_library = []ready_borrow_book_list = []borrowed_book_list = []menu_info =
-
视觉智能引擎+数据决策引擎——打造商业“智能沙盘”
众所周知,线上商家可以通过淘宝平台的大量前端"埋点"轻松获取商品的加购率、收藏率、转化率、成交额等大量基础信息,甚至商家能够在更精细的层面,获取商品关键字变化或者上新/爆款带来的流量变化数据,更甚者商
-
大数据学习路线-甲骨文高级技术总监思维图
最近有很多人问我如何学习大数据?我也是思考了很多时日才动笔写下此文。一方面我自己还只是大数据学习中的一个小学生,贸然动笔怕贻笑大方;另一方面大数据本身领域博大精深,其涵盖领域之广技术种类之多确实很难用
-
负载产品性能测试——新建测试
1,网络拓扑:2,测试仪客户端端配置1)占用端口2)load配置3)action配置4)客户端网段5)选择端口6)联合配置3,服务器端配置1)http服务器策略2)http传输数据配置3)服务器端网段
-
Apache Flink 零基础入门(一):基础概念解析
作者:陈守元、戴资力一、Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对
-
device-mapper 块级重删(dm dedup) <3>代码结构(4)
六、代码结构(4) I/O "小"写流程上一篇,介绍了dm dedup的写流程,这一篇,介绍它的一个特殊流程如果我们接收到的对齐bio但是它的size < block_size,那么这时候是不能直接进
-
Spark入门及安装与配置
以下是老男孩教育编写的大数据资料,转载请注明出处:http://www.oldboyedu.comHadoopHadoop是分布式计算引擎,含有四大模块,common、hdfs、mapreduce和y
-
解决 Mac OS X 11无法copy文件问题
1、升级Mac OS X 11之后,想要copy文件到系统目录下。sudo cp -f test.txt /usr/bin/2、发现即使用权限sudo,也有权限问题。cp: /usr/bin/test
-
pg 10 wal 归档同步配置
一.rsync server(172.16.3.226)CentOS 7.2 X64# yum install -y rsync# mkdir -p -m 0700 /db/wal_archive#
-
回顾 | Apache Flink X Apache RocketMQ · 上海站(PPT下载)
7 月 6 日,Apache Flink Meetup X Apache RocketMQ · 上海站,来自阿里巴巴、网易的 Flink 技术专家与 Apache RocketMQ 社区大咖一起分享关
-
TEZ MRR optimize to MR?
https://issues.apache.org/jira/browse/HIVE-2340select userid,count(*) from u_data group by userid or
-
centos7 hadoop-2.7.3完全分布式安装配置
操作系统版本:centos7 64位hadoop版本:hadoop-2.7.3hbase版本:hbase-1.2.4机器:192.168.11.131 master1 Namenode Resourc
-
新手必备:大数据框架Hadoop主要模块解析
hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象
-
autotest 设置时间
vim /usr/local/autotest/frontend/settings.pysettings.py里:TIME_ZONE = 'Asia/Shanghai'更改系统时区: cp /usr/
-
Apache Spark 黑名单(Blacklist)机制介绍
在使用 Apache Spark 的时候,作业会以分布式的方式在不同的节点上运行;特别是当集群的规模很大时,集群的节点出现各种问题是很常见的,比如某个磁盘出现问题等。我们都知道 ApacheSpark
-
Spark 系列(七)—— 基于 ZooKeeper 搭建 Spark 高可用集群
一、集群规划这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署 Worker 服务。同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop00
-
Jstack查看耗CPU的线程
1、top -查看最耗费cpu的进程2、先输入top H -p pid,查看具体的某个线程信息3、把线程号转换成16进制 jstack查找这个线程的信息jstack [进程]|grep -A 10 [
-
几个个用于大数据分析的最好工具
大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志