热门IT资讯网

互联网科技列表

  • 软件测试基本价值观笔记

    软件测试基本价值观笔记

    一、测试是获取信息的技术调查1.测试是为了发现错误而执行程序的过程2.测试是一个获取信息的过程,用来降低决策风险测试是服务性的工作低质量的信息无助于决策 ,还可能浪费团队的时间,甚至作出错误的决策团队

  • 软件架构设计的目的

    软件架构设计的目的

    软件架构设计的目的简单说就是在保持软件内在联系的前提下,分解软件系统,降低软件系统开发的复杂性,而分解软件系统的基本方法无外乎分层和分割。但是在保持软件内在联系的前提下,如何分层分割系统,分层分割到什

  • python光荣之路测试开发班list学习笔记

    python光荣之路测试开发班list学习笔记

    # coding=utf-8book_list_in_library = []ready_borrow_book_list = []borrowed_book_list = []menu_info =

  • 视觉智能引擎+数据决策引擎——打造商业“智能沙盘”

    视觉智能引擎+数据决策引擎——打造商业“智能沙盘”

    众所周知,线上商家可以通过淘宝平台的大量前端"埋点"轻松获取商品的加购率、收藏率、转化率、成交额等大量基础信息,甚至商家能够在更精细的层面,获取商品关键字变化或者上新/爆款带来的流量变化数据,更甚者商

  • 大数据学习路线-甲骨文高级技术总监思维图

    大数据学习路线-甲骨文高级技术总监思维图

    最近有很多人问我如何学习大数据?我也是思考了很多时日才动笔写下此文。一方面我自己还只是大数据学习中的一个小学生,贸然动笔怕贻笑大方;另一方面大数据本身领域博大精深,其涵盖领域之广技术种类之多确实很难用

  • 负载产品性能测试——新建测试

    负载产品性能测试——新建测试

    1,网络拓扑:2,测试仪客户端端配置1)占用端口2)load配置3)action配置4)客户端网段5)选择端口6)联合配置3,服务器端配置1)http服务器策略2)http传输数据配置3)服务器端网段

  • Apache Flink 零基础入门(一):基础概念解析

    Apache Flink 零基础入门(一):基础概念解析

    作者:陈守元、戴资力一、Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对

  • device-mapper 块级重删(dm dedup) <3>代码结构(4)

    device-mapper 块级重删(dm dedup) <3>代码结构(4)

    六、代码结构(4) I/O "小"写流程上一篇,介绍了dm dedup的写流程,这一篇,介绍它的一个特殊流程如果我们接收到的对齐bio但是它的size < block_size,那么这时候是不能直接进

  • Spark入门及安装与配置

    Spark入门及安装与配置

    以下是老男孩教育编写的大数据资料,转载请注明出处:http://www.oldboyedu.comHadoopHadoop是分布式计算引擎,含有四大模块,common、hdfs、mapreduce和y

  • 解决 Mac OS X 11无法copy文件问题

    解决 Mac OS X 11无法copy文件问题

    1、升级Mac OS X 11之后,想要copy文件到系统目录下。sudo cp -f test.txt /usr/bin/2、发现即使用权限sudo,也有权限问题。cp: /usr/bin/test

  • pg 10 wal 归档同步配置

    pg 10 wal 归档同步配置

    一.rsync server(172.16.3.226)CentOS 7.2 X64# yum install -y rsync# mkdir -p -m 0700 /db/wal_archive#

  • 回顾 | Apache Flink X Apache RocketMQ · 上海站(PPT下载)

    回顾 | Apache Flink X Apache RocketMQ · 上海站(PPT下载)

    7 月 6 日,Apache Flink Meetup X Apache RocketMQ · 上海站,来自阿里巴巴、网易的 Flink 技术专家与 Apache RocketMQ 社区大咖一起分享关

  • TEZ MRR optimize to MR?

    TEZ MRR optimize to MR?

    https://issues.apache.org/jira/browse/HIVE-2340select userid,count(*) from u_data group by userid or

  • centos7 hadoop-2.7.3完全分布式安装配置

    centos7 hadoop-2.7.3完全分布式安装配置

    操作系统版本:centos7 64位hadoop版本:hadoop-2.7.3hbase版本:hbase-1.2.4机器:192.168.11.131 master1 Namenode Resourc

  • 新手必备:大数据框架Hadoop主要模块解析

    新手必备:大数据框架Hadoop主要模块解析

    hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象

  • autotest 设置时间

    autotest 设置时间

    vim /usr/local/autotest/frontend/settings.pysettings.py里:TIME_ZONE = 'Asia/Shanghai'更改系统时区: cp /usr/

  • Apache Spark 黑名单(Blacklist)机制介绍

    Apache Spark 黑名单(Blacklist)机制介绍

    在使用 Apache Spark 的时候,作业会以分布式的方式在不同的节点上运行;特别是当集群的规模很大时,集群的节点出现各种问题是很常见的,比如某个磁盘出现问题等。我们都知道 ApacheSpark

  • Spark 系列(七)—— 基于 ZooKeeper 搭建 Spark 高可用集群

    Spark 系列(七)—— 基于 ZooKeeper 搭建 Spark 高可用集群

    一、集群规划这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署 Worker 服务。同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop00

  • Jstack查看耗CPU的线程

    Jstack查看耗CPU的线程

    1、top -查看最耗费cpu的进程2、先输入top H -p pid,查看具体的某个线程信息3、把线程号转换成16进制 jstack查找这个线程的信息jstack [进程]|grep -A 10 [

  • 几个个用于大数据分析的最好工具

    几个个用于大数据分析的最好工具

    大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志