互联网科技列表
-
Hive-1.2.0学习笔记汇总
鲁春利的工作笔记，谁说程序员不能有文艺范？Hive-1.2.0学习笔记（一）安装配置http://luchunli.blog.51cto.com/2368057/1693817Hive-1.2.0学习
-
Appium测试过程
测试步骤：定位--->交互--->断言定位方法：id（重要）： 对应 resource-idaccessibility id：对应 content-desc（重要）xpath（重要）---------
-
Hadoop基础入门学习笔记（基本概念）
一、数据块(blck)HDFS(Hadp Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储
-
Spark中Cache与Persist的巅峰对决
Cache的产生背景我们先做一个简单的测试读取一个本地文件做一次collect操作：val rdd=sc.textFile("file:///home/hadoop/data/input.tx
-
分布式系统设计基础知识
在云计算，大数据，互联网等领域，都存在集群的概念，那么如何进行集群管理呢？虽然各有各的实现方式，但是思想都一样，通过leader管理一个集群，有自己的选举算法。而且集群中相似功能的组件也很多，可供用户
-
关于10G/40G/100G数据中心光纤布线知识
随着人们对于数据中心的扩建与可扩展性要求的不断增大，如何实现数据中心从40G/100G向400G的平滑演进成为一个在问题，提升竞争力成为布线甚而设施必须实现可靠性、可管理性和灵活性。光纤连接解决方案可
-
基于 Elasticsearch 搜索平台
背景随着公司业务的高速发展以及数据爆炸式的增长，当前公司各产线都有关于搜索方面的需求，但是以前的搜索服务系统由于架构与业务上的设计，不能很好的满足各个业务线的期望，主要体现下面三个问题：不能支持对语句
-
OpentTsdb官方文档中文版----查询性能
缓存 此时OpenTSDB没有内置缓存（除了将缓存PNG图像文件60秒的内置GUI）。因此只能依靠底层数据库的缓存。在HBase（最常见的OpenTSDB后端）中，有一个块缓存的概念，它可以在写入
-
spark调优（三）：RDD重构和持久化
第一，RDD架构重构与优化尽量去复用RDD，差不多的RDD，可以抽取称为一个共同的RDD，供后面的RDD计算时，反复使用。第二，公共RDD一定要实现持久化对于要多次计算和使用的公共RDD，一定要进行持
-
bash 解析XML的脚本
parseXmlFile.sh#!/bin/bashUsage(){echo "Usage: ./parseXmlFile.sh "exit 1}list_all_entity(){local IFS
-
postmant 发送post请求
一、 准备工作1. 分析请求在浏览器的开发者控制面板，打开network，选择要跟踪的请求，查看headers部分。Headers分为：General，查找Request URL和 Request M
-
二、spark--spark core原理与使用
[TOC]一、spark中一些基本术语RDD：弹性分布式数据集，是spark的核心重点算子：操作RDD的一些函数application：用户的写的spark程序（DriverProgram + Exe
-
loadrunner11使用常见问题（不断整理中）
loadrunner11使用常见问题脚本录制为空1. 检查协议是否正确；2. 关闭无关浏览器，设置IE或者火狐为默认浏览器；3. 录制选项 -> Network -> 端口映射 -> 捕获级别，修改为
-
自动化单元测试
自动化单元测试人们在使用"单元测试"这个术语时比较随意。这可能会导致困惑，特别是当人们开始声称他们的单元测试"花了很长的时间执行"时。为开发者测试定义一个常用词汇表有助于将测试进行有效的分类，从而创建
-
SpringBoot学习（五）—— springboot快速整合Druid
Druid连接池简介由阿里巴巴开源的druid连接池是目前综合实力最突出的数据库连接池，而且还提供了监控日志功能，能够分析SQL执行情况。引入druid连接池pom.xml中加入 com.ali
-
大数据运营之大数据应用
本文摘自：李福东《大数据运营-服务型企业架构新思维》3.3.9对于企业来说，大数据服务的目标可以归结为"降本增效"四个字。企业可以借助大数据服务做精准化营销，将企业的产品有效地传递给有此需求的用户，在
-
Kafka单线程Consumer及参数详解
请使用0.9以后的版本：示例代码 Properties props = new Properties(); props.put("bootstrap.servers", "kafka01
-
hive中数据倾斜
数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很多，导致某些执行节点的运行时间远大于其它节点，从而
-
制作发货统计报表
1、问题描述发货统计表是企业常用的报表之一，内容可能包括本周数、本月数、本年数、去年数、同比增减、计划数等，甚至有的还要与业务员的工资挂钩，需要直接计算出奖惩工资呢。如果让你计算以上数据，你会用什么方
-
使用Windbg内核调试连接调试用户态程序的方法
1. 中断目标计算机； 2. kd>!process 0 0 3. 找到要调试的程序对应进程； 4. kd>.process /i TARGETPROCESSADDRESS 5. kd>g 6. kd