互联网科技列表
-
8.spark core之读写数据
spark支持多种数据源，从总体来分分为两大部分：文件系统和数据库。文件系统 文件系统主要有本地文件系统、Amazon S3、HDFS等。 文件系统中存储的文件有多种存储格式。spark支持的
-
大数据环境搭建-之-hadoop 2.x分布式部署-集群配置
1、 下载hadoop 并解压2、为 hadoop 文件分配角色chown -R hadoop:hadoop hadoop组名：角色名 文件名3、ls -l 查看详细信息 角色分配是否成功4、创建ha
-
Windows系统下如何安装Python以及对应pygame、matplotlib
最近，准备学习Python这门编程语言。与其他语言一致，开始就要安装好编译环境和一些必须的工具。下面是我在初次安装Python环境时的一些经验和体会。一， 准备好软件资源1， 下载Python文件ht
-
阿里重磅开源 Blink：为什么我们等了这么久？
今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和 API 诸如 Spark Streaming、Kafka Streaming、Beam 和 Flink 持续
-
KMP 算法的应用（二十七）
我们在上节博客中讲到了 KMP 算法的具体实现，那么我们本节就来看看 KMP 算法的应用。问题：如何在目标字符串中查找是否存在指定的子串？我们来看看字符串类中的新功能，如下图所示1、子串查找（KMP
-
Hadoop之HDFS的HA与QJM
本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。一、背景HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Na
-
Hadoop节点上负载过高的问题分析
最近发现我们的hadoop集群的客户端机器负载经常飙到几百，导致机器反应很慢， 客户反应无法提交job，或者job跑的很慢。针对这种情况通常有几个解决方案，一个是增加客户端机器数量，把他们做到一个po
-
spark2.x由浅入深深到底系列六之RDD api reduceByKey与foldByKey对比
学习spark任何知识点之前，最好先正确理解spark，可以参考：正确理解spark一、序言对于key-value类型RDD的两个api， reduceByKey与foldByKey，我们往往只是简单
-
HTML5接入与OC交互
////屏幕#define SHENGHUO_WIDTH ([UIScreen mainScreen].bounds.size.width)#define SHENGHUO_HEIGHT ([UISc
-
数据处理流程
流程图解析典型的BI系统体流程如下：由于是处理海量数据，流程中各环节所使用的技术则跟传统BI完全不同，后续课程都会一一讲解：1) 数据采集：定制开发采集程序，或使用开源框架FLUME2) 数据预处理：
-
系统架构演变
传统架构分布式架构按照功能把系统划分为多个独立的模块，各个模块之前配合才能完成业务逻辑，叫分布式。多个系统之前相互协作完成业务流程，系统之间要进行相互通信。SOA面向服务的架构，把工程分为表现层和服务
-
python笔记-循环
条件判断与缩进,注意冒号加次数限制#猜数字lucky_num = 19input_num = -1#次数限制count = 0#while lucky_num!=input_num and count
-
vim打开多个文件方式及操作
一.vim启动及打开文件1.1不加任何参数，启动vim，显示版本号，及其他一些帮助信息；#vim1.2选项中可以打开指定到多少行，打开多个文件#vim [option] file....#vim +
-
运营团队说产品做的烂，技术人员能力太差的前因后果？
在公司经营不善，或者运营KPI不达标的时候，我们经常会听到运营团队说："不是我们运营能力不行，是这个产品做的太烂，技术人员能力太差，做了这么个鬼东西，你让我们怎么运营，这神仙过来都没得救。"事实真的是
-
springboot读取配置文件的三种方式
方式一：@Configuration//@PropertySource("classpath:jdbc.properties")//@PropertySource("classpath:config/
-
selenium调用IE浏览器报错
开始学习写第一个自动化脚步时，调用IE浏览器运行报错，如下图原因：本地IE使用的是IE9，win7上的IE7及以上版本必须在IE internet选项的安全页，4个区域的的启用保护模式必须一致（要么全
-
零基础大数据学习框架
大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架，都是Apache基金会或者其他Java开源社区团体的能人牛人开发
-
TTCN手动测试总结
1、AT命令AT + CFUN 开机 关机命令AT + CGACT PPT激活 Plesiochronous Path Termination -- 准同步通道终端AT + CGATTAT + CGD
-
Lintcode15 Permutations solution 题解
【题目描述】Given a list of numbers, return all possible permutations.Notice:You can assume that there is
-
bigdata - zookeeper笔记（一）
zookeeper的定义zookeeper是分布式应用程序的高性能协调服务，顾名思义，zookeeper用来保存分布式应用程序的多个节点之间的状态、配置等信息，以确保分布式程序的正确、高速运行。zoo