hadoop fs -count基本用法

以前以为hadoop fs -count,要么统计文件行数,要么统计文件数量,但具体的含义并不了解。今天详细看下命令的输出。关于hadoop fs -count:hadoop@allin:~$ hadoop fs -mkdir /t […]

Read more

hadoop全局静态变量

开发MapReduce过程中,经常忽略了一个知识点。那就是全局变量的用法。

Read more

pycharm设置头部模板

pycharm设置头部模板 打开File -> Default Settings 依次点开,Editor=》File and Code Templates 在右侧的模板列表,找到python Script,然后输入模板内容,可 […]

Read more

Python类型转换函数

在对数据处理过程中,经常需要Python内置的数据类型进行转换。此时可以使用python内置的函数来处理。

Read more

Spark中map和mapPartitions区别

在Spark中有map和mapPartitions算子,处理数据上,有一些区别

Read more

HiveContext报错OutOfMemoryError: PermGen space

现象: 这里有一段简单的调用HiveContext处理数据的代码: object LocalEnvHiveTest { def main(args: Array[String]): Unit = { Logger.getLogger(“org”).setLeve […]

Read more

MySQL中的那些Join

一.首先初始化mysql相关的表,及表中的数据 create database alltest ; use alltest ;   create table aa (    id int(11) ,    name varchar(50) );   […]

Read more

Maven项目中pom.xml详解

什么是pom? pom作为项目对象模型。通过xml表示maven项目,使用pom.xml来实现。主要描述了项目:包括配置文件;开发者需要遵循的规则,缺陷管理系统,组织和licenses,项目的ur […]

Read more

nohup,让python脚本,在linux后台运行

用python跑数据时,经常会用到nohup命令,通常的命令格式如下:

Read more

linux中的shell命令,在后台运行

我们经常会碰到这样的问题,用 telnet/ssh 登录了远程的 Linux 服务器,运行了一些耗时较长的任务, 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终 […]

Read more

Java中的字符串String能存多长字符

Java中的String字符串,最长能存多长的数据呢?或者多长的字符呢?

Read more

python编码格式

Python编码格式声明 python文件,以及python的输入输出的数据,都有自己的编码格式 为了便于操作,尽量将文件及数据格式进行统一 可以在python文件开头,什么编码格式 #! […]

Read more

PyCharm中创建py脚本文件时自动添加头部注释说明

 在PyCharm中,创建一个python脚本文件时, 文件内容是空的。

Read more

在ubuntu中,让vim记住文件上次打开位置

问题: 最近在使用vim编辑文件的过程中发现,打开文件光标总是停留在文件开头,比较繁琐,尤其是当文件比较大的时候。 于是想修改vim配置文件,让vim能记住上一次光标退出位 […]

Read more

Map类及Reduce类的调用

在Map和Reduce类中,我们完成了代码实现过程 如果要调用MR程序,我们需要写一个main函数 public static void main(String[] args) throws IOException, ClassNotFoundExc […]

Read more
1 2 3 7 »