乐胖代购免代理版

在Pycharm上编写WordCount程序

本篇博客将给大家介绍怎么在PyCharm上编写运行WordCount程序。第一步下载安装PyCharm 下载Pycharm PyCharm的下载地址（Linux版本）。下载完成后你将得到一个名叫：pycharm-professional-2018.2.4.tar.gz文件。我们选择的是正版软件，学生可申请免费使用。详细信息请百度。安装PyCharm 执行以下命令解压文件： cd ~/下载

spark

python

hdfs

右键

vim

转载 2021-08-01 13:59:19 432 阅读

win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark

1. 序经过了一天的修炼，深深被恶心了，在虚拟环境中配置pyspark花式报错，由于本人实在是不想卸载3.6版的python,所以硬刚了一天，终于摸清了配置方法，并且配置成功，不抱怨了，开讲： 2. 需求环境Anaconda3;(我的是最新版的Anaconda4.3.1(64位)) 3. 安装虚拟环境1、创建Python虚拟环境。使用 conda create -n your_env_name

spark

hadoop

python

虚拟环境

环境变量

转载 2021-08-01 13:57:11 635 阅读

APP的埋点与事件监测

什么是埋点？埋点就是定点，定时的数据采集，跟踪用户行为，给后续的产品优化和用户运营提供数据支持。更通俗一点就是，你为采集数据所做的部署就是埋点，如用户的点击，屏幕的浏览，这些都需要预先做一些部署，这些部署通常是实现，什么时候触发，什么时候发送什么数据，这样才能采集到这些数据，这些部署工作就是埋点。

APP

原创 2021-07-22 14:44:35 1106 阅读

人工智能产品测试方法探索

自我介绍大家好，我叫孙高飞，是来自第四范式的测试开发工程师。今天我想跟大家讨论一下要如何测试人工智能相关的产品。我们知道人工智能是出了名的难测试，不论是我们以前在互联网

人工智能

转载 2021-07-22 14:44:16 758 阅读 1收藏

在树莓派上部署ATC网络模拟工具（Augmented Traffic Control）

一、前言作为移动开发者的我们，为了良好的用户体验，经常需要模拟手机应用在比较差的网络环境下的表现，模拟网络环境的方式有很多，比如使用Charles，或者在手机的开发者模式下模拟网络环境等等，但是这些都有一定的门槛。使用Charles，首先你得连接WiFi，然后设置代理，接着开启网络模拟模式，最后

ATC网络模拟工具（

转载 2021-07-22 14:43:48 1662 阅读

保障大数据清洗的质量与效率

其实大数据清洗的一个过程是比较复杂的，我这边抽了几个重要的部分，让大家了解一下，一、数据清洗要做的： 1、数据过滤处理 2、数据不全处理 3、数据一致处理 4、数据合法处理二、数据清理的走向不同的数据源，格式上或者数据表现上会很不长一致，比如一个爬虫应用爬去运营商的通话记录我们会发现，电信怕下

大数据

原创 2021-07-22 14:43:01 1287 阅读

jmeter测试物联网流行协议MQTT

jmeter

原创 2021-07-22 14:42:31 618 阅读 1收藏

大数据环境部署

1.软件版本软件版本号 jdk 1.8.x scala Scala 2.11.12 zookeeper 3.4.10 kafka 2.11_0.11.0.1 hadoop 2.6.5 spark 2.3 spark-2.3.0-bin-hadoop2.6.tgz storm 1.2.1 2.系统环

大数据

转载 2021-07-22 14:42:12 422 阅读

大数据工作由哪几部分组成

关于大数据的概念，指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。而大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。那么关于大数据的技术大致包含哪些内容? 一、数据采集 ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层

大数据

数据

原创 2021-07-20 16:03:34 462 阅读

win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark

1. 序经过了一天的修炼，深深被恶心了，在虚拟环境中配置pyspark花式报错，由于本人实在是不想卸载3.6版的python,所以硬刚了一天，终于摸清了配置方法，并且配置成功，不抱怨了，开讲： 2. 需求环境Anaconda3;(我的是最新版的Anaconda4.3.1(64位)) 3. 安装虚拟环

python

原创 2021-07-20 14:53:29 61 阅读

spark 2.X 疑难问题汇总

当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。作业故障分类故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题版本不一致1）java版本不一致报错：java.lang.Uns

spark 2.X 疑难问题汇总

原创 2021-07-19 16:48:11 1365 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

12285205

在Pycharm上编写WordCount程序

win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark

APP的埋点与事件监测

人工智能产品测试方法探索

在树莓派上部署ATC网络模拟工具（Augmented Traffic Control）

保障大数据清洗的质量与效率

jmeter测试物联网流行协议MQTT

大数据环境部署

大数据工作由哪几部分组成

win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark

spark 2.X 疑难问题汇总

欢迎