愉快地使用 Windows Terminal有了Windows Terminal 你再也不需要其他任何终端了…… 下载直接到Windows 10 自带的应用商店下载安装。参考: https://github.com/Microsoft/Terminal 配置ssh参考: https://blog.csdn.net/u012814856/article/details/100536762 Online GUID 生成网站: https://w 2020-05-23 工具之美 #Windows #Terminal
如何在 Windows 中搭建Spark环境参考链接: https://medium.com/big-data-engineering/how-to-install-apache-spark-2-x-in-your-pc-e2047246ffc3 安装JAVA目前scala只支持 java 8 和 java 11,可以选择其中一个版本进行下载。 https://www.oracle.com/java/technologies/javase- 2020-05-23 大数据 > Spark #Spark #Java #Scala
如何在本地调试你的 Spark Job生产环境的 Spark Job 都是跑在集群上的,毕竟 Spark 为大数据而生,海量的数据处理必须依靠集群。但是在开发Spark的的时候,不可避免我们要在本地进行一些开发和测试工作,所以如何在本地用好Spark也十分重要,下面给大家分享一些经验。 首先你需要在本机上安装好了Java,Scala和Spark,并配置好了环境变量。详情请参考官方文档或其他教程。 spark-shell本地运行Sp 2020-05-21 大数据 > Spark #Spark #Notebook
数据可视化工具合集CuteChattsGithub: https://github.com/cutecharts/cutecharts.py 特点可以绘制手绘风格的图标,如其名,很Cute。 2020-05-19 数据可视化 #python #可视化
如何用OpenWrite书写技术博客并在多平台分发最近发现一个用于编辑和多平台发布博客文章的工具OpenWrite,决定尝试一下使用这个工具书写技术博客。下面分享一下使用的心得。 首先OpenWrite目前只支持标准Markdown语言,Markdown用于书写文章非常方便,现在已经被广泛使用,但是Markdown的能力毕竟有限,对于写技术文章来说,可能有一些限制。技术文章除了常见的格式和排版要求之外,还有至少如下的需求: 代码显示 数学公式 2020-05-04 工具之美 > 写作 #Markdown
从零开始学AB测试:躲坑篇AB测试的原理很简单,只用到了最简单的统计假设检验,但表面的简单通常都隐藏着陷阱,这一点没有经过实践的摸爬滚打是不容易看到的,今天我就把前人已经踩过的坑,一共15个,给大家分享一下。在分享之前,大家脑中一定要有个概念,AB测试虽然简单且强大,但是其成立是有前提的: A组和B组的用户一定是要“随机”分配。随机这个事很有学问,绝对的随机甚至根本不可能,实际中只能做到尽量接近真随机。换句话说,随机性 2020-05-04 人工智能 > A/B测试
从零开始学AB测试:基础篇什么是AB测试? 通俗点理解,AB测试就是比较两个东西好坏的一套方法,这种A和B的比较在我们的生活和人生中非常常见,所以不难理解。具体到AB测试这个概念,它和我们比较哪个梨更大、比较哪个美女更漂亮、比较哪个工作更好之间有什么区别吗? 区别其实非常明显,从以下几个方面不难看出来: 领域不同:AB测试的概念是在互联网中被提出来的,所以它有特定的应用领域。 标准不同:AB测试需要比较产品的两个不同版本 2020-05-04 人工智能 > A/B测试
机器学习为什么强大?机器学习的本质就是计算机从数据中学习知识,这一过程与人学习的过程十分相似,也正因此机器学习可以有效地帮助人们解决问题。 人的知识是怎么来呢?埃斯库罗斯说:“ 记忆是一切智慧之母”(《被缚的普罗米修斯》)。的确,没有记忆就没有智慧,我们所拥有的知识,大部分都是靠记忆得来的。所以学习的过程注定艰苦,不管你有多少记忆方法和记忆捷径,都无法突破人脑本身的限制,总是要一点一滴去记忆。我的母校中国科学技术大 2020-05-04 人工智能 > 机器学习
通俗理解人工智能、机器学习和深度学习的关系最近几年人工智能成为极其热门的概念和话题,可以说彻底出圈了。但人工智能的概念在1955年就提出来了,可以说非常古老。我在上小学的时候《科学》课本上就有人工智能的概念介绍,至今还有印象,但那些年AI正处于“寒冬”,很少在其他地方见到这个概念。现在人工智能这么热,普通人容易从科幻电影和媒体宣传上来理解人工智能,这就难免有很多误解的成分。 漫威电影中的人工智能幻视,是一个超级英雄 几年前有一篇《超 2020-05-04 人工智能 > 机器学习
IDEA中运行Java/Scala/Spark程序本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序: 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介绍IntelliJ IDEA 本文使用版本为: ideaIC-2020.1 IDEA 全称 IntelliJ IDEA,是java编程语言开发的集成环境。IntelliJ在业界被公认为最好的j 2020-05-04 大数据 > Spark #Spark #Java #Scala