BI数据分析培训,bi数据分析培训课程
本文目录:
数据分析师的工作内容,数据分析师的能力要求,数据分析与数据挖掘,数据分析师的困境,数据分析师的推荐总结
虽然数据分析师是很多互联网公司设立的职位,但是不同的公司对于这个职位的定位是不一样的。即使是统一的公司,数据分析师的职责、角色、地位在不同的团队中也可能有所不同。
本文结合作者自身的实践经验,总结了数据分析师工作的内容、要求、工具、技巧等方面。由于经验不足,文章内容难免有所遗漏。请原谅我。也欢迎交流。
一、数据分析师的工作内容
从定位上来说,数据分析师是一个“业务支持”类型的工作。数据分析本身就是通过数据最终解决业务问题的过程。
按照支持的方向可以分为产品数据分析师和运营数据分析师。
产品数据分析师,顾名思义,专注于支持产品分析,包括但不限于产品埋藏、产品功能分析、产品核心指标分析、产品用户分析。
数据分析师的工作主要包括运营策略评估、运营活动分析、日常运营分析、业务效果分析等。两者的共同点是,都需要通过各种方法从数据中找出当前业务中存在的问题和不足,提出改进策略推至地面,并对策略或功能上线后的效果进行评估。
因此,他们的输出通常包括基础数据表、在线数据报表、数据分析报告以及其他相关文档(如埋藏文档、PPT报告等。).分析师的输出可以给产品经理、运营人员等业务方,也可以给高层领导。前一种情况下,分析师通常拥有一定的主动权和话语权,后一种情况下,可能相对被动(当然需要具体分析)。但是,在这两种情况下,数据分析师都是帮助业务方从更深层次了解业务,洞察业务,发现新的增长点。
具体来说,数据分析师的工作包括以下几个方面:
1.1数据嵌入的策划、确认和整理。无论是新的产品功能,还是运营活动,上线前都必须对嵌入进行规划,确保核心数据指标的嵌入上报逻辑正确。数据分析师需要配合产品经理一起整理埋点,不是所有的点都能埋,也不能遗漏核心埋点,更不能上线后再补埋点。还需要了解如何从对应的数据表中获取被埋数据,是否与已有的被埋数据有冲突,不同版本的被埋数据之间是否存在差异。再者,可能有一些埋藏数据需要经常使用,而埋藏数据的底层表通常数据量较大,直接检索效率可能相对较低。这时候可以考虑对我们关心的数据做一个每日的预定任务,每天生成一个表格,供后期分析。
1.2数据指标体系的指标是业务场景的定义。它需要索引的名称和值、相应的算法,必要时还需要SQL。指标体系是由许多既独立又相互联系的指标组成的统一整体。指标体系通常可以按照指标集维度集的思想来构建。指标集是围绕核心指标的一系列指标,维度集包括时间维度和空间维度,如年、月、日、周、分、秒、全国各省市等。维度还可以包括业务细分维度,如操作系统、新老用户、支付方式等。在日常工作中,数据分析师需要梳理不同层次的指标体系,明确其计算逻辑、口径和使用场景,确保能够使用最合适的指标,更好地服务于业务。
1.3日常业务分析与主题分析的前一部分紧密相连。日常分析包括在线产品功能的收入分析,以及关键指标的日常监控和交易分析。在线产品分析需要结合具体功能。指标监控和交易分析需要一些经验。常见的交易分析方法有维度拆解、漏斗分析、公式拆解、指标相关性分析等。有时还需要与外部环境和运营事件相结合。要真正找出原因,可能需要前期的一些探索。业务成熟后,这部分可以考虑作为一个归因分析系统,自动定位原因,提高效率。其实这是一个“数据分析思维产品化”的过程,既可以沉淀自己的方法论,也可以通过产品化推广,让更多人受益。
主题分析是作品中价值输出比较大的一部分。相比日常分析,可能更全面,但没有明确的边界。一般来说,分为三个阶段,六个步骤:
第一阶段是问题识别和构建。
第一步:找出问题
第二步:回顾之前的发现
第二阶段是定位问题,给出解决方案。
第三步:建模(变量选择)
第四步:收集数据
第五步:分析数据
第三阶段是传达结果,把结果推到地上。
第六步:将数据分析结果传达给相关方,并采取行动。
来源:
1.4数据报告的配置和构建
数据可以采取多种形式,如每日邮报、表格、其他在线报告等。它也可以有不同的时间段,如每日、每周和每月报告。在线报告通常以统计图和统计表的形式呈现。日报和周报除了基础数据外,还需要文字解读、意见建议等。配置在线报表时,通常需要依赖一定的调度任务(每天定时自动产生数据表,在线报表直接或间接呈现这些表的数据)。
二.、数据分析师的能力要求
2.1技能要求必须指出的是,任何技能都只是工具。只要能达到最后的结果,不管用什么手段,简单、高效、熟悉就很重要。我们从数据采集、数据预处理、数据分析和结果呈现几个方面进行了阐述。
数据采集SQL技巧。我们工作中的业务数据主要来源于自己的数据库或者数据仓库。这些数据中的大部分已经由几个仓库的学生进行了处理和组织。使用SQL(这里是广义的概念,其实主要是Hive SQL)是获取数据最简单有效的方法。SQL本身入门门槛低,入门快,也不是很专业。多写多练,熟能生巧。但是一定要注意SQL逻辑和口径的准确性,这就需要我们使用正确的表格,准确的限定条件,根据经验判断检索结果。还要注意SQL的执行效率。
Python爬虫。除了数据库中的数据,我们还经常需要从公司外部获取数据,而python爬虫是获取互联网数据的一种常见而有效的方式,所以掌握爬虫技能是非常重要和必要的。爬虫主要包括网页获取、网页分析、数据存储等步骤。Python主要涉及requests、lxml、BeautifulSoup、pyquery、pymysql、pymongo、selenium、scrapy等工具包。
数据预处理
这个阶段包括两个部分:数据清洗和数据预处理。数据清洗的目标是提高数据质量,为后续分析奠定基础,是高质量数据的最后一道屏障。数据质量的标准可以概括为“完全统一”(参考极客时间《数据分析实战45讲》课程)。“完成”是指完整性:不能有空值、空行等。在数据中。“全”指的是全面性:主要指同一列数据。单位要统一,定义要清晰。“符合”是指合法:所有数据的取值都要在合理的范围内,不能有异常数据或非法字符。“一”意味着唯一性:相同的数据不能存在多次。因此,这个阶段可能的任务包括:数据格式转换、缺失值填充、重复值删除、非法字符处理等。数据预处理主要包括数据集成、数据转换等。数据集成是通过一定的手段对不同来源的数据进行集成,工业数据集成需要专业的ETL工具。数据转换主要是指数据的归一化,比如Max-Min归一化和Z-score归一化。以python为例。在实践中,pandas将用于数据清洗、数据集成和数据转换的sklearn工具包。
数据分析这个阶段是数据分析的核心,也是最能体现数据分析师价值的地方。要从“高质量”的数据入手,基于对业务场景的理解,从数据趋势、数据分布、数据计算等方面总结业务状态,提出业务改进建议。常见的数据分析方法有:象限法、公式拆解法、对比分析法、归因分析法、漏斗分析法、留存分析法、同期分组分析法、AB实验法等。
实际上,我们通常会使用一些可视化方法来提高分析效率。可视化工具有很多,Excel就是一个,简单易用,适合大多数人。此外,还有Tableau。虽然比较厉害,但是需要付费。python中也有很多数据可视化工具包,如matplotlib、seaborn、pyecharts、bokeh等。r也是经常被选择用于数据可视化的工具。视觉呈现常用的图表有柱形图、散点图、折线图、扇形图、气泡图、雷达图及其变体和组合。实现方式没有优劣之分。你只需要选择自己擅长的,达到结果。
这里的结果包括分析报告和报表的输出。主要是指分析报告以各种形式输出,可能是excel表格,word文档,大多数情况下是PPT。无论哪种方式,都需要有书面的结论,也需要用图表把问题说明清楚。所以要求熟练使用office套件。
报表的输出通常需要对基础平台有一定的了解,使用Shell、SQL、HDFS、spark、数据仓库等。能够处理异常情况,排除故障等。还需要能够及时准确的处理上线后可能出现的各种bug。
2.2这里的技能要求主要是指对业务的深入理解,同时结合一些已有的经典模型和理论。比如AARRR模型、RFM模型、二八法则、鱼骨图、cxdxgz需求理论、生命周期理论等。这些经典的方法可以帮助我们找到想法,并测试我们当前工作的完整性。这就需要一定的知识储备,更多的经济学、心理学、战略管理等方面的知识。
此外,数据分析师需要具备一定的数据敏感度。对于业务或行业数据,要有一定的估算和判断能力,把握一个大概的量级。对于一个数据的可信度,第一时间做出判断是数据分析师必备的能力。
我们在上一篇文章中提到了“产品化”,这是数据分析师在工作中需要经常总结和思考的。
三、数据分析与数据挖掘
广义的数据分析包括数据挖掘,比如基于业务建立数据模型。这里将使用一些经典的数据挖掘算法,如决策树、朴素贝叶斯、逻辑回归和K-Means。这部分工作在数据分析师的日常工作中也会遇到,但可能只是一小部分。不同的公司和团队不一样,要看具体情况。一般的商业分析可能不会用到这些方法,但是对它们有一定的了解是很有必要的。不仅数据分析师有时需要使用和产生这些模型,而且他们可能还需要与算法工程师联系。因此,有必要了解常见的机器学习模型(分类、聚类、降维等。)甚至深度学习的原理。个人认为,相比算法工程师,数据分析师更贴近业务,对代码能力和工程能力的要求没有那么高。
四、数据分析师的困境
目前很多数据分析师的岗位都存在一个问题:职称是数据分析师,其实是计数工程师。
数据分析师在工作中缺乏主动性和话语权,只被视为数据工具,违背了这个岗位原本的价值取向。要改变这种状况,分析师需要提高主动性,发现问题,提出自己的想法和建议,持续跟进分析结论和效果反馈,提高自己的“存在感”。改变这种状况可能不是一个人或者一夜之间就能完成的。也许需要自上而下的推动,也许需要长时间的摸索,但可以肯定的是,SQL boy这个角色并没有真正起到分析师的作用。
五、数据分析师推荐资料
埋点和数据采集平台:
业内应用广泛:友盟、谷歌分析、百度统计、说话数据、成长io等。
书籍推荐:
《谁说菜鸟不会数据分析》 《深入浅出数据分析》 《赤裸裸的统计学》 《增长黑客》 《精益数据分析》 《运营之光》
常用网站:
数据分析网:https://www.afenxi.com/爱统计网:http://www.itongji.cn/人人都是产品经理:http://www.woshipm.com/结束语。
任何岗位都有一个从入门到精通的过程,数据分析师也是如此。
肺腑之言本文总结了数据分析师的日常工作内容和基本要求,重广度轻深度,也谈到了岗位定位问题和存在的困难。在实践中,我们会遇到各种各样的问题和挑战。只有面对困难,总结很多,保持思考,才能从容应对。祝大家金九银十,升职加薪!
觉得内容还不错的话,请分享给更多的朋友哦
福利时刻
01.微信官方账号后台回复“06”可获赠《数据仓库》《数据治理》等经典电子书或视频一份。
02.想获取《大牛带你从0到1建设数据仓库》实战高清PPT或者几个仓库实战视频,请关注微信官方账号,添加一点助手微信【ID:IOM 128昵称:axdxf】,备注:PPT。
03.lyqj就像一朵云,把你拉进“数据仓库BI”、“Python”、“数据共享”的群里。微信官方账号的后台回复:加群。科技的斜眼镜等着你,各种资源定期分享~
问:关于数据仓库,您还想知道什么?
欢迎佳群与大家分享。
我也这么认为请把这篇文章分享给你的朋友。
请联系助理:IOM 1128“AXDXF”加入小组
更多干货和福利,请点击后台“数店之路”查看。
!关注不迷路~ 各种福利、资源定期分享!
看,收藏转发,有爱三连!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。