xpath速度比快,是爬虫在网页定位被的较理想选择,但是过多网页前端代码乱难以稳定,而读书定位为比较不错(主要是一揽子的课程较少),这里列有一点编程过程中恐怕有效之东西,欢迎并学习批评指正。
考试环境:Python环境,lxml.etree

相同、产品概述

  • 试验所使用的html代码

1.1.经验条件

活跟本号:英语流利说 v5.7

感受日:2017-12-04

设备:iPhone7 plus

系统:iOS 10.3.3

纱环境:wifi

1.2.产品简介

产品介绍:英语流利说凡是同缓专注让英语听说训练的言语类工具。它引入了“AI+教育”的概念,可也个体、企业提供智能、专业的英语上解决方案,并且计划了多样化的承前启后媒体、流行的社会话题、更生活化的状况会话等等丰富的教学方法与素材,旨在让每个用户会充分利用碎片时间,都足以随时随地、自然而然地摆说英语。

slogan:英语流利说——会打分的英语口语外教

<!DOCTYPE html>
<html>
<head>
    <title>xpath test</title>
</head>
<body>
<div price="99.8">
    <div>
        <ul>
            <li>时间</li>
            <li>地点</li>
            <li>任务</li>
        </ul>
    </div>
    <div id='testid' data-h="first">
        <h2>这里是个小标题</h2>
        <ol>
            <li data="one">1</li>
            <li data="two">2</li>
            <li data="three">3</li>
        </ol>
        <ul>
            <li code="84">84</li>
            <li code="104">104</li>
            <li code="223">223</li>
        </ul>
    </div>
    <div>
        <h3>这里是H3的内容
            <a href="http://www.baidu.com">百度一下</a>
            <ul>
                <li>test1</li>
                <li>test2</li>
            </ul>
        </h3>
    </div>
    <div id="go">
        <ul>
            <li>1</li>
            <li>2</li>
            <li>3</li>
            <li>4</li>
            <li>5</li>
            <li>6</li>
            <li>7</li>
            <li>8</li>
            <li>9</li>
            <li>10</li>
        </ul>
    </div>
</div>
</body>
</html>

1.3.成品一定

正如由百乐章斩、扇贝单词等英语好像工具软件,英语流利说要在啊用户提供再智能、专业、趣味的英语上方案,从言语说英语切入,使用户掌握更尽善尽美的英语。

1、匹配有节点下之有着.//

//得文档中具备匹配的节点,.抱当前节点,有的上我们用获得当前节点产卵之所有节点,.//定要是结.使用//,否则都见面获得整个文档的匹配结果.

1.4. 排行情况

活荣誉:曾获AppStore年度精选,并荣登教育类App排名第一、总榜第二。

手上,也如约以国内AppStore教育类排在第7,总榜在245,排名趋势啊较为平稳

App Store排名状况

抽样指标九单月的下载量变化


2、匹配包含有属性之持有的属性值//@lang
print tree.xpath('//@code') #匹配所有带有code属性的属性值
>>['84', '104', '223']

其次、用户需分析

3、选取若干途径|

是符号用于在一个xpath中形容多单表达式用,用|暌违,每个表达式互不干扰

print tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()') #多个匹配条件
>>[u'\u8fd9\u91cc\u662f\u4e2a\u5c0f\u6807\u9898', '1', '2', '3']

1.1.目标用户群画像

用户特征:

使人群性别占比较(来自艾瑞数据)

下人群年龄占比较(来自艾瑞数据)

应用区域占比较(来自艾瑞数据)  

直到2017年10月,使用英语流利说之用户男女性别比例为2:3;而年纪分布上,35春秋以下用户占用95%以上,其中24年以下用户占50%上述,则足以想见出用户主要是给升学、就业压力的宽泛用户;而地面方面,则好肯定看出有雷同丝都与沿海城市向二线城市还是内陆城市之扩散的自由化,其中河南、山东齐教育特别省的用户分布也愈发突出。(来源于艾瑞数据)

用户细分:

学生党:升级自身英语口语水准,以高达学业方面的应试要求(CET、雅思、GRE等),或毕业后的力要求(择业加分项、出国留洋等)。

上班族:升级自己英语口语水准,更好地服工作要求或者空气,以及可于升职加薪中重复有着优势。

宝妈宝爸:培养孩子的英语兴趣与习惯、使自己及子女的亲子教学更趣味、专业。

英语发烧友/口语爱好者:期望提升自己的英语水平、体验更增长的英语教学形式、随口说英语、随意看明白美剧、旅游时无设有语言障碍等。

4、 Axes(轴)
  • ###### child:选取当前节点的享有子元素

>>print tree.xpath('//div[@id="testid"]/child::ul/li/text()') #child子节点定位
>>['84', '104', '223']

>>print tree.xpath('//div[@id="testid"]/child::*') #child::*当前节点的所有子元素
>>[<Element h2 at 0x21bd148>, <Element ol at 0x21bd108>, <Element ul at 0x21bd0c8>]

>>#定位某节点下为ol的子节点下的所有节点
>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()') 
>>['1', '2', '3']
  • ###### attribute:选取当前节点的备属性

>>print tree.xpath('//div/attribute::id') #attribute定位id属性值
>>['testid', 'go']

>>print tree.xpath('//div[@id="testid"]/attribute::*') #定位当前节点的所有属性
>>['testid', 'first']
  • ###### ancestor:父辈元素 / ancestor-or-self:父辈元素以及当前元素

>>print tree.xpath('//div[@id="testid"]/ancestor::div/@price') #定位父辈div元素的price属性
>>['99.8']

>>print tree.xpath('//div[@id="testid"]/ancestor::div') #所有父辈div元素
>>print tree.xpath('//div[@id="testid"]/ancestor-or-self::div') #所有父辈及当前节点div元素
>>[<Element div at 0x23fc108>]
>>[<Element div at 0x23fc108>, <Element div at 0x23fc0c8>]
  • ###### descendant:后代 / descendant-or-self:后代及当前节点本身

使用办法与齐

  • ###### following :选取文档中时节点的终结标签后的备节点

#定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性
>>print tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()') 
>>['test1']
  • ###### namespace:选取当前节点的有着命名空间节点

>>print tree.xpath('//div[@id="testid"]/namespace::*') #选取命名空间节点
>>[('xml', 'http://www.w3.org/XML/1998/namespace')]
  • ###### parent:选取当前节点的父节点

>>#选取data值为one的父节点的子节点中最后一个节点的值
>>print tree.xpath('//li[@data="one"]/parent::ol/li[last()]/text()') 
>>['3']
  • ###### preceding:选取文档中即节点的开头标签之前的具有节点

>>#记住是标签开始之前,同级前节点及其子节点
>>print tree.xpath('//div[@id="testid"]/preceding::div/ul/li[1]/text()')[0] 
>>时间
>>#下面这两条可以看到其顺序是靠近testid节点的优先
>>print tree.xpath('//div[@id="testid"]/preceding::li[1]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding::li[3]/text()')[0]
>>任务
>>时间
  • ###### preceding-sibling:选取当前节点前的富有同级节点

>>#记住只能是同级节点
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::div/ul/li[2]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::li') #这里返回的就是空的了
>>地点
>>[]
  • ###### self:选取当前节点

>>#选取带id属性值的div中包含data-h属性的标签的所有属性值
>>print tree.xpath('//div[@id]/self::div[@data-h]/attribute::*') 
>>['testid', 'first']
  • ###### 组合拳

#定位id值为testid下的ol下的li属性值data为two的父元素ol的兄弟前节点h2的text值
>>print tree.xpath('//*[@id="testid"]/ol/li[@data="two"]/parent::ol/preceding-sibling::h2/text()')[0] 
>>这里是个小标题

2.2. 用户需简析

基本型需求:课完善、丰富且专业,可以系统地读口语课程,及时地抱本人学习状态的汇报,获得深造收获。

期望型需求:专员督导学习、英语水平测试、课程重个性化定制化,学习收获充分醒目,熟人社交。

兴奋型需求:社区互助,完成学习得奖励,学习过程还有趣味性。

5、position定位
>>print tree.xpath('//*[@id="testid"]/ol/li[position()=2]/text()')[0] 
>>2

2.3. 用户场景

假若用户的英语口语水平有限,很不便想象他会当公共场合开口学习,并且上本身就是是需要安静、私人的条件,所以基本的用户场景大部分凡是私密空间,并且屡屡用户是经采取碎片化时间(例如等待时、如厕时)来完成课程。


6、条件
>>定位所有h2标签中text值为`这里是个小标题`
>>print tree.xpath(u'//h2[text()="这里是个小标题"]/text()')[0]
>>这里是个小标题

老三、产品分析

7、函数
  • ###### count:统计

>>print tree.xpath('count(//li[@data])') #节点统计
>>3.0
  • ###### concat:字符串连接

>>print tree.xpath('concat(//li[@data="one"]/text(),//li[@data="three"]/text())')
>>13
  • ###### string:解析时节点下的字符

>>#string只能解析匹配到的第一个节点下的值,也就是作用于list时只匹配第一个
>>print tree.xpath('string(//li)') 
>>时间
  • ###### local-name:解析节点名称

>>print tree.xpath('local-name(//*[@id="testid"])') #local-name解析节点名称
>>div
  • ###### contains(string1,string2):如果 string1 包含 string2,则赶回 true,否则回 false

>>tree.xpath('//h3[contains(text(),"H3")]/a/text()')[0] #使用字符内容来辅助定位
>>百度一下

>>一记组合拳
>>#匹配带有href属性的a标签的先辈节点中的div,其兄弟节点中前一个div节点下ul下li中text属性包含“务”字的节点的值
>>print tree.xpath(u'//a[@href]/ancestor::div/preceding::div/ul/li[contains(text(),"务")]/text()')[0] 
>>任务
  • ###### not:布尔值(否)

>>print tree.xpath('count(//li[not(@data)])') #不包含data属性的li标签统计
>>18.0
  • ###### string-length:返回指定字符串的长度

>>#string-length函数+local-name函数定位节点名长度小于2的元素
>>print tree.xpath('//*[string-length(local-name())<2]/text()')[0] 
>>百度一下
  • ###### 组合拳2

>>#contains函数+local-name函数定位节点名包含di的元素
>>print tree.xpath('//div[@id="testid"]/following::div[contains(local-name(),"di")]') 
>>[<Element div at 0x225e108>, <Element div at 0x225e0c8>]
  • ###### or:多规格配合

>>print tree.xpath('//li[@data="one" or @code="84"]/text()') #or匹配多个条件
>>['1', '84']
>>#也可使用|
>>print tree.xpath('//li[@data="one"]/text() | //li[@code="84"]/text()') #|匹配多个条件
>>['1', '84']
  • ###### 组合拳3:floor + div除法 + ceiling

>>#position定位+last+div除法,选取中间两个
>>tree.xpath('//div[@id="go"]/ul/li[position()=floor(last() div 2+0.5) or position()=ceiling(last() div 2+0.5)]/text()') 
>>['5', '6']
  • ###### 组合拳4隔行定位:position+mod取余

>>#position+取余运算隔行定位
>>tree.xpath('//div[@id="go"]/ul/li[position()=((position() mod 2)=0)]/text()') 
  • ###### starts-with:以。。开始

>>#starts-with定位属性值以8开头的li元素
>>print tree.xpath('//li[starts-with(@code,"8")]/text()')[0]
>>84

3.1. 产品结构图

英语流利说App脑图

8、数值比
  • ###### <:小于

>>#所有li的code属性小于200的节点
>>print tree.xpath('//li[@code<200]/text()')
>>['84', '104']
  • ###### div:对某个片单节点的属于性值做除法

>>print tree.xpath('//div[@id="testid"]/ul/li[3]/@code div //div[@id="testid"]/ul/li[1]/@code')
>>2.65476190476
  • ###### 组合拳4:根据节点下之某平节点数量稳定

>>#选取所有ul下li节点数大于5的ul节点
>>print tree.xpath('//ul[count(li)>5]/li/text()')
>>['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']

3.2. 出品核心功能流程图

英语流利说App核心力量流程

9、将对象还原也字符串
>>> s = tree.xpath('//*[@id="testid"]')[0] #使用xpath定位一个节点
>>> s
<Element div at 0x2b6ffc8>
>>> s2 = etree.tostring(s) #还原这个对象为html字符串
>>> s2
'<div id="testid">\n\t\t<h2>&#213;&#226;&#192;&#239;&#202;&#199;&#184;&#246;&#208;&#161;&#177;&#234;&#204;&#226;</h2>\n\t\t<ol>\n\t\t\t<li data="one">1</li>\n\t\t\t<li data="two">2</li>\n\t\t\t<li data="three">3</li>\n\t\t</ol>\n\t\t<ul>\n\t\t\t<li code="84">84</li>\n\t\t\t<li code="104">104</li>\n\t\t\t<li code="223">223</li>\n\t\t</ul>\n\t</div>\n\t'

如上就是是目前自己收拾出底全部内容,说明一些,xpath虽快,但是利用时尽可能利用简单高效的办法,本文旨在定位那些比麻烦的地方采取,刻意追求晦涩难知晓的技能会影响该效率,并无长。

假如发生不当请评论指出,如产生双重强好玩儿的为得以贴补出来大家并学习。
末了修改日期:2017/11/23

3.3.第一职能点分析

增长的教程上道

英语流利说富有普遍的制品维度,而中最为基本的,就是铺天盖地之课教学形式;用户可以选取一样种植最可自己的主意开展英语学习,将各项短句练习或是配音嵌入在重新增长活泼的情景会话场景中,使用户更会感受及英语语境与失声语感;并且用户可以回看自己之变现反馈和系统学习提升理念。在普经过遭到,用户会给调动各个感官,其还在升级自己对英语的醒,并且关卡类的闯关设计,实时的打分机制,也加进了上学过程被之意趣,同时用户可收获各类奖励,奖励可兑付费课程,增强了应用频次和用户粘性。完成学习后,系统也用户提供的各类意见,也会促使用户不断学习,切身感受到祥和之积淀与提高。

晓你英语

透过测试,系统会供针对性测试者的定制化课程,使小白用户为能第一时间把握自己读书的可行性,并且远远好于线下辅导班的各项课程的物美价廉价位,也如用户能够当重复小本钱下提升英语水平。然而,即便创始人王翌说:“任何不发话效果和上学效率的在线教育产品与服务还是娱乐流氓”,懂你英语这同英语流利说标榜的特征服务,还是产生大量底用户不买账。

用户差评堆积图(来自appannie)

社区社交

英语流利说吗用户提供了交流社区就是同好世界(类似贴吧),用户中可以彼此关注、学习、交流,并且经过做世界,使与标签用户可重新精准的渗透到一个社交圈中,通过帖子一经用户联系在同步,整个世界也又集中、更具有粘性。

说客&视频

用户可以订阅、观看有趣味之剧目,让匪上课程的用户也得以产生另外可以增强英语水平的章程。

3.4.盈利模式

按量收费:坐卖课程也艺术。

遵时间收费:就知你英语,基本缴费也99元/月,时间段更丰富,收费更是多,折扣越充分。

账户充值:英语流利说被含有一种植为绿钻课程的概念,用户可通过现充来买绿钻课程。

广告收益:开屏广告、banner位的直接广告形式,金币兑换的个奖品形式,以及特权中心的友商广告形式。

3.5.版本信息:

此时此刻行版本是v5.7,而当齐一个版,英语流利说才生产了初的模块——AI实景教学。

v5.6 版本信息

不过,刚一上丝,用户反馈就萎缩,于是两龙后而达到了平版本来风风火火修复了只bug并注在更新说明里,这个故事告诉我们尽量测试出多重要呀~

贺词变化趋势图

足考察到,每一样赖版本更新几乎都见面以下载量方面迎来一个聊山顶,不过同时伴随着是的用户口碑的一个稍微低潮,不过很快即见面过来日常值。

同时,在v5.0的新大改版、和出了词单学习之v5.1中,都迎来了下载量的骤升,证明用户是待单词方面的习及考查的。

下载量估算

v5.0 版本信息

v5.1 版本信息

若英语流利说完全的用户好评占比较为深高,证明的确能够满足绝大多数用户在英语学习地方的满意度。

用户评分统计图


季、优化建议

行使性优化

任何应用非常容易出现闪退卡顿、白屏、网络环境差toast等等情况,我只体验了短短几天,试想倘若是一个中度乃至深度用户,这是均等种多么亏的收敛用户之缺憾。

好观看,不乏有广大用户这样的反感。

用户指向闪退问题的众多举报

供更精准的个性化课程学习和朗朗上口吧feed流

自我分别用口语力2000+的微博号和口语力只发20的微信号登录,完全两样级别之用户可供应选择的科目是同一的骨子里不够人性化。通过整合用户作为数据,分析到用户之行为习惯、英语水平、课程偏好等等,为不同特点的用户推荐不同的教程。

单词本功能优化

生词本中,英语流利说时单提供了搜寻以及查的功能,对于久远学习以力不从心熟记的单词,用户大为难通过单一的相牢牢控制。可以在单词列表上方区分星标单词,方便用户查找、复习。

社交圈子的身分把控

在使领域的进程遭到,可以窥见来恢宏之世界无关于英语学习,也发生大量0赞0重操旧业的帖子被加精,这点实地会分流用户的习精神力,会吃学习型用户指向平台冗杂的无关信息发意见用削弱对平台专业性的确认。社交本身是尚未坏处的,造成弊端的是绝非重新好地引导、把控用户生产的情节,所以引入针对天地的帖子质量之甄别机制是发肯定要的。不过当下有之统筹及技术实现内需良好考虑,比如重大词的遮挡与经过、帖子驳回对用户的相撞如何避免等等。

盛产实体周边产品、组织线下走

现已发诸多文化平台生产了实体周边产品,培养了用户及时上头的思维预设与习惯。可以尝尝做用户学习报告的报告,给予重度用户实体产品奖,如实体书、文具周边等等,已高达提高用户粘性、传播口碑的作用。面对面的攻与交流之深厚感受及记忆功能是远好于线上之上学方式的,定期开设线下学习沙龙,或是做用户之间发起活动之平台,使用户能够公开用英语沟通、做游戏,才能够还常见地说口语。