◇ 北京大学法学院教授、博士生导师 张 平
2012年8月，360公司与百度公司关于搜索引擎爬虫行为争议引发的“三百大战”，将互联网行业多年遵循的处于后台的行业惯例，即“爬虫协议”的法律效力问题推到了前台。
爬虫协议的概念，源自英文的“robots,txt”，即网络机器人协议。robots协议官方网站（http://www.robotstxt.org）对网络机器人（robots）所下的定义为：网络机器人（也叫网络游客、爬虫程序、蜘蛛程序），是一种自动爬行网络的程序。而爬虫协议即robots协议是指网站所有者利用robots文本文件指导他们的网站如何应对网络机器人，允许还是拒绝网络机器人抓取信息的协议。
多年来，业界一直遵循这种技术协议。现在的问题是，如果违反这一协议，是否构成违约或者侵权，是否有不正当竞争行为，而在无法寻找到直接的法律规范的情况下，能否依反不正当竞争法寻找解决问题的途径。
反不正当竞争法由于颁布时间过早，对于之后的技术发展很难有预见性，其规定的具体不正当竞争行为没有适用于互联网领域的不正当竞争现象。因此，大家都将目光投向了反不正当竞争法的一般条款，试图通过适用一般条款，对互联网的竞争行为进行规制。
反不正当竞争法的一般条款规定在第二条第一款：“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。”以及第二款：“本法所称不正当竞争行为，是指经营者违反本法规定，损害其他经营者的合法权益，扰乱社会经济秩序的行为。”构成适用反不正当竞争法一般条款的构成要件是：第一，法律对该种竞争行为未作出特别规定；第二，其他经营者的合法权益确因该竞争行为而受到了实际损害；第三，该种竞争行为因确属违反诚实信用原则和公认的商业道德而具有不正当性或者可归责性；第四，扰乱了正常的经济秩序。
由上述分析可知，一般条款适用的核心点为诚实信用和遵守商业道德，二者是判断竞争行为是否正当的基础。当面临某一竞争行为是否构成反不正当竞争法意义上的不正当竞争行为时，应考量其是否违背了诚实信用原则或违背了基本的商业道德。
最高人民法院在“海带配额”案中对于反不正当竞争法意义上的诚实信用原则以及商业道德进行了具体的解释：“在规范市场竞争秩序的反不正当竞争法意义上，诚实信用原则更多的是以公认的商业道德的形式体现出来的。商业道德要按照特定商业领域中市场交易参与者即经济人的伦理标准来加以评判……反不正当竞争法所要求的商业道德必须是公认的商业道德，是指特定商业领域普遍认知和接受的行为标准，具有公认性和一般性。即使在同一商业领域，由于是市场交易活动中的道德准则，公认的商业道德也应当是交易参与者共同和普遍认可的行为标准。具体到个案中的公认的商业道德，应当结合案件具体情形来分析判定。”
互联网行业中公认的商业道德更多地体现为互联网行业的基本行为准则，相关行为准则表现为从事互联网行业的企业所普遍接受的行为规则。但这些行为准则并非法律法规明确规定，而是在具体的商业实践过程中被企业在实际经营活动中所遵循。对于这些行为准则的违反意味着对商业道德的违反，相关行为可能构成反不正当竞争法一般条款所规定的不正当竞争行为，应受反不正当竞争法的规制。
而从行业内的基本实践以及法院的相关判决中我们可以看出，遵守爬虫协议已经成为互联网行业的基本行为准则。
1994年6月30日，在经过搜索引擎技术人员以及被搜索引擎抓取的网站站长共同讨论后，robots.txt协议正式发布。协议在世界互联网技术邮件组发布后，几乎所有的搜索引擎均在商业实践中予以采用并遵循，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度，搜搜，搜狗等公司。在中国国内互联网行业，大型网站也基本都将爬虫协议当作一项行业基本准则。
从法院判决的角度考察，国内存在一些具有指导借鉴意义的判例，法院在判决中对爬虫协议作为行业基本行为准则的效力进行了相应的确认。
在一起有关百度搜索侵犯隐私权的案例中，原告向万网公司发送了附有其个人信息的电子邮件，但是通过百度搜索，可以搜索到万网公司电子邮箱中关于原告的个人信息，因此，原告起诉两家公司，要求其就对其隐私权的侵害赔礼道歉并赔偿损失。北京市第一中级人民法院认为，万网公司已按行业惯例在根目录下安装了禁止链接的robots协议，即采取了安全防范措施。百度搜索引擎在进行抓取和收集互联网信息时，除非有证据证明其恶意获取相关信息，否则其行为并无不当。因此，对于搜索引擎来说，只要其在进行信息收集及抓取的过程中遵守了爬虫协议，就不会构成侵权。
北京一中院在另一起浙江泛亚电子商务有限公司诉百度著作权侵权的案件中，再一次确认了爬虫协议的相关效力。原告泛亚公司称在百度搜索其享有著作权的三首歌曲时，百度会提供可以进行免费下载该歌曲网站的链接，侵犯了其著作权。法院在判决中认为，权利人在针对搜索引擎的维权行为中，可以选择明示禁止收录的措施，比如网站可以创建robots.txt文件，以告知搜索引擎哪些内容可以收录，搜索引擎可以合法地收录未被禁止链接的网站。从这份判决可以看出，搜索引擎在提供搜索服务时，应当遵守爬虫协议。因此，遵守爬虫协议已经成为互联网行业内部的行业基本规范与准则。违反爬虫协议的行为可能构成不正当竞争。
在技术快速进步的时代，规制技术前沿领域是十分困难的，多变的互联网一夜之间就会产生出许多新的商业模式。技术开发者以技术先进性为追求目标，商人以最大盈利为目标，他们在推出新的商业模式和新技术时不会太多考虑法律的存在。于是在互联网领域，技术的快速发展与法律的严重滞后这一矛盾就更加突出。面对这一矛盾，法律的原则性条款在解决新问题方面有着得天独厚的优势，学者与司法实践人员都越来越注重原则条款在反不正当竞争领域内的作用，试图通过适用一般条款对互联网的竞争行为进行规制。
我们也应注意到，在法律缺位时，互联网也依靠她自身强大的调节作用、依靠技术标准和行业自律规则保持着良好运转：
第一，依靠技术规范管理——技术标准发挥重要作用。现代互联网是依据技术协议构建秩序的，经由各种组织和工程师们的多种汇集产生的基础协议TCP/IP协议最具有代表性，它是被用作连接计算机和网络的上百个协议的基础，其构建了信息传输的一整套技术标准。在这些技术标准中，尽管充满着创新的结晶——专利技术，但他们都被无偿地奉献给了互联网的基础设施。这些协议规范着信息高速公路上的通行者，没有警察但是有红绿灯，这是严格的技术规范世界。新的技术标准也可能会影响预料之中和预料之外的网络法律关系。云技术介入互联网，物联网的开始都是技术标准先行，工程师们继续发展新的协议去扩展互联网的容量和效率。随着新的标准的采纳，技术将继续推动法律产生变化。从这个意义上看，掌控了互联网新的技术标准，也就掌控了未来法律的方向。
第二，非正式规则与惯例——行业惯例与自律规则发挥作用。千百年来习惯法确立的是：惯例和习俗能确定什么是合理的。在缺乏强制性规则和技术标准的互联网领域，惯例和习俗形成的规律是：最初时大家各自采用不同的做法，随后某个人或某些人提出一种倡议的规范，慢慢地开始有人遵循使用。随着使用的人越来越多，逐渐演变成行业通用的惯例，大家都遵照使用。但规范本身并未被法律或行业组织确定为具有强制性，例如超文本传输协议（Http协议）、记录网民访问记录的Cookie以及前文涉及的爬虫协议等。
这些规范对于调节互联网参与各方的行为发挥着重大的作用。互联网没有国界，如果某一国家的互联网从业者不遵守国际通用的规范，将受国际互联网行业的排挤，使整个国家的互联网行业无法融入世界。因此，如果是国际通用的技术标准或行业惯例，法院应当将其确立为具有法律效力的商业习惯法，在发生违约或者侵权案件时，自愿性的规范应当被倡导，而基于商业道德和行业惯例的自律规则更应当得到法律的支持，反不正当竞争法的一般条款当为合适选择。
衡阳市人民政府办公室关于印发《衡阳市城市照明管理办法（试行）》的通知
湖南省衡阳市人民政府办公室
衡阳市人民政府办公室关于印发《衡阳市城市照明管理办法（试行）》的通知
各县市区人民政府，市直机关各单位：
《衡阳市城市照明管理办法（试行）》已经市人民政府同意，现印发给你们，请认真贯彻执行。
二O一一年八月十三日
衡阳市城市照明管理办法（试行）
第一章 总则
第一条 为了加强全市城市照明管理，促进能源节约，改善城市照明环境，根据《城市照明管理规定》（住建部第4号令），结合我市实际，特制定本办法。
第二条 衡阳市规划区内城市照明的规划、建设、管理、监督和维护，适用本办法。
本办法所称城市照明是指在城市规划区内城市道路、隧道、广场、公园、公共绿地、名胜古迹以及其他建（构）筑物的功能照明或者景观照明。
第三条 城市照明工作应当遵循以人为本、经济适用、节能环保、美化环境的原则，优先发展功能照明，严格控制公用设施和大型建筑物装饰性景观照明能耗。
第四条 衡阳市城市管理行政执法局是全市城市照明工作主管部门，负责本办法组织实施。市城市照明设施管理专业机构，具体负责市本级城市照明设施的建设和管理工作。
本办法所称城市照明设施是指用于城市照明的照明器具以及配电、监控、节能等系统的设备和附属设施等。
第五条 城市照明设施的设计、建设、维护和管理必须严格执行安全生产技术规程，制定防火、防盗、防雷、防漏电等安全防范措施。
第六条 任何单位和个人都应当爱护城市照明设施，对损坏、盗窃和非法收购城市照明设施等违法行为有权进行举报。
第七条 城市照明工作主管部门应当对城市照明节能工作中做出显著成绩的相关单位和个人给予表彰或者奖励。
第二章 规划和建设
第八条 城市照明工作主管部门应当会同城乡规划、住房和城乡建设、交通运输、电业等有关部门，依据城乡规划，组织编制城市照明专项规划，报本级人民政府批准后组织实施。
城市新建、改建、扩建项目和旧城改造项目配套建设的城市景观照明设施应当符合城市照明专项规划，并与主体工程同步规划设计、建设、验收和投入使用。
按照城市照明专项规划应当设置景观照明设施的已建的建（构）筑物，应当在规定的时间内完成亮化工程。
城乡规划主管部门应当将旧城改造项目配套建设的城市道路照明列入修建性详细规划、建设工程规划设计方案总平面图中综合予以审定。
第九条 城市照明工作主管部门应当委托具备相应资质的单位承担城市照明专项规划的编制工作。
编制城市照明专项规划，应当根据城市经济社会发展水平，结合城市自然地理环境、人文条件，按照城市总体规划确定的城市功能分区，对不同区域的功能照明和景观照明的照明效果提出灯杆和灯具选型、照度水平、眩光控制等具体要求。
第十条 从事城市照明工程勘察、设计、施工、监理的单位应当具备相应的资质；相关专业技术人员应当依法取得相应的执业资格。
第十一条 城市照明工作主管部门应当依据城市照明专项规划，组织制定城市照明设施建设和大修年度计划，报同级人民政府批准后，委托市城市照明设施专业管理机构负责具体实施。
第十二条 新建、改建城市照明设施，应当根据城市照明专项规划确定各类区域照明的亮度、功率密度，并符合国家《城市道路照明设计标准》（CJJ45-2006）、《城市夜景照明设计规范》（JGJ/T163-2008）和《工程建设标准强制性条文》（国务院第279号令）有关规定。
第十三条 政府投资的城市照明设施的建设经费，应当纳入城市建设资金计划。
政府鼓励社会资金用于城市照明设施的建设和维护。
第十四条 新建、改建城市道路项目的功能照明装灯率应当达到100%；公共区域装灯率达到95%。
与城市道路、住宅区及重要建（构）筑物配套的城市照明设施，应当按照城市照明规划建设，与主体工程同步设计、施工、验收和使用。
城市照明设施的新建、改建工程必须符合国家有关标准规范，并经城市照明工作主管部门组织城市照明设施专业管理机构验收合格后，方可办理资产移交手续。
第十五条 对符合城市照明设施安装条件的建（构）筑物和支撑物，可以在不影响其功能和周边环境的前提下，安装照明设施。
第三章 节约能源
第十六条 政府支持城市照明科学技术研究，推广使用节能、环保的城市照明新技术、新产品，开展绿色照明活动，提高城市照明的科学技术水平。
城市照明设施专业管理机构负责节能、环保的城市照明新技术、新产品的测试与评估。城市照明设施专业管理机构应按照实测效果对测试的城市照明新技术、新产品提出客观、真实的评估意见，报城市照明工作主管部门。推广使用节能、环保的城市照明新技术、新产品，需城市照明工作主管部门报本级人民政府批准后，由城市照明设施专业管理机构负责实施。
第十七条 政府鼓励在城市照明设施建设和改造中安装和使用太阳能、风能和风光互补等可再生能源利用系统。
城市照明设施专业管理机构负责可再生能源利用系统的测试与评估。城市照明设施专业管理机构应按照实测效果对测试的可再生能源利用系统提出客观、真实的评估意见，报城市照明工作主管部门。推广使用可再生能源利用系统，须城市照明工作主管部门报本级人民政府批准后，由城市照明设施专业管理机构负责实施。
第十八条 城市照明工作主管部门应当组织城市照明设施专业管理机构依据城市照明规划，制定城市照明节能计划和节能技术措施，优先发展和建设功能照明；严格控制景观照明的范围、亮度和功率密度，并依据国家有关规定淘汰低效照明产品。
第十九条 城市照明工作主管部门应当组织从事城市照明工程勘察、设计、施工、监理的单位和相关专业技术人员定期开展节能教育和岗位节能培训，提高城市照明节能水平。
第二十条 城市照明工作主管部门应当建立城市照明能耗考核制度，定期对城市景观照明能耗等情况进行检查。
第二十一条 城市照明应根据具体情况采用以下节能方式：
（一）根据功能区域划分和道路的行人、车辆流量等因素实行分时、分区、分级照明；
（二）对气体放电灯采用无功补偿；
（三）采用计算机监控等先进的开、关灯控制方式；
（四）新建、改建城市照明设施，严禁使用高耗能灯具，积极采用高效的光源和照明灯具，节能型的变压器、镇流器和控制电器，优先选择通过认证的高效节能产品；
（五）定期对照明灯具进行清扫，提高照明效果；
（六）其他行之有效的节能措施。
任何单位不得在城市景观照明中有过度照明等超能耗标准的行为。
第四章 管理和维护
第二十二条 城市照明工作主管部门应当建立健全各项城市照明管理规章制度，加强对城市照明设施的监管，督促城市照明设施专业管理机构建立健全各项城市照明维护管理规章制度，保证城市照明设施的完好和正常运行。
第二十三条 城市照明设施的管理和维护应当符合有关标准规范。城市照明设施专业管理机构应当坚持“安全第一”的方针，建立健全各项规章制度，认真履行下列维护和管理职现，保证城市照明设施的正常运行：
（一）确保在科学合理的时间以及城市人民政府和城市照明工作主管部门规定的时间开启、关闭城市照明，并使照度、亮度达到规定的标准；
（二）确保城市快速路、主干路、次干路的城市照明亮灯率不低于98%；支路、居住区道路的城市照明亮灯率不低于96%；
（三）确保城市照明设施完好、整洁、运行正常，设施完好率不得低于99%；
（四）妥善保管城市照明设施的有关技术资料和档案，并按规定移交到城市建设档案管理机构；
（五）因改造、维修需要整体关闭、开启城市照明三日之前在媒体上发布告示；
（六）完成城市照明主管部门委托的其他照明管理工作。
第二十四条 非政府投资建设的城市照明设施由建设单位负责维护；符合下列条件的，办理资产移交手续后，可以移交城市照明设施专业管理机构管理：
（一）符合城市照明专项规划及国家、地方有关标准；
（二）根据移交的维护量，提供适当的维护场所、维护车辆及2—3年的维护费等必要的维护、运行条件；
（三）提供完整的工程报建、设计及竣工资料；
（四）城市照明设施专业管理机构规定的其他条件和范围。
已办理移交手续的城市道路照明设施的管理和维护费用从城市维护建设资金中支出。
第二十五条 政府预算安排的城市照明设施运行维护费用应当专款专用，保证城市照明设施的正常运行。
城市照明设施大修改造经费纳入城市财政年度计划。
第二十六条 任何单位和个人在进行需迁移、拆除城市照明设施或者影响其安全运行的地上、地下施工时，必须符合下列规定：
（一）符合城市照明专项规划要求；
（二）应当申报并征得城市照明工作主管部门同意；
（三）由城市照明设施专业管理机构负责其迁移或拆除；
（四）施工费用由申报者承担。
城市抢险救灾主管部门因抢险救灾需要对城市照明设施采取各项措施的，不受前条款规定限制。但造成照明设施损坏的，城市抢险救灾主管部门应及时通知城市照明设施专业管理机构处理。
第二十七条 树木、建筑物及其他设施距城市照明设施的安全距离不得小于1.0米。
因自然生长而不符合城市照明设施安全距离的树木，由城市照明主管部门通知有关单位及时修剪；因不可抗力致使用树木严重危及城市照明设施安全运行的，城市照明专业管理单位可以采取紧急措施进行修剪，并及时报告城市园林绿化主管部门。
第二十八条 任何单位和个人都应当保护城市照明设施，不得实施下列行为：
（一）在城市照明设施上刻划、涂污；
（二）在距城市照明设施1米的安全距离内，擅自植树、挖坑取土或者设置其他物体，或者倾倒含酸、碱、盐等腐蚀物或者具有腐蚀性的废渣、废液；
（三）擅自在城市照明设施上张贴、悬挂、设置宣传品、广告；
（四）擅自在城市照明设施上架设线缆、安置其他设施或者接用电源；
（五）擅自迁移、拆除、利用城市照明设施；
（六）其他可能影响城市照明设施正常运行的行为。
第二十九条 损坏城市照明设施的单位和个人，应当立即保护事故现场，防止事故扩大，并通知城市照明设施专业管理机构。
第五章 法律责任
第三十条 不具备相应资质的单位和不具备相应执业资格证书的专业技术人员从事城市照明工程勘察、设计、施工、监理的，由相关行政主管部门依照有关法律、法规和规章予以处罚。
第三十一条 违反本办法，在城市景观照明中有过度照明等超能耗标准行为的，由城市照明主管部门责令限期改正；逾期未改正的，按照住房和城乡建设部《城市照明管理规定》第三十一条规定处以1000元以上3万元以下的罚款。
第三十二条 违反本办法，有第二十八条规定行为之一的，由城市照明主管部门责令限期改正，按照住房和城乡建设部《城市照明管理规定》第三十二条规定对个人处以200元以上1000元以下的罚款；对单位处以1000元以上3万元以下的罚款；造成损失的依法赔偿损失。
第三十三条 城市照明主管部门和城市照明设施专业管理机构工作人员玩忽职守、滥用职权、徇私舞弊的，按照住房和城乡建设部《城市照明管理规定》第三十三条规定依法给予行政处分；构成犯罪的，依法追究刑事责任。
第六章 附则
第三十四条 各县市、南岳区和未设镇建制工矿区的照明管理，可以参照本办法执行。
第三十五条 本办法自公布之日起施行。
