我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。
据魔蝎科技官网（现已无法打开）介绍，魔蝎科技成立于2016年，是国内领先的大数据智能风控服务供应商，其将人工智能、大数据、区块链、云计算等前沿技术，深度应用于反欺诈、智能决策、信用分析等多个金融风险管理服务领域，对外提供风险分析、反欺诈、多维度用户画像、授信评分等多维度风险管理服务。曾为上千家金融机构、网贷平台等提供大数据风控服务，曾系金融科技行业头部企业。
2019年之前，魔蝎公司等大数据风控公司一度野蛮生长，其运营模式通常为通过网络爬虫技术获取数据信息，而后对数据进行分析使用，用于为下游提供大数据风控服务。
2019年9月6日，据爆料，杭州西湖分局集结200余名警力，对涉嫌侵犯公民个人信息的魔蝎科技进行统一抓捕。抓获涉案人员120余名，冻结资金2300余万元，勘验固定服务器1000余台，扣押电脑100多台，手机200余部。
从事金融科技行业多年的资深人士透露，被查原因很可能与违规使用爬虫数据以及暴力催收有关。
网络爬虫原本是指平台按照一定规则，自动从互联网上提取网络信息的程序或脚本。但近年来，由于一些爬虫技术被应用于“套路贷”的暴力催收上，而被推向风口浪尖。
据金融科技领域人士称，彼时现金贷行业流行一个“风控奇招”——用一款被称为"同业爬虫"的产品，直接将其他现金贷平台的放款额和风控数据扒出来，相当于别家代为做了风控。
比如魔蝎科技员工介绍，只需提供其他现金贷平台的用户名和密码，"同业爬虫"就可以爬取用户的基本信息、银行卡信息、职业、联系人、贷款记录、理财信息等，成功率在85%以上。
曾有大数据公司的相关负责人表示，“我们本身不生产数据，也不买卖数据。所有的数据都是由客户授权，我们收的只是技术服务费用。”
但在征信行业从业者看来，用户授权并非就为爬虫业务披上了合法的外衣，过度爬取和不明使用信息的现象仍十分普遍。一些第三方数据公司会把爬取的信息存储或缓存下来，再对外提供数据服务，就已经违法了；如果涉及到买卖数据，更是触犯刑法。
法院审理查明，魔蝎科技会将其开发的前端插件嵌入网贷平台APP中。网贷平台用户使用网贷平台的App借款时，需要在魔蝎科技提供的前端插件上输入其通讯运营商、社保、公积金、淘宝京东、学信网、征信中心等网站的账号、密码。
经过用户授权后，魔蝎科技的爬虫程序即代替用户进入其个人账户，利用各类爬虫技术，爬取（复制）上述企、事业单位网站上贷款用户本人账户内的通话记录、社保、公积金等各类数据，并按与用户的约定提供给网贷平台用于判断用户的资信情况，并从网贷平台获取每笔0.1元至0.3元不等的费用。
尽管魔蝎科技在和个人贷款用户签订的《数据采集服务协议》中明确告知，“不会保存用户账号密码，仅在用户每次单独授权的情况下采集信息”，但其仍在服务器上采用技术手段长期保存用户各类账号和密码。截至2019年9月案发时，以明文形式非法保存的个人贷款用户各类账号和密码条数多达2000万余条。
根据两高《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》，非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息50条以上即可入罪。
魔蝎科技的入罪原因，是在数据收集环节未经社保、公积金、运营商等平台授权爬取个人信息，同时未经用户授权的情况下非法长期保存用户各类账号和密码在自己租用的阿里云服务器上，还为套路贷系统平台提供风险控制及催收支撑服务，还将非法获取的公民个人信息出售给其他多个套路贷犯罪团伙，为其提供风控服务和催收支持，非法牟利，爬虫本无罪，罪在用途。
魔蝎科技依据《数据采集服务协议》获取贷款用户的账号密码，在未经被爬取方同意的情况下，利用爬虫技术手段，采取“模拟登陆”方式，获取服务器中所存储贷款用户数据的行为，可能构成未经授权进入被爬取方的计算机信息系统，从而触犯"非法获取计算机信息系统罪"或"侵犯公民个人信息罪"，不过在本案中法院对此未做出否定性评价。
近年来魔蝎科技、新颜科技、公信宝、聚信立、天翼征信、同盾科技等多家头部大数据风控公司，相继被查，均因涉嫌侵犯公民个人信息罪被刑事立案，相关公司高管被采取刑事强制措施，多家知名公司都已经主动或被动地停止了相关爬虫业务，前车之鉴，企业应当审视自身爬虫相关业务的商业模式存在的违法可能，关系到用户个人敏感信息，一旦被盗取或滥用，很可能流入非法金融借贷团伙手中，极易引发黑灰产风险。
对于侵犯公民个人信息罪的罚金数额，《最高人民法院、最高人民检察院关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第十二条明确规定，“一般在违法所得的一倍以上五倍以下” ，从上述判决情况中可以看到，魔蝎科技被追缴的违法所得为三千万元，同时还被判处同等数额的罚金，这意味着，公司一旦触犯此罪名，所退赔的违法所得和罚金的总额，至少为违法产品营业收入的两倍，上述多家互联网公司、大数据公司，由于对自身数据处理的商业模式违法性认识错误，触犯法律红线而最终无法经营，与公民个人信息相关，一定要做好合法性及风险评估，切忌抱有侥幸心理！
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------
本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co
我正在尝试在Rails上安装ruby，到目前为止一切都已安装，但是当我尝试使用rakedb:create创建数据库时，我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf
文章目录1.开发板选择*用到的资源2.串口通信（个人理解）3.代码分析（注释比较详细）1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子，不过代码大概在F103系列的板子上都可以运行，我试过在野火103的霸道板上也可以，主要看一下串口对应的引脚一不一样就行了，不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源，采集数据一个，串口通信一个，板子对应引脚如下：串口1，TX：PA9，RX：PA10串口2，TX：PA2，RX：PA32.串口通信（个人理解）我就从串口采集传感器数据这个过程说一下我自己的理解，
SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手
