Pandas有三种数据结构:Series、DataFrame和Panel。Series类似于数组;DataFrame类似于表格;Panel可视为Excel的多表单Sheet
目录

Series是一种一维数组对象,包含一个值序列,并且包含数据标签,称为索引(index),通过索引来访问数组中的数据。
1.1通过列表创建Series
例1.通过列表创建
import pandas as pd obj = pd.Series([1,-2,3,4]) #仅由一个数组构成 print(obj)out: 0 1 1 -2 2 3 3 4 dtype: int64输出的第一列为index,第二列为数据value。如果创建Series时没有指定index,Pandas会采用整型数据作为该Series的index。也可以使用Python里的索引index和切片slice技术
例2.创建Series时指定索引
import pandas as pd i = ["a","c","d","a"] v = [2,4,5,7] t = pd.Series(v,index=i,name="col") print(t)out: a 2 c 4 d 5 a 7 Name: col, dtype: int64尽管创建Series指定了index,实际上Pandas还是有隐藏的index位置信息。所以Series有两套描述某条数据手段:位置和标签
例3.Series位置和标签的使用
import pandas as pd val = [2,4,5,6] idx1 = range(10,14) idx2 = "hello the cruel world".split() s0 = pd.Series(val) s1 = pd.Series(val,index=idx1) t = pd.Series(val,index=idx2) print(s0.index) print(s1.index) print(t.index) print(s0[0]) print(s1[10]) print('default:',t[0],'label:',t["hello"])1.2通过字典创建Series
如果数据被存放在一个Python字典中,也可以直接通过这个字典来创建Series
例4.通过字典创建Series
import pandas as pd sdata = {'Ohio':35000,'Texass':71000,'Oregon':16000,'Utah':5000} obj = pd.Series(sdata) print(obj)Ohio 35000 Texass 71000 Oregon 16000 Utah 5000 dtype: int64如果只传入一个字典,则结果Series中的索引就是原字典的键(有序排列)
例5.通过字典创建Series时的索引
import pandas as pd sdata = {"a":100,"b":200,"e":300} obj = pd.Series(sdata) print(obj)a 100 b 200 e 300 dtype: int64如果字典中的键值和指定的索引不匹配,则对应的值时NaN
例6.键值和指定索引不匹配
import pandas as pd sdata = {"a":100,"b":200,"e":300} letter = ["a","b","c","e"] obj = pd.Series(sdata,index=letter) print(obj)a 100.0 b 200.0 c NaN e 300.0 dtype: float64对于许多应用而言,Series重要的一个功能是:它在算术运算中会自动对齐不同索引的数据
例7.不同索引数据的自动对齐
import pandas as pd sdata = {'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000} obj1 = pd.Series(sdata) states = ['California','Ohio','Oregon','Texas'] obj2 = pd.Series(sdata,index=states) print(obj1+obj2)California NaN Ohio 70000.0 Oregon 32000.0 Texas 142000.0 Utah NaN dtype: float64Series的索引可以通过赋值的方式就地修改
例8.Series索引的修改
import pandas as pd obj = pd.Series([4,7,-3,2]) obj.index = ['Bob','Steve','Jeff','Ryan'] print(obj)Bob 4 Steve 7 Jeff -3 Ryan 2 dtype: int64
DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同类型的值(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,它可以被看作由Series组成的字典(共用同一个索引)。跟其他类型的数据结构相比,DataFrame中面向行和面向列的操作上基本上是平衡的
构建DataFrame的方式有很多,最常用的是直接传入一个由等长列表或NumPy数组组成的字典来形成DataFrame
例9.DataFrame的创建
import pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data) print(df)name sex year city 0 张三 female 2001 北京 1 李四 female 2001 上海 2 王五 male 2003 广州 3 小明 male 2002 北京DataFrame会自动加上索引(跟Series一样),且全部列会被有序排列。如果指定了列名序列,则DataFrame的列就会按照指定顺序进行排列
例10.DataFrame的索引import pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data,columns = ['name','year','sex','city']) print(df)name year sex city 0 张三 2001 female 北京 1 李四 2001 female 上海 2 王五 2003 male 广州 3 小明 2002 male 北京跟Series一样,如果传入的列在数据中找不到,就会产生NaN值。
例11.DataFrame创建时的空缺值import pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data,columns = ['name','year','sex','city','address']) print(df)name year sex city address 0 张三 2001 female 北京 NaN 1 李四 2001 female 上海 NaN 2 王五 2003 male 广州 NaN 3 小明 2002 male 北京 NaNDataFrame构造函数的columns函数给出列的名字,index给出label标签
例12.DataFrame构建时指定列名import pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data,columns = ['name','year','sex','city','address'],index = ['a','b','c','d']) print(df)name year sex city address a 张三 2001 female 北京 NaN b 李四 2001 female 上海 NaN c 王五 2003 male 广州 NaN d 小明 2002 male 北京 NaN
Pandas的索引对象负责管理轴标签和其他元数据(例如轴名称等).构建Series或DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个Index
例13.显示DataFrame的索引和列
import pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data,columns = ['name','year','sex','city','address'],index = ['a','b','c','d']) print(df) print(df.index) print(df.columns)name year sex city address a 张三 2001 female 北京 NaN b 李四 2001 female 上海 NaN c 王五 2003 male 广州 NaN d 小明 2002 male 北京 NaN Index(['a', 'b', 'c', 'd'], dtype='object') Index(['name', 'year', 'sex', 'city', 'address'], dtype='object')索引对象不能进行修改,否则会报错。不可修改性非常重要,因为这样才能使Index对象在多个数据结构之间安全共享
除了长的像数组,Index的功能也类似于一个固定大小的集合
例14.DataFrame的Indeximport pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data,columns = ['name','year','sex','city','address'],index = ['a','b','c','d']) print('name'in df.columns) print('a'in df.index)True True每个索引都有一些方法和属性,他们可用于设置逻辑并回答有关该索引所包含的数据的常见的问题。
方法 属性 append 连接另一个Index对象,产生一个新的index diff 计算差集,并得到一个Index intersection 计算交集 union 计算并集 isin 计算一个指示各值是否都包含在参数集合中的布尔型数组 delete 删除索引i处的元素,并得到新的Index drop 删除传入的值,并得到新的Index insect 将元素插入索引i处,并得到新的Index is_monotonic 将元素均大于或等于前一个元素时,返回True is.unique 当Index没有重复值时,返回True unique 计算Index中唯一值的数组
例15.插入索引值
import pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data,columns = ['name','year','sex','city','address'],index = ['a','b','c','d']) df.index.insert(1,'w')Index(['a', 'w', 'b', 'c', 'd'], dtype='object')
DataFrame的基础属性有value、index、columns、dtypes、ndim和shape,分别可以获取DataFrame的元素、索引、列名、类型、维度和形状。
例16.显示DataFrame的属性
import pandas as pd data = { 'name':['张三','李四','王五','小明'], 'sex':['female','female','male','male'], 'year':[2001,2001,2003,2002], 'city':['北京','上海','广州','北京'] } df = pd.DataFrame(data,columns = ['name','year','sex','city','address'],index = ['a','b','c','d']) print(df) print('信息表的所有值为:\n',df.values) print('信息表的所有列为:\n',df.columns) print('信息表的元素个数:\n',df.size) print('信息表的维度:\n',df.ndim) print('信息表的形状:\n',df.shape)name year sex city address a 张三 2001 female 北京 NaN b 李四 2001 female 上海 NaN c 王五 2003 male 广州 NaN d 小明 2002 male 北京 NaN 信息表的所有值为: [['张三' 2001 'female' '北京' nan] ['李四' 2001 'female' '上海' nan] ['王五' 2003 'male' '广州' nan] ['小明' 2002 'male' '北京' nan]] 信息表的所有列为: Index(['name', 'year', 'sex', 'city', 'address'], dtype='object') 信息表的元素个数: 20 信息表的维度: 2 信息表的形状: (4, 5)
总的来说,我对ruby还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何
我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer
刚入门rails,开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗?有哪些用例。您如何为Rails应用程序使用应用程序Controller?我不想在那里放太多代码,因为据我了解,每个请求都会调用此Controller。这是真的? 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度,尽管在某些情况下ApplicationContr
我想向我的Controller传递一个参数,它是一个简单的复选框,但我不知道如何在模型的form_for中引入它,这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框,但我该怎么做,模型中没有一个对象,而是一个要检查的对象,以便在Controller中创建一个ifelse,如果没有检查,请帮助我,非常感谢,谢谢