In [4]:

    import os

    # c:/aaa/_R/_R3/Ames_dataset/

    os.chdir("d:/Ptn2/Ames_dataset/")

    ​

    import pandas as pd

    import numpy as np

    ​

    # https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

    # Полезные параметры:

    ​

    #     sep -- задаёт символ-разделитель полей в файле (по умолчанию разделитель запятая);

    #     names -- список названий колонок, если он не задан в файле;

    #     index_col -- номер колонки с индексом.

    #     decimal -- символ-разделитель для знаков после запятой.

    #          decimal=b',',

    ​

    AH = pd.read_csv('AmesHousing.txt', sep="\t", header = 0, index_col=False)

    ​

    ​

. . .
In [11]:

    xxxxxxxxxx

    AH.head(n=2)

    data_top = AH.head()

    data_top

Out[11]:

| Order | PID | MS SubClass | MS Zoning | Lot Frontage | Lot Area | Street | Alley | Lot Shape | Land Contour | Utilities | Lot Config | Land Slope | Neighborhood | Condition 1 | Condition 2 | Bldg Type | House Style | Overall Qual | Overall Cond | Year Built | Year Remod/Add | Roof Style | Roof Matl | Exterior 1st | Exterior 2nd | Mas Vnr Type | Mas Vnr Area | Exter Qual | Exter Cond | Foundation | Bsmt Qual | Bsmt Cond | Bsmt Exposure | BsmtFin Type 1 | BsmtFin SF 1 | BsmtFin Type 2 | BsmtFin SF 2 | Bsmt Unf SF | Total Bsmt SF | Heating | Heating QC | Central Air | Electrical | 1st Flr SF | 2nd Flr SF | Low Qual Fin SF | Gr Liv Area | Bsmt Full Bath | Bsmt Half Bath | Full Bath | Half Bath | Bedroom AbvGr | Kitchen AbvGr | Kitchen Qual | TotRms AbvGrd | Functional | Fireplaces | Fireplace Qu | Garage Type | Garage Yr Blt | Garage Finish | Garage Cars | Garage Area | Garage Qual | Garage Cond | Paved Drive | Wood Deck SF | Open Porch SF | Enclosed Porch | 3Ssn Porch | Screen Porch | Pool Area | Pool QC | Fence | Misc Feature | Misc Val | Mo Sold | Yr Sold | Sale Type | Sale Condition | SalePrice
--- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | ---
0 | 1 | 526301100 | 20 | RL | 141.0 | 31770 | Pave | NaN | IR1 | Lvl | AllPub | Corner | Gtl | NAmes | Norm | Norm | 1Fam | 1Story | 6 | 5 | 1960 | 1960 | Hip | CompShg | BrkFace | Plywood | Stone | 112.0 | TA | TA | CBlock | TA | Gd | Gd | BLQ | 639.0 | Unf | 0.0 | 441.0 | 1080.0 | GasA | Fa | Y | SBrkr | 1656 | 0 | 0 | 1656 | 1.0 | 0.0 | 1 | 0 | 3 | 1 | TA | 7 | Typ | 2 | Gd | Attchd | 1960.0 | Fin | 2.0 | 528.0 | TA | TA | P | 210 | 62 | 0 | 0 | 0 | 0 | NaN | NaN | NaN | 0 | 5 | 2010 | WD | Normal | 215000
1 | 2 | 526350040 | 20 | RH | 80.0 | 11622 | Pave | NaN | Reg | Lvl | AllPub | Inside | Gtl | NAmes | Feedr | Norm | 1Fam | 1Story | 5 | 6 | 1961 | 1961 | Gable | CompShg | VinylSd | VinylSd | None | 0.0 | TA | TA | CBlock | TA | TA | No | Rec | 468.0 | LwQ | 144.0 | 270.0 | 882.0 | GasA | TA | Y | SBrkr | 896 | 0 | 0 | 896 | 0.0 | 0.0 | 1 | 0 | 2 | 1 | TA | 5 | Typ | 0 | NaN | Attchd | 1961.0 | Unf | 1.0 | 730.0 | TA | TA | Y | 140 | 0 | 0 | 0 | 120 | 0 | NaN | MnPrv | NaN | 0 | 6 | 2010 | WD | Normal | 105000
2 | 3 | 526351010 | 20 | RL | 81.0 | 14267 | Pave | NaN | IR1 | Lvl | AllPub | Corner | Gtl | NAmes | Norm | Norm | 1Fam | 1Story | 6 | 6 | 1958 | 1958 | Hip | CompShg | Wd Sdng | Wd Sdng | BrkFace | 108.0 | TA | TA | CBlock | TA | TA | No | ALQ | 923.0 | Unf | 0.0 | 406.0 | 1329.0 | GasA | TA | Y | SBrkr | 1329 | 0 | 0 | 1329 | 0.0 | 0.0 | 1 | 1 | 3 | 1 | Gd | 6 | Typ | 0 | NaN | Attchd | 1958.0 | Unf | 1.0 | 312.0 | TA | TA | Y | 393 | 36 | 0 | 0 | 0 | 0 | NaN | NaN | Gar2 | 12500 | 6 | 2010 | WD | Normal | 172000
3 | 4 | 526353030 | 20 | RL | 93.0 | 11160 | Pave | NaN | Reg | Lvl | AllPub | Corner | Gtl | NAmes | Norm | Norm | 1Fam | 1Story | 7 | 5 | 1968 | 1968 | Hip | CompShg | BrkFace | BrkFace | None | 0.0 | Gd | TA | CBlock | TA | TA | No | ALQ | 1065.0 | Unf | 0.0 | 1045.0 | 2110.0 | GasA | Ex | Y | SBrkr | 2110 | 0 | 0 | 2110 | 1.0 | 0.0 | 2 | 1 | 3 | 1 | Ex | 8 | Typ | 2 | TA | Attchd | 1968.0 | Fin | 2.0 | 522.0 | TA | TA | Y | 0 | 0 | 0 | 0 | 0 | 0 | NaN | NaN | NaN | 0 | 4 | 2010 | WD | Normal | 244000
4 | 5 | 527105010 | 60 | RL | 74.0 | 13830 | Pave | NaN | IR1 | Lvl | AllPub | Inside | Gtl | Gilbert | Norm | Norm | 1Fam | 2Story | 5 | 5 | 1997 | 1998 | Gable | CompShg | VinylSd | VinylSd | None | 0.0 | TA | TA | PConc | Gd | TA | No | GLQ | 791.0 | Unf | 0.0 | 137.0 | 928.0 | GasA | Gd | Y | SBrkr | 928 | 701 | 0 | 1629 | 0.0 | 0.0 | 2 | 1 | 3 | 1 | TA | 6 | Typ | 1 | TA | Attchd | 1997.0 | Fin | 2.0 | 482.0 | TA | TA | Y | 212 | 34 | 0 | 0 | 0 | 0 | NaN | MnPrv | NaN | 0 | 3 | 2010 | WD | Normal | 189900

. . .
In [3]:

    xxxxxxxxxx

    print(AH.shape)

    print(len(AH))

    ​

    (2930, 82)
    2930

. . .
In [4]:

    xxxxxxxxxx

    AH.dtypes

Out[4]:

    Order               int64
    PID                 int64
    MS SubClass         int64
    MS Zoning          object
    Lot Frontage      float64
    Lot Area            int64
    Street             object
    Alley              object
    Lot Shape          object
    Land Contour       object
    Utilities          object
    Lot Config         object
    Land Slope         object
    Neighborhood       object
    Condition 1        object
    Condition 2        object
    Bldg Type          object
    House Style        object
    Overall Qual        int64
    Overall Cond        int64
    Year Built          int64
    Year Remod/Add      int64
    Roof Style         object
    Roof Matl          object
    Exterior 1st       object
    Exterior 2nd       object
    Mas Vnr Type       object
    Mas Vnr Area      float64
    Exter Qual         object
    Exter Cond         object
                       ...
    Bedroom AbvGr       int64
    Kitchen AbvGr       int64
    Kitchen Qual       object
    TotRms AbvGrd       int64
    Functional         object
    Fireplaces          int64
    Fireplace Qu       object
    Garage Type        object
    Garage Yr Blt     float64
    Garage Finish      object
    Garage Cars       float64
    Garage Area       float64
    Garage Qual        object
    Garage Cond        object
    Paved Drive        object
    Wood Deck SF        int64
    Open Porch SF       int64
    Enclosed Porch      int64
    3Ssn Porch          int64
    Screen Porch        int64
    Pool Area           int64
    Pool QC            object
    Fence              object
    Misc Feature       object
    Misc Val            int64
    Mo Sold             int64
    Yr Sold             int64
    Sale Type          object
    Sale Condition     object
    SalePrice           int64
    Length: 82, dtype: object

. . .
In [21]:

    xxxxxxxxxx

    AH = pd.read_csv('AmesHousing.txt', sep="\t", header = 0, index_col=False)

    pd.set_option('display.max_columns', None) #Вывести все столбцы

    pd.set_option('display.max_rows', None)    # И все строки

    cols = AH.columns

    cols[1:89]

    AH.describe(include='all')

Out[21]:

| Order | PID | MS SubClass | MS Zoning | Lot Frontage | Lot Area | Street | Alley | Lot Shape | Land Contour | Utilities | Lot Config | Land Slope | Neighborhood | Condition 1 | Condition 2 | Bldg Type | House Style | Overall Qual | Overall Cond | Year Built | Year Remod/Add | Roof Style | Roof Matl | Exterior 1st | Exterior 2nd | Mas Vnr Type | Mas Vnr Area | Exter Qual | Exter Cond | Foundation | Bsmt Qual | Bsmt Cond | Bsmt Exposure | BsmtFin Type 1 | BsmtFin SF 1 | BsmtFin Type 2 | BsmtFin SF 2 | Bsmt Unf SF | Total Bsmt SF | Heating | Heating QC | Central Air | Electrical | 1st Flr SF | 2nd Flr SF | Low Qual Fin SF | Gr Liv Area | Bsmt Full Bath | Bsmt Half Bath | Full Bath | Half Bath | Bedroom AbvGr | Kitchen AbvGr | Kitchen Qual | TotRms AbvGrd | Functional | Fireplaces | Fireplace Qu | Garage Type | Garage Yr Blt | Garage Finish | Garage Cars | Garage Area | Garage Qual | Garage Cond | Paved Drive | Wood Deck SF | Open Porch SF | Enclosed Porch | 3Ssn Porch | Screen Porch | Pool Area | Pool QC | Fence | Misc Feature | Misc Val | Mo Sold | Yr Sold | Sale Type | Sale Condition | SalePrice
--- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | ---
count | 2930.00000 | 2.930000e+03 | 2930.000000 | 2930 | 2440.000000 | 2930.000000 | 2930 | 198 | 2930 | 2930 | 2930 | 2930 | 2930 | 2930 | 2930 | 2930 | 2930 | 2930 | 2930.000000 | 2930.000000 | 2930.000000 | 2930.000000 | 2930 | 2930 | 2930 | 2930 | 2907 | 2907.000000 | 2930 | 2930 | 2930 | 2850 | 2850 | 2847 | 2850 | 2929.000000 | 2849 | 2929.000000 | 2929.000000 | 2929.000000 | 2930 | 2930 | 2930 | 2929 | 2930.000000 | 2930.000000 | 2930.000000 | 2930.000000 | 2928.000000 | 2928.000000 | 2930.000000 | 2930.000000 | 2930.000000 | 2930.000000 | 2930 | 2930.000000 | 2930 | 2930.000000 | 1508 | 2773 | 2771.000000 | 2771 | 2929.000000 | 2929.000000 | 2771 | 2771 | 2930 | 2930.000000 | 2930.000000 | 2930.000000 | 2930.000000 | 2930.000000 | 2930.000000 | 13 | 572 | 106 | 2930.000000 | 2930.000000 | 2930.000000 | 2930 | 2930 | 2930.000000
unique | NaN | NaN | NaN | 7 | NaN | NaN | 2 | 2 | 4 | 4 | 3 | 5 | 3 | 28 | 9 | 8 | 5 | 8 | NaN | NaN | NaN | NaN | 6 | 8 | 16 | 17 | 5 | NaN | 4 | 5 | 6 | 5 | 5 | 4 | 6 | NaN | 6 | NaN | NaN | NaN | 6 | 5 | 2 | 5 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 5 | NaN | 8 | NaN | 5 | 6 | NaN | 3 | NaN | NaN | 5 | 5 | 3 | NaN | NaN | NaN | NaN | NaN | NaN | 4 | 4 | 5 | NaN | NaN | NaN | 10 | 6 | NaN
top | NaN | NaN | NaN | RL | NaN | NaN | Pave | Grvl | Reg | Lvl | AllPub | Inside | Gtl | NAmes | Norm | Norm | 1Fam | 1Story | NaN | NaN | NaN | NaN | Gable | CompShg | VinylSd | VinylSd | None | NaN | TA | TA | PConc | TA | TA | No | GLQ | NaN | Unf | NaN | NaN | NaN | GasA | Ex | Y | SBrkr | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | TA | NaN | Typ | NaN | Gd | Attchd | NaN | Unf | NaN | NaN | TA | TA | Y | NaN | NaN | NaN | NaN | NaN | NaN | Gd | MnPrv | Shed | NaN | NaN | NaN | WD | Normal | NaN
freq | NaN | NaN | NaN | 2273 | NaN | NaN | 2918 | 120 | 1859 | 2633 | 2927 | 2140 | 2789 | 443 | 2522 | 2900 | 2425 | 1481 | NaN | NaN | NaN | NaN | 2321 | 2887 | 1026 | 1015 | 1752 | NaN | 1799 | 2549 | 1310 | 1283 | 2616 | 1906 | 859 | NaN | 2499 | NaN | NaN | NaN | 2885 | 1495 | 2734 | 2682 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 1494 | NaN | 2728 | NaN | 744 | 1731 | NaN | 1231 | NaN | NaN | 2615 | 2665 | 2652 | NaN | NaN | NaN | NaN | NaN | NaN | 4 | 330 | 95 | NaN | NaN | NaN | 2536 | 2413 | NaN
mean | 1465.50000 | 7.144645e+08 | 57.387372 | NaN | 69.224590 | 10147.921843 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 6.094881 | 5.563140 | 1971.356314 | 1984.266553 | NaN | NaN | NaN | NaN | NaN | 101.896801 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 442.629566 | NaN | 49.722431 | 559.262547 | 1051.614544 | NaN | NaN | NaN | NaN | 1159.557679 | 335.455973 | 4.676792 | 1499.690444 | 0.431352 | 0.061134 | 1.566553 | 0.379522 | 2.854266 | 1.044369 | NaN | 6.443003 | NaN | 0.599317 | NaN | NaN | 1978.132443 | NaN | 1.766815 | 472.819734 | NaN | NaN | NaN | 93.751877 | 47.533447 | 23.011604 | 2.592491 | 16.002048 | 2.243345 | NaN | NaN | NaN | 50.635154 | 6.216041 | 2007.790444 | NaN | NaN | 180796.060068
std | 845.96247 | 1.887308e+08 | 42.638025 | NaN | 23.365335 | 7880.017759 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 1.411026 | 1.111537 | 30.245361 | 20.860286 | NaN | NaN | NaN | NaN | NaN | 179.112611 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 455.590839 | NaN | 169.168476 | 439.494153 | 440.615067 | NaN | NaN | NaN | NaN | 391.890885 | 428.395715 | 46.310510 | 505.508887 | 0.524820 | 0.245254 | 0.552941 | 0.502629 | 0.827731 | 0.214076 | NaN | 1.572964 | NaN | 0.647921 | NaN | NaN | 25.528411 | NaN | 0.760566 | 215.046549 | NaN | NaN | NaN | 126.361562 | 67.483400 | 64.139059 | 25.141331 | 56.087370 | 35.597181 | NaN | NaN | NaN | 566.344288 | 2.714492 | 1.316613 | NaN | NaN | 79886.692357
min | 1.00000 | 5.263011e+08 | 20.000000 | NaN | 21.000000 | 1300.000000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 1.000000 | 1.000000 | 1872.000000 | 1950.000000 | NaN | NaN | NaN | NaN | NaN | 0.000000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 0.000000 | NaN | 0.000000 | 0.000000 | 0.000000 | NaN | NaN | NaN | NaN | 334.000000 | 0.000000 | 0.000000 | 334.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | NaN | 2.000000 | NaN | 0.000000 | NaN | NaN | 1895.000000 | NaN | 0.000000 | 0.000000 | NaN | NaN | NaN | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | NaN | NaN | NaN | 0.000000 | 1.000000 | 2006.000000 | NaN | NaN | 12789.000000
25% | 733.25000 | 5.284770e+08 | 20.000000 | NaN | 58.000000 | 7440.250000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 5.000000 | 5.000000 | 1954.000000 | 1965.000000 | NaN | NaN | NaN | NaN | NaN | 0.000000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 0.000000 | NaN | 0.000000 | 219.000000 | 793.000000 | NaN | NaN | NaN | NaN | 876.250000 | 0.000000 | 0.000000 | 1126.000000 | 0.000000 | 0.000000 | 1.000000 | 0.000000 | 2.000000 | 1.000000 | NaN | 5.000000 | NaN | 0.000000 | NaN | NaN | 1960.000000 | NaN | 1.000000 | 320.000000 | NaN | NaN | NaN | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | NaN | NaN | NaN | 0.000000 | 4.000000 | 2007.000000 | NaN | NaN | 129500.000000
50% | 1465.50000 | 5.354536e+08 | 50.000000 | NaN | 68.000000 | 9436.500000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 6.000000 | 5.000000 | 1973.000000 | 1993.000000 | NaN | NaN | NaN | NaN | NaN | 0.000000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 370.000000 | NaN | 0.000000 | 466.000000 | 990.000000 | NaN | NaN | NaN | NaN | 1084.000000 | 0.000000 | 0.000000 | 1442.000000 | 0.000000 | 0.000000 | 2.000000 | 0.000000 | 3.000000 | 1.000000 | NaN | 6.000000 | NaN | 1.000000 | NaN | NaN | 1979.000000 | NaN | 2.000000 | 480.000000 | NaN | NaN | NaN | 0.000000 | 27.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | NaN | NaN | NaN | 0.000000 | 6.000000 | 2008.000000 | NaN | NaN | 160000.000000
75% | 2197.75000 | 9.071811e+08 | 70.000000 | NaN | 80.000000 | 11555.250000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 7.000000 | 6.000000 | 2001.000000 | 2004.000000 | NaN | NaN | NaN | NaN | NaN | 164.000000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 734.000000 | NaN | 0.000000 | 802.000000 | 1302.000000 | NaN | NaN | NaN | NaN | 1384.000000 | 703.750000 | 0.000000 | 1742.750000 | 1.000000 | 0.000000 | 2.000000 | 1.000000 | 3.000000 | 1.000000 | NaN | 7.000000 | NaN | 1.000000 | NaN | NaN | 2002.000000 | NaN | 2.000000 | 576.000000 | NaN | NaN | NaN | 168.000000 | 70.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | NaN | NaN | NaN | 0.000000 | 8.000000 | 2009.000000 | NaN | NaN | 213500.000000
max | 2930.00000 | 1.007100e+09 | 190.000000 | NaN | 313.000000 | 215245.000000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 10.000000 | 9.000000 | 2010.000000 | 2010.000000 | NaN | NaN | NaN | NaN | NaN | 1600.000000 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | 5644.000000 | NaN | 1526.000000 | 2336.000000 | 6110.000000 | NaN | NaN | NaN | NaN | 5095.000000 | 2065.000000 | 1064.000000 | 5642.000000 | 3.000000 | 2.000000 | 4.000000 | 2.000000 | 8.000000 | 3.000000 | NaN | 15.000000 | NaN | 4.000000 | NaN | NaN | 2207.000000 | NaN | 5.000000 | 1488.000000 | NaN | NaN | NaN | 1424.000000 | 742.000000 | 1012.000000 | 508.000000 | 576.000000 | 800.000000 | NaN | NaN | NaN | 17000.000000 | 12.000000 | 2010.000000 | NaN | NaN | 755000.000000

. . .
In [1]:

    xxxxxxxxxx

    import matplotlib

    import matplotlib.pyplot as plt

    ​

    # выбор темы картинок на Ваш вкус. Необязательная строчка.

    matplotlib.style.use('classic')

    # Эта строчка нужна для того, чтобы картинки отображались в ячейках

    %matplotlib inline

    ​

    ​

. . .
In [ ]:

    xxxxxxxxxx

    #  https://matplotlib.org/api/_as_gen/matplotlib.pyplot.hist.html

. . .
In [7]:

    xxxxxxxxxx

    AH['SalePrice'].hist();

. . .
In [9]:

    xxxxxxxxxx

    AH['SalePrice'].hist(bins=40);

. . .
In [9]:

    xxxxxxxxxx

    AH['SalePrice'].hist(bins=60, normed=1);

. . .
In [10]:

    xxxxxxxxxx

    print(plt.style.available)

    ['bmh', 'classic', 'dark_background', 'fast', 'fivethirtyeight', 'ggplot', 'grayscale', 'seaborn-bright', 'seaborn-colorblind', 'seaborn-dark-palette', 'seaborn-dark', 'seaborn-darkgrid', 'seaborn-deep', 'seaborn-muted', 'seaborn-notebook', 'seaborn-paper', 'seaborn-pastel', 'seaborn-poster', 'seaborn-talk', 'seaborn-ticks', 'seaborn-white', 'seaborn-whitegrid', 'seaborn', 'Solarize_Light2', '_classic_test']

. . .
In [10]:

    xxxxxxxxxx

    matplotlib.style.use('seaborn-deep')

    ​

    AH['SalePrice'].hist(bins=60, normed=1);

. . .
In [12]:

    xxxxxxxxxx

    np.log(AH['SalePrice']).hist(bins=45, normed=1);

    ​

. . .
In [46]:

    ​

. . .
In [13]:

    xxxxxxxxxx

    from scipy.stats.kde import gaussian_kde

    ​

    from numpy import linspace,hstack

    from pylab import plot,show,hist

    #  отсутствует sheather jones bandwidth

    #  Scott Silverman normal density reference

. . .
In [18]:

    xxxxxxxxxx

    # создадим функцию

    #  my_density = gaussian_kde(AH['SalePrice'])

    #  my_density = gaussian_kde(AH['SalePrice'], bw_method = 5)

    #  my_density = gaussian_kde(AH['SalePrice'], bw_method = 1)

    my_density = gaussian_kde(AH['SalePrice'], bw_method = 0.1)

    ​

    ​

    # график

    x = linspace(min(AH['SalePrice']), max(AH['SalePrice']),1000)

    plot(x, my_density(x),'g') # distribution function

    ​

    hist(AH['SalePrice'], normed=1, alpha=.3) # histogram

    show()

. . .
In [19]:

    xxxxxxxxxx

    plot(x, my_density(x),'r')

    ​

Out[19]:

    [<matplotlib.lines.Line2D at 0xadcc550>]

. . .
In [20]:

    xxxxxxxxxx

    # По идее, вызов должен быть такой: df.groupby('Status')['Length'].hist(alpha=0.6)

    # Но из-за бага https://github.com/pandas-dev/pandas/issues/10756

    # приходится делать дополнительный вызов plot

    AH.groupby('MS Zoning')['SalePrice'].plot.hist(alpha=0.6)

    # Добавляем легенду

    plt.legend();

. . .
In [21]:

    xxxxxxxxxx

    AH.groupby('MS Zoning')['SalePrice'].plot.hist(normed=1, alpha=0.6)

    # Добавляем легенду

    plt.legend();

. . .
In [ ]:

    ​

. . .
In [18]:

    xxxxxxxxxx

    ax = AH.boxplot(column='SalePrice', by='MS Zoning')

    # Хак для того, чтобы исправить наезжающие заголовки графика

    ax.get_figure().suptitle('')

    ​

    ​

    ​

    C:\Users\abbat_VL\Anaconda3\lib\site-packages\numpy\core\fromnumeric.py:57: FutureWarning: reshape is deprecated and will raise in a subsequent release. Please use .values.reshape(...) instead
      return getattr(obj, method)(*args, **kwds)

Out[18]:

    Text(0.5,0.98,'')

. . .
In [21]:

    xxxxxxxxxx

    print (AH['MS Zoning'].value_counts())

    RL         2273
    RM          462
    FV          139
    RH           27
    C (all)      25
    A (agr)       2
    I (all)       2
    Name: MS Zoning, dtype: int64

. . .
In [ ]:

    xxxxxxxxxx

    #  разброс данных

    #  дисперсия

    #  стандартное отклонение

    #  разброс

    #  IQR

. . .
In [ ]:

    xxxxxxxxxx

    # города россии

. . .
In [23]:

    xxxxxxxxxx

    # import os

    # c:\aaa\temp_py\Shad_Python_01_2\

    os.chdir("c:/aaa/temp_py/Shad_Python_01_2/")

    ​

    # import pandas as pd

    # import numpy as np

. . .
In [24]:

    xxxxxxxxxx

    town = pd.read_csv('town_1959_2.csv', encoding='cp1251', index_col=u'номер')

    town.head()

Out[24]:

| город | население
--- | --- | ---
номер |  |
1 | Москва | 5046.0
2 | Санкт-Петербург | 3003.0
3 | Нижний_Новгород | 941.0
4 | Новосибирск | 885.0
5 | Самара | 806.0

. . .
In [55]:

    xxxxxxxxxx

    print(town)

                           город  население
    номер
    1                     Москва     5046.0
    2            Санкт-Петербург     3003.0
    3            Нижний_Новгород      941.0
    4                Новосибирск      885.0
    5                     Самара      806.0
    6               Екатеринбург      779.0
    7                  Челябинск      689.0
    8                     Казань      667.0
    9                      Пермь      629.0
    10            Ростов-на-Дону      600.0
    11                 Волгоград      591.0
    12                      Омск      581.1
    13                   Саратов      579.0
    14                       Уфа      547.0
    15                   Воронеж      447.0
    16                Красноярск      412.0
    17                 Ярославль      407.0
    18               Новокузнецк      380.0
    19                   Иркутск      366.0
    20                      Тула      351.0
    21                   Иваново      338.0
    22              Нижний_Тагил      338.0
    23                 Хабаровск      323.0
    24                 Краснодар      313.0
    25              Магнитогорск      311.0
    26                   Барнаул      303.0
    27                 Астрахань      295.8
    28               Владивосток      291.0
    29                  Кемерово      289.0
    30                    Ижевск      285.0
    ...                      ...        ...
    975                 Новосиль        2.4
    976            Нижневартовск        2.3
    977               Ак-Довурак        2.2
    978                  Анадырь        2.2
    979                 Кизилюрт        2.2
    980                  Чекалин        2.2
    981                 Приморск        2.1
    982    Железногорск-Илимский        2.0
    983                      Гай        1.9
    984             Железногорск        1.9
    985            Среднеколымск        1.9
    986            Новоульяновск        1.8
    987               Нефтекумск        1.7
    988             Сосновый_Бор        1.7
    989                 Ладушкин        1.6
    990                 Курильск        1.5
    991                Верхоянск        1.4
    992                   Высоцк        1.4
    993                Байкальск        1.2
    994                   Пущино        1.1
    995                     Урай        0.9
    996                Стрежевой        0.8
    997                   Кириши        0.6
    998              Нефтеюганск        0.6
    999                 Нерюнгри        0.5
    1 000            Усть-Илимск        0.5
    1 001                  Ясный        0.5
    1 002                 Мегион        0.4
    1 003                  Надым        0.3
    1 004                 Вуктыл        0.1

    [1004 rows x 2 columns]

. . .
In [59]:

    xxxxxxxxxx

    town.describe()

Out[59]:

| население
--- | ---
count | 1004.000000
mean | 52.925199
std | 204.885662
min | 0.100000
25% | 10.700000
50% | 19.250000
75% | 37.975000
max | 5046.000000

. . .
In [75]:

    xxxxxxxxxx

    len(town[town['население'] < 52.925199])/len(town)*100

Out[75]:

    82.37051792828686

. . .
In [25]:

    xxxxxxxxxx

    ​

    #  town['население'].median()

    ​

    town_2 = town.iloc[2:1004,:]

    #  print(x_2)

    ​

    town_2.describe()

Out[25]:

| население
--- | ---
count | 1002.000000
mean | 44.997904
std | 91.645867
min | 0.100000
25% | 10.700000
50% | 19.150000
75% | 37.550000
max | 941.000000

. . .
In [27]:

    xxxxxxxxxx

    len(town_2[town_2['население'] < 44.997904])/len(town_2)*100

Out[27]:

    78.84231536926147

. . .
In [ ]:

    ​

. . .
In [56]:

    xxxxxxxxxx

    town[u'население'].hist()

Out[56]:

    <matplotlib.axes._subplots.AxesSubplot at 0xa4bb128>

. . .
In [57]:

    xxxxxxxxxx

    x = np.log10(df[u'население'])

    pd.Series(x).hist()

Out[57]:

    <matplotlib.axes._subplots.AxesSubplot at 0xa4bb358>

. . .
In [58]:

    xxxxxxxxxx

    pd.Series(x).hist(bins=45)

Out[58]:

    <matplotlib.axes._subplots.AxesSubplot at 0xc12d588>

. . .
In [ ]:

    xxxxxxxxxx

    #  где выбросы?

. . .
Close Expand Open in Pager Close