drivers/pci/dwc/pci-imx6.c

   1 /*
   2  * PCIe host controller driver for Freescale i.MX6 SoCs
   3  *
   4  * Copyright (C) 2013 Kosagi
   5  *              http://www.kosagi.com
   6  *
   7  * Author: Sean Cross <xobs@kosagi.com>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License version 2 as
  11  * published by the Free Software Foundation.
  12  */
  13
  14 #include <linux/clk.h>
  15 #include <linux/delay.h>
  16 #include <linux/gpio.h>
  17 #include <linux/kernel.h>
  18 #include <linux/mfd/syscon.h>
  19 #include <linux/mfd/syscon/imx6q-iomuxc-gpr.h>
  20 #include <linux/mfd/syscon/imx7-iomuxc-gpr.h>
  21 #include <linux/module.h>
  22 #include <linux/of_gpio.h>
  23 #include <linux/of_device.h>
  24 #include <linux/pci.h>
  25 #include <linux/platform_device.h>
  26 #include <linux/regmap.h>
  27 #include <linux/resource.h>
  28 #include <linux/signal.h>
  29 #include <linux/types.h>
  30 #include <linux/interrupt.h>
  31 #include <linux/reset.h>
  32
  33 #include "pcie-designware.h"
  34
  35 #define to_imx6_pcie(x) dev_get_drvdata((x)->dev)
  36
  37 enum imx6_pcie_variants {
  38         IMX6Q,
  39         IMX6SX,
  40         IMX6QP,
  41         IMX7D,
  42 };
  43
  44 struct imx6_pcie {
  45         struct dw_pcie          *pci;
  46         int                     reset_gpio;
  47         bool                    gpio_active_high;
  48         struct clk              *pcie_bus;
  49         struct clk              *pcie_phy;
  50         struct clk              *pcie_inbound_axi;
  51         struct clk              *pcie;
  52         struct regmap           *iomuxc_gpr;
  53         struct reset_control    *pciephy_reset;
  54         struct reset_control    *apps_reset;
  55         enum imx6_pcie_variants variant;
  56         u32                     tx_deemph_gen1;
  57         u32                     tx_deemph_gen2_3p5db;
  58         u32                     tx_deemph_gen2_6db;
  59         u32                     tx_swing_full;
  60         u32                     tx_swing_low;
  61         int                     link_gen;
  62 };
  63
  64 /* Parameters for the waiting for PCIe PHY PLL to lock on i.MX7 */
  65 #define PHY_PLL_LOCK_WAIT_MAX_RETRIES   2000
  66 #define PHY_PLL_LOCK_WAIT_USLEEP_MIN    50
  67 #define PHY_PLL_LOCK_WAIT_USLEEP_MAX    200
  68
  69 /* PCIe Root Complex registers (memory-mapped) */
  70 #define PCIE_RC_LCR                             0x7c
  71 #define PCIE_RC_LCR_MAX_LINK_SPEEDS_GEN1        0x1
  72 #define PCIE_RC_LCR_MAX_LINK_SPEEDS_GEN2        0x2
  73 #define PCIE_RC_LCR_MAX_LINK_SPEEDS_MASK        0xf
  74
  75 #define PCIE_RC_LCSR                            0x80
  76
  77 /* PCIe Port Logic registers (memory-mapped) */
  78 #define PL_OFFSET 0x700
  79 #define PCIE_PL_PFLR (PL_OFFSET + 0x08)
  80 #define PCIE_PL_PFLR_LINK_STATE_MASK            (0x3f << 16)
  81 #define PCIE_PL_PFLR_FORCE_LINK                 (1 << 15)
  82 #define PCIE_PHY_DEBUG_R0 (PL_OFFSET + 0x28)
  83 #define PCIE_PHY_DEBUG_R1 (PL_OFFSET + 0x2c)
  84 #define PCIE_PHY_DEBUG_R1_XMLH_LINK_IN_TRAINING (1 << 29)
  85 #define PCIE_PHY_DEBUG_R1_XMLH_LINK_UP          (1 << 4)
  86
  87 #define PCIE_PHY_CTRL (PL_OFFSET + 0x114)
  88 #define PCIE_PHY_CTRL_DATA_LOC 0
  89 #define PCIE_PHY_CTRL_CAP_ADR_LOC 16
  90 #define PCIE_PHY_CTRL_CAP_DAT_LOC 17
  91 #define PCIE_PHY_CTRL_WR_LOC 18
  92 #define PCIE_PHY_CTRL_RD_LOC 19
  93
  94 #define PCIE_PHY_STAT (PL_OFFSET + 0x110)
  95 #define PCIE_PHY_STAT_ACK_LOC 16
  96
  97 #define PCIE_LINK_WIDTH_SPEED_CONTROL   0x80C
  98 #define PORT_LOGIC_SPEED_CHANGE         (0x1 << 17)
  99
 100 /* PHY registers (not memory-mapped) */
 101 #define PCIE_PHY_RX_ASIC_OUT 0x100D
 102 #define PCIE_PHY_RX_ASIC_OUT_VALID      (1 << 0)
 103
 104 #define PHY_RX_OVRD_IN_LO 0x1005
 105 #define PHY_RX_OVRD_IN_LO_RX_DATA_EN (1 << 5)
 106 #define PHY_RX_OVRD_IN_LO_RX_PLL_EN (1 << 3)
 107
 108 static int pcie_phy_poll_ack(struct imx6_pcie *imx6_pcie, int exp_val)
 109 {
 110         struct dw_pcie *pci = imx6_pcie->pci;
 111         u32 val;
 112         u32 max_iterations = 10;
 113         u32 wait_counter = 0;
 114
 115         do {
 116                 val = dw_pcie_readl_dbi(pci, PCIE_PHY_STAT);
 117                 val = (val >> PCIE_PHY_STAT_ACK_LOC) & 0x1;
 118                 wait_counter++;
 119
 120                 if (val == exp_val)
 121                         return 0;
 122
 123                 udelay(1);
 124         } while (wait_counter < max_iterations);
 125
 126         return -ETIMEDOUT;
 127 }
 128
 129 static int pcie_phy_wait_ack(struct imx6_pcie *imx6_pcie, int addr)
 130 {
 131         struct dw_pcie *pci = imx6_pcie->pci;
 132         u32 val;
 133         int ret;
 134
 135         val = addr << PCIE_PHY_CTRL_DATA_LOC;
 136         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, val);
 137
 138         val |= (0x1 << PCIE_PHY_CTRL_CAP_ADR_LOC);
 139         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, val);
 140
 141         ret = pcie_phy_poll_ack(imx6_pcie, 1);
 142         if (ret)
 143                 return ret;
 144
 145         val = addr << PCIE_PHY_CTRL_DATA_LOC;
 146         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, val);
 147
 148         return pcie_phy_poll_ack(imx6_pcie, 0);
 149 }
 150
 151 /* Read from the 16-bit PCIe PHY control registers (not memory-mapped) */
 152 static int pcie_phy_read(struct imx6_pcie *imx6_pcie, int addr, int *data)
 153 {
 154         struct dw_pcie *pci = imx6_pcie->pci;
 155         u32 val, phy_ctl;
 156         int ret;
 157
 158         ret = pcie_phy_wait_ack(imx6_pcie, addr);
 159         if (ret)
 160                 return ret;
 161
 162         /* assert Read signal */
 163         phy_ctl = 0x1 << PCIE_PHY_CTRL_RD_LOC;
 164         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, phy_ctl);
 165
 166         ret = pcie_phy_poll_ack(imx6_pcie, 1);
 167         if (ret)
 168                 return ret;
 169
 170         val = dw_pcie_readl_dbi(pci, PCIE_PHY_STAT);
 171         *data = val & 0xffff;
 172
 173         /* deassert Read signal */
 174         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, 0x00);
 175
 176         return pcie_phy_poll_ack(imx6_pcie, 0);
 177 }
 178
 179 static int pcie_phy_write(struct imx6_pcie *imx6_pcie, int addr, int data)
 180 {
 181         struct dw_pcie *pci = imx6_pcie->pci;
 182         u32 var;
 183         int ret;
 184
 185         /* write addr */
 186         /* cap addr */
 187         ret = pcie_phy_wait_ack(imx6_pcie, addr);
 188         if (ret)
 189                 return ret;
 190
 191         var = data << PCIE_PHY_CTRL_DATA_LOC;
 192         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, var);
 193
 194         /* capture data */
 195         var |= (0x1 << PCIE_PHY_CTRL_CAP_DAT_LOC);
 196         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, var);
 197
 198         ret = pcie_phy_poll_ack(imx6_pcie, 1);
 199         if (ret)
 200                 return ret;
 201
 202         /* deassert cap data */
 203         var = data << PCIE_PHY_CTRL_DATA_LOC;
 204         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, var);
 205
 206         /* wait for ack de-assertion */
 207         ret = pcie_phy_poll_ack(imx6_pcie, 0);
 208         if (ret)
 209                 return ret;
 210
 211         /* assert wr signal */
 212         var = 0x1 << PCIE_PHY_CTRL_WR_LOC;
 213         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, var);
 214
 215         /* wait for ack */
 216         ret = pcie_phy_poll_ack(imx6_pcie, 1);
 217         if (ret)
 218                 return ret;
 219
 220         /* deassert wr signal */
 221         var = data << PCIE_PHY_CTRL_DATA_LOC;
 222         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, var);
 223
 224         /* wait for ack de-assertion */
 225         ret = pcie_phy_poll_ack(imx6_pcie, 0);
 226         if (ret)
 227                 return ret;
 228
 229         dw_pcie_writel_dbi(pci, PCIE_PHY_CTRL, 0x0);
 230
 231         return 0;
 232 }
 233
 234 static void imx6_pcie_reset_phy(struct imx6_pcie *imx6_pcie)
 235 {
 236         u32 tmp;
 237
 238         pcie_phy_read(imx6_pcie, PHY_RX_OVRD_IN_LO, &tmp);
 239         tmp |= (PHY_RX_OVRD_IN_LO_RX_DATA_EN |
 240                 PHY_RX_OVRD_IN_LO_RX_PLL_EN);
 241         pcie_phy_write(imx6_pcie, PHY_RX_OVRD_IN_LO, tmp);
 242
 243         usleep_range(2000, 3000);
 244
 245         pcie_phy_read(imx6_pcie, PHY_RX_OVRD_IN_LO, &tmp);
 246         tmp &= ~(PHY_RX_OVRD_IN_LO_RX_DATA_EN |
 247                   PHY_RX_OVRD_IN_LO_RX_PLL_EN);
 248         pcie_phy_write(imx6_pcie, PHY_RX_OVRD_IN_LO, tmp);
 249 }
 250
 251 /*  Added for PCI abort handling */
 252 static int imx6q_pcie_abort_handler(unsigned long addr,
 253                 unsigned int fsr, struct pt_regs *regs)
 254 {
 255         return 0;
 256 }
 257
 258 static void imx6_pcie_assert_core_reset(struct imx6_pcie *imx6_pcie)
 259 {
 260         switch (imx6_pcie->variant) {
 261         case IMX7D:
 262                 reset_control_assert(imx6_pcie->pciephy_reset);
 263                 reset_control_assert(imx6_pcie->apps_reset);
 264                 break;
 265         case IMX6SX:
 266                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 267                                    IMX6SX_GPR12_PCIE_TEST_POWERDOWN,
 268                                    IMX6SX_GPR12_PCIE_TEST_POWERDOWN);
 269                 /* Force PCIe PHY reset */
 270                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR5,
 271                                    IMX6SX_GPR5_PCIE_BTNRST_RESET,
 272                                    IMX6SX_GPR5_PCIE_BTNRST_RESET);
 273                 break;
 274         case IMX6QP:
 275                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR1,
 276                                    IMX6Q_GPR1_PCIE_SW_RST,
 277                                    IMX6Q_GPR1_PCIE_SW_RST);
 278                 break;
 279         case IMX6Q:
 280                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR1,
 281                                    IMX6Q_GPR1_PCIE_TEST_PD, 1 << 18);
 282                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR1,
 283                                    IMX6Q_GPR1_PCIE_REF_CLK_EN, 0 << 16);
 284                 break;
 285         }
 286 }
 287
 288 static int imx6_pcie_enable_ref_clk(struct imx6_pcie *imx6_pcie)
 289 {
 290         struct dw_pcie *pci = imx6_pcie->pci;
 291         struct device *dev = pci->dev;
 292         int ret = 0;
 293
 294         switch (imx6_pcie->variant) {
 295         case IMX6SX:
 296                 ret = clk_prepare_enable(imx6_pcie->pcie_inbound_axi);
 297                 if (ret) {
 298                         dev_err(dev, "unable to enable pcie_axi clock\n");
 299                         break;
 300                 }
 301
 302                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 303                                    IMX6SX_GPR12_PCIE_TEST_POWERDOWN, 0);
 304                 break;
 305         case IMX6QP:            /* FALLTHROUGH */
 306         case IMX6Q:
 307                 /* power up core phy and enable ref clock */
 308                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR1,
 309                                    IMX6Q_GPR1_PCIE_TEST_PD, 0 << 18);
 310                 /*
 311                  * the async reset input need ref clock to sync internally,
 312                  * when the ref clock comes after reset, internal synced
 313                  * reset time is too short, cannot meet the requirement.
 314                  * add one ~10us delay here.
 315                  */
 316                 udelay(10);
 317                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR1,
 318                                    IMX6Q_GPR1_PCIE_REF_CLK_EN, 1 << 16);
 319                 break;
 320         case IMX7D:
 321                 break;
 322         }
 323
 324         return ret;
 325 }
 326
 327 static void imx7d_pcie_wait_for_phy_pll_lock(struct imx6_pcie *imx6_pcie)
 328 {
 329         u32 val;
 330         unsigned int retries;
 331         struct device *dev = imx6_pcie->pci->dev;
 332
 333         for (retries = 0; retries < PHY_PLL_LOCK_WAIT_MAX_RETRIES; retries++) {
 334                 regmap_read(imx6_pcie->iomuxc_gpr, IOMUXC_GPR22, &val);
 335
 336                 if (val & IMX7D_GPR22_PCIE_PHY_PLL_LOCKED)
 337                         return;
 338
 339                 usleep_range(PHY_PLL_LOCK_WAIT_USLEEP_MIN,
 340                              PHY_PLL_LOCK_WAIT_USLEEP_MAX);
 341         }
 342
 343         dev_err(dev, "PCIe PLL lock timeout\n");
 344 }
 345
 346 static void imx6_pcie_deassert_core_reset(struct imx6_pcie *imx6_pcie)
 347 {
 348         struct dw_pcie *pci = imx6_pcie->pci;
 349         struct device *dev = pci->dev;
 350         int ret;
 351
 352         ret = clk_prepare_enable(imx6_pcie->pcie_phy);
 353         if (ret) {
 354                 dev_err(dev, "unable to enable pcie_phy clock\n");
 355                 return;
 356         }
 357
 358         ret = clk_prepare_enable(imx6_pcie->pcie_bus);
 359         if (ret) {
 360                 dev_err(dev, "unable to enable pcie_bus clock\n");
 361                 goto err_pcie_bus;
 362         }
 363
 364         ret = clk_prepare_enable(imx6_pcie->pcie);
 365         if (ret) {
 366                 dev_err(dev, "unable to enable pcie clock\n");
 367                 goto err_pcie;
 368         }
 369
 370         ret = imx6_pcie_enable_ref_clk(imx6_pcie);
 371         if (ret) {
 372                 dev_err(dev, "unable to enable pcie ref clock\n");
 373                 goto err_ref_clk;
 374         }
 375
 376         /* allow the clocks to stabilize */
 377         usleep_range(200, 500);
 378
 379         /* Some boards don't have PCIe reset GPIO. */
 380         if (gpio_is_valid(imx6_pcie->reset_gpio)) {
 381                 gpio_set_value_cansleep(imx6_pcie->reset_gpio,
 382                                         imx6_pcie->gpio_active_high);
 383                 msleep(100);
 384                 gpio_set_value_cansleep(imx6_pcie->reset_gpio,
 385                                         !imx6_pcie->gpio_active_high);
 386         }
 387
 388         switch (imx6_pcie->variant) {
 389         case IMX7D:
 390                 reset_control_deassert(imx6_pcie->pciephy_reset);
 391                 imx7d_pcie_wait_for_phy_pll_lock(imx6_pcie);
 392                 break;
 393         case IMX6SX:
 394                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR5,
 395                                    IMX6SX_GPR5_PCIE_BTNRST_RESET, 0);
 396                 break;
 397         case IMX6QP:
 398                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR1,
 399                                    IMX6Q_GPR1_PCIE_SW_RST, 0);
 400
 401                 usleep_range(200, 500);
 402                 break;
 403         case IMX6Q:             /* Nothing to do */
 404                 break;
 405         }
 406
 407         return;
 408
 409 err_ref_clk:
 410         clk_disable_unprepare(imx6_pcie->pcie);
 411 err_pcie:
 412         clk_disable_unprepare(imx6_pcie->pcie_bus);
 413 err_pcie_bus:
 414         clk_disable_unprepare(imx6_pcie->pcie_phy);
 415 }
 416
 417 static void imx6_pcie_init_phy(struct imx6_pcie *imx6_pcie)
 418 {
 419         switch (imx6_pcie->variant) {
 420         case IMX7D:
 421                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 422                                    IMX7D_GPR12_PCIE_PHY_REFCLK_SEL, 0);
 423                 break;
 424         case IMX6SX:
 425                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 426                                    IMX6SX_GPR12_PCIE_RX_EQ_MASK,
 427                                    IMX6SX_GPR12_PCIE_RX_EQ_2);
 428                 /* FALLTHROUGH */
 429         default:
 430                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 431                                    IMX6Q_GPR12_PCIE_CTL_2, 0 << 10);
 432
 433                 /* configure constant input signal to the pcie ctrl and phy */
 434                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 435                                    IMX6Q_GPR12_LOS_LEVEL, 9 << 4);
 436
 437                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR8,
 438                                    IMX6Q_GPR8_TX_DEEMPH_GEN1,
 439                                    imx6_pcie->tx_deemph_gen1 << 0);
 440                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR8,
 441                                    IMX6Q_GPR8_TX_DEEMPH_GEN2_3P5DB,
 442                                    imx6_pcie->tx_deemph_gen2_3p5db << 6);
 443                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR8,
 444                                    IMX6Q_GPR8_TX_DEEMPH_GEN2_6DB,
 445                                    imx6_pcie->tx_deemph_gen2_6db << 12);
 446                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR8,
 447                                    IMX6Q_GPR8_TX_SWING_FULL,
 448                                    imx6_pcie->tx_swing_full << 18);
 449                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR8,
 450                                    IMX6Q_GPR8_TX_SWING_LOW,
 451                                    imx6_pcie->tx_swing_low << 25);
 452                 break;
 453         }
 454
 455         regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 456                         IMX6Q_GPR12_DEVICE_TYPE, PCI_EXP_TYPE_ROOT_PORT << 12);
 457 }
 458
 459 static int imx6_pcie_wait_for_link(struct imx6_pcie *imx6_pcie)
 460 {
 461         struct dw_pcie *pci = imx6_pcie->pci;
 462         struct device *dev = pci->dev;
 463
 464         /* check if the link is up or not */
 465         if (!dw_pcie_wait_for_link(pci))
 466                 return 0;
 467
 468         dev_dbg(dev, "DEBUG_R0: 0x%08x, DEBUG_R1: 0x%08x\n",
 469                 dw_pcie_readl_dbi(pci, PCIE_PHY_DEBUG_R0),
 470                 dw_pcie_readl_dbi(pci, PCIE_PHY_DEBUG_R1));
 471         return -ETIMEDOUT;
 472 }
 473
 474 static int imx6_pcie_wait_for_speed_change(struct imx6_pcie *imx6_pcie)
 475 {
 476         struct dw_pcie *pci = imx6_pcie->pci;
 477         struct device *dev = pci->dev;
 478         u32 tmp;
 479         unsigned int retries;
 480
 481         for (retries = 0; retries < 200; retries++) {
 482                 tmp = dw_pcie_readl_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL);
 483                 /* Test if the speed change finished. */
 484                 if (!(tmp & PORT_LOGIC_SPEED_CHANGE))
 485                         return 0;
 486                 usleep_range(100, 1000);
 487         }
 488
 489         dev_err(dev, "Speed change timeout\n");
 490         return -EINVAL;
 491 }
 492
 493 static irqreturn_t imx6_pcie_msi_handler(int irq, void *arg)
 494 {
 495         struct imx6_pcie *imx6_pcie = arg;
 496         struct dw_pcie *pci = imx6_pcie->pci;
 497         struct pcie_port *pp = &pci->pp;
 498
 499         return dw_handle_msi_irq(pp);
 500 }
 501
 502 static int imx6_pcie_establish_link(struct imx6_pcie *imx6_pcie)
 503 {
 504         struct dw_pcie *pci = imx6_pcie->pci;
 505         struct device *dev = pci->dev;
 506         u32 tmp;
 507         int ret;
 508
 509         /*
 510          * Force Gen1 operation when starting the link.  In case the link is
 511          * started in Gen2 mode, there is a possibility the devices on the
 512          * bus will not be detected at all.  This happens with PCIe switches.
 513          */
 514         tmp = dw_pcie_readl_dbi(pci, PCIE_RC_LCR);
 515         tmp &= ~PCIE_RC_LCR_MAX_LINK_SPEEDS_MASK;
 516         tmp |= PCIE_RC_LCR_MAX_LINK_SPEEDS_GEN1;
 517         dw_pcie_writel_dbi(pci, PCIE_RC_LCR, tmp);
 518
 519         /* Start LTSSM. */
 520         if (imx6_pcie->variant == IMX7D)
 521                 reset_control_deassert(imx6_pcie->apps_reset);
 522         else
 523                 regmap_update_bits(imx6_pcie->iomuxc_gpr, IOMUXC_GPR12,
 524                                    IMX6Q_GPR12_PCIE_CTL_2, 1 << 10);
 525
 526         ret = imx6_pcie_wait_for_link(imx6_pcie);
 527         if (ret)
 528                 goto err_reset_phy;
 529
 530         if (imx6_pcie->link_gen == 2) {
 531                 /* Allow Gen2 mode after the link is up. */
 532                 tmp = dw_pcie_readl_dbi(pci, PCIE_RC_LCR);
 533                 tmp &= ~PCIE_RC_LCR_MAX_LINK_SPEEDS_MASK;
 534                 tmp |= PCIE_RC_LCR_MAX_LINK_SPEEDS_GEN2;
 535                 dw_pcie_writel_dbi(pci, PCIE_RC_LCR, tmp);
 536
 537                 /*
 538                  * Start Directed Speed Change so the best possible
 539                  * speed both link partners support can be negotiated.
 540                  */
 541                 tmp = dw_pcie_readl_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL);
 542                 tmp |= PORT_LOGIC_SPEED_CHANGE;
 543                 dw_pcie_writel_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL, tmp);
 544
 545                 if (imx6_pcie->variant != IMX7D) {
 546                         /*
 547                          * On i.MX7, DIRECT_SPEED_CHANGE behaves differently
 548                          * from i.MX6 family when no link speed transition
 549                          * occurs and we go Gen1 -> yep, Gen1. The difference
 550                          * is that, in such case, it will not be cleared by HW
 551                          * which will cause the following code to report false
 552                          * failure.
 553                          */
 554
 555                         ret = imx6_pcie_wait_for_speed_change(imx6_pcie);
 556                         if (ret) {
 557                                 dev_err(dev, "Failed to bring link up!\n");
 558                                 goto err_reset_phy;
 559                         }
 560                 }
 561
 562                 /* Make sure link training is finished as well! */
 563                 ret = imx6_pcie_wait_for_link(imx6_pcie);
 564                 if (ret) {
 565                         dev_err(dev, "Failed to bring link up!\n");
 566                         goto err_reset_phy;
 567                 }
 568         } else {
 569                 dev_info(dev, "Link: Gen2 disabled\n");
 570         }
 571
 572         tmp = dw_pcie_readl_dbi(pci, PCIE_RC_LCSR);
 573         dev_info(dev, "Link up, Gen%i\n", (tmp >> 16) & 0xf);
 574         return 0;
 575
 576 err_reset_phy:
 577         dev_dbg(dev, "PHY DEBUG_R0=0x%08x DEBUG_R1=0x%08x\n",
 578                 dw_pcie_readl_dbi(pci, PCIE_PHY_DEBUG_R0),
 579                 dw_pcie_readl_dbi(pci, PCIE_PHY_DEBUG_R1));
 580         imx6_pcie_reset_phy(imx6_pcie);
 581         return ret;
 582 }
 583
 584 static void imx6_pcie_host_init(struct pcie_port *pp)
 585 {
 586         struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
 587         struct imx6_pcie *imx6_pcie = to_imx6_pcie(pci);
 588
 589         imx6_pcie_assert_core_reset(imx6_pcie);
 590         imx6_pcie_init_phy(imx6_pcie);
 591         imx6_pcie_deassert_core_reset(imx6_pcie);
 592         dw_pcie_setup_rc(pp);
 593         imx6_pcie_establish_link(imx6_pcie);
 594
 595         if (IS_ENABLED(CONFIG_PCI_MSI))
 596                 dw_pcie_msi_init(pp);
 597 }
 598
 599 static int imx6_pcie_link_up(struct dw_pcie *pci)
 600 {
 601         return dw_pcie_readl_dbi(pci, PCIE_PHY_DEBUG_R1) &
 602                         PCIE_PHY_DEBUG_R1_XMLH_LINK_UP;
 603 }
 604
 605 static struct dw_pcie_host_ops imx6_pcie_host_ops = {
 606         .host_init = imx6_pcie_host_init,
 607 };
 608
 609 static int imx6_add_pcie_port(struct imx6_pcie *imx6_pcie,
 610                               struct platform_device *pdev)
 611 {
 612         struct dw_pcie *pci = imx6_pcie->pci;
 613         struct pcie_port *pp = &pci->pp;
 614         struct device *dev = &pdev->dev;
 615         int ret;
 616
 617         if (IS_ENABLED(CONFIG_PCI_MSI)) {
 618                 pp->msi_irq = platform_get_irq_byname(pdev, "msi");
 619                 if (pp->msi_irq <= 0) {
 620                         dev_err(dev, "failed to get MSI irq\n");
 621                         return -ENODEV;
 622                 }
 623
 624                 ret = devm_request_irq(dev, pp->msi_irq,
 625                                        imx6_pcie_msi_handler,
 626                                        IRQF_SHARED | IRQF_NO_THREAD,
 627                                        "mx6-pcie-msi", imx6_pcie);
 628                 if (ret) {
 629                         dev_err(dev, "failed to request MSI irq\n");
 630                         return ret;
 631                 }
 632         }
 633
 634         pp->root_bus_nr = -1;
 635         pp->ops = &imx6_pcie_host_ops;
 636
 637         ret = dw_pcie_host_init(pp);
 638         if (ret) {
 639                 dev_err(dev, "failed to initialize host\n");
 640                 return ret;
 641         }
 642
 643         return 0;
 644 }
 645
 646 static const struct dw_pcie_ops dw_pcie_ops = {
 647         .link_up = imx6_pcie_link_up,
 648 };
 649
 650 static int imx6_pcie_probe(struct platform_device *pdev)
 651 {
 652         struct device *dev = &pdev->dev;
 653         struct dw_pcie *pci;
 654         struct imx6_pcie *imx6_pcie;
 655         struct resource *dbi_base;
 656         struct device_node *node = dev->of_node;
 657         int ret;
 658
 659         imx6_pcie = devm_kzalloc(dev, sizeof(*imx6_pcie), GFP_KERNEL);
 660         if (!imx6_pcie)
 661                 return -ENOMEM;
 662
 663         pci = devm_kzalloc(dev, sizeof(*pci), GFP_KERNEL);
 664         if (!pci)
 665                 return -ENOMEM;
 666
 667         pci->dev = dev;
 668         pci->ops = &dw_pcie_ops;
 669
 670         imx6_pcie->pci = pci;
 671         imx6_pcie->variant =
 672                 (enum imx6_pcie_variants)of_device_get_match_data(dev);
 673
 674         dbi_base = platform_get_resource(pdev, IORESOURCE_MEM, 0);
 675         pci->dbi_base = devm_ioremap_resource(dev, dbi_base);
 676         if (IS_ERR(pci->dbi_base))
 677                 return PTR_ERR(pci->dbi_base);
 678
 679         /* Fetch GPIOs */
 680         imx6_pcie->reset_gpio = of_get_named_gpio(node, "reset-gpio", 0);
 681         imx6_pcie->gpio_active_high = of_property_read_bool(node,
 682                                                 "reset-gpio-active-high");
 683         if (gpio_is_valid(imx6_pcie->reset_gpio)) {
 684                 ret = devm_gpio_request_one(dev, imx6_pcie->reset_gpio,
 685                                 imx6_pcie->gpio_active_high ?
 686                                         GPIOF_OUT_INIT_HIGH :
 687                                         GPIOF_OUT_INIT_LOW,
 688                                 "PCIe reset");
 689                 if (ret) {
 690                         dev_err(dev, "unable to get reset gpio\n");
 691                         return ret;
 692                 }
 693         } else if (imx6_pcie->reset_gpio == -EPROBE_DEFER) {
 694                 return imx6_pcie->reset_gpio;
 695         }
 696
 697         /* Fetch clocks */
 698         imx6_pcie->pcie_phy = devm_clk_get(dev, "pcie_phy");
 699         if (IS_ERR(imx6_pcie->pcie_phy)) {
 700                 dev_err(dev, "pcie_phy clock source missing or invalid\n");
 701                 return PTR_ERR(imx6_pcie->pcie_phy);
 702         }
 703
 704         imx6_pcie->pcie_bus = devm_clk_get(dev, "pcie_bus");
 705         if (IS_ERR(imx6_pcie->pcie_bus)) {
 706                 dev_err(dev, "pcie_bus clock source missing or invalid\n");
 707                 return PTR_ERR(imx6_pcie->pcie_bus);
 708         }
 709
 710         imx6_pcie->pcie = devm_clk_get(dev, "pcie");
 711         if (IS_ERR(imx6_pcie->pcie)) {
 712                 dev_err(dev, "pcie clock source missing or invalid\n");
 713                 return PTR_ERR(imx6_pcie->pcie);
 714         }
 715
 716         switch (imx6_pcie->variant) {
 717         case IMX6SX:
 718                 imx6_pcie->pcie_inbound_axi = devm_clk_get(dev,
 719                                                            "pcie_inbound_axi");
 720                 if (IS_ERR(imx6_pcie->pcie_inbound_axi)) {
 721                         dev_err(dev, "pcie_inbound_axi clock missing or invalid\n");
 722                         return PTR_ERR(imx6_pcie->pcie_inbound_axi);
 723                 }
 724                 break;
 725         case IMX7D:
 726                 imx6_pcie->pciephy_reset = devm_reset_control_get(dev,
 727                                                                   "pciephy");
 728                 if (IS_ERR(imx6_pcie->pciephy_reset)) {
 729                         dev_err(dev, "Failed to get PCIEPHY reset control\n");
 730                         return PTR_ERR(imx6_pcie->pciephy_reset);
 731                 }
 732
 733                 imx6_pcie->apps_reset = devm_reset_control_get(dev, "apps");
 734                 if (IS_ERR(imx6_pcie->apps_reset)) {
 735                         dev_err(dev, "Failed to get PCIE APPS reset control\n");
 736                         return PTR_ERR(imx6_pcie->apps_reset);
 737                 }
 738                 break;
 739         default:
 740                 break;
 741         }
 742
 743         /* Grab GPR config register range */
 744         imx6_pcie->iomuxc_gpr =
 745                  syscon_regmap_lookup_by_compatible("fsl,imx6q-iomuxc-gpr");
 746         if (IS_ERR(imx6_pcie->iomuxc_gpr)) {
 747                 dev_err(dev, "unable to find iomuxc registers\n");
 748                 return PTR_ERR(imx6_pcie->iomuxc_gpr);
 749         }
 750
 751         /* Grab PCIe PHY Tx Settings */
 752         if (of_property_read_u32(node, "fsl,tx-deemph-gen1",
 753                                  &imx6_pcie->tx_deemph_gen1))
 754                 imx6_pcie->tx_deemph_gen1 = 0;
 755
 756         if (of_property_read_u32(node, "fsl,tx-deemph-gen2-3p5db",
 757                                  &imx6_pcie->tx_deemph_gen2_3p5db))
 758                 imx6_pcie->tx_deemph_gen2_3p5db = 0;
 759
 760         if (of_property_read_u32(node, "fsl,tx-deemph-gen2-6db",
 761                                  &imx6_pcie->tx_deemph_gen2_6db))
 762                 imx6_pcie->tx_deemph_gen2_6db = 20;
 763
 764         if (of_property_read_u32(node, "fsl,tx-swing-full",
 765                                  &imx6_pcie->tx_swing_full))
 766                 imx6_pcie->tx_swing_full = 127;
 767
 768         if (of_property_read_u32(node, "fsl,tx-swing-low",
 769                                  &imx6_pcie->tx_swing_low))
 770                 imx6_pcie->tx_swing_low = 127;
 771
 772         /* Limit link speed */
 773         ret = of_property_read_u32(node, "fsl,max-link-speed",
 774                                    &imx6_pcie->link_gen);
 775         if (ret)
 776                 imx6_pcie->link_gen = 1;
 777
 778         platform_set_drvdata(pdev, imx6_pcie);
 779
 780         ret = imx6_add_pcie_port(imx6_pcie, pdev);
 781         if (ret < 0)
 782                 return ret;
 783
 784         return 0;
 785 }
 786
 787 static void imx6_pcie_shutdown(struct platform_device *pdev)
 788 {
 789         struct imx6_pcie *imx6_pcie = platform_get_drvdata(pdev);
 790
 791         /* bring down link, so bootloader gets clean state in case of reboot */
 792         imx6_pcie_assert_core_reset(imx6_pcie);
 793 }
 794
 795 static const struct of_device_id imx6_pcie_of_match[] = {
 796         { .compatible = "fsl,imx6q-pcie",  .data = (void *)IMX6Q,  },
 797         { .compatible = "fsl,imx6sx-pcie", .data = (void *)IMX6SX, },
 798         { .compatible = "fsl,imx6qp-pcie", .data = (void *)IMX6QP, },
 799         { .compatible = "fsl,imx7d-pcie",  .data = (void *)IMX7D,  },
 800         {},
 801 };
 802
 803 static struct platform_driver imx6_pcie_driver = {
 804         .driver = {
 805                 .name   = "imx6q-pcie",
 806                 .of_match_table = imx6_pcie_of_match,
 807                 .suppress_bind_attrs = true,
 808         },
 809         .probe    = imx6_pcie_probe,
 810         .shutdown = imx6_pcie_shutdown,
 811 };
 812
 813 static int __init imx6_pcie_init(void)
 814 {
 815         /*
 816          * Since probe() can be deferred we need to make sure that
 817          * hook_fault_code is not called after __init memory is freed
 818          * by kernel and since imx6q_pcie_abort_handler() is a no-op,
 819          * we can install the handler here without risking it
 820          * accessing some uninitialized driver state.
 821          */
 822         hook_fault_code(16 + 6, imx6q_pcie_abort_handler, SIGBUS, 0,
 823                         "imprecise external abort");
 824
 825         return platform_driver_register(&imx6_pcie_driver);
 826 }
 827 device_initcall(imx6_pcie_init);