drivers/pci/pcie/portdrv_pci.c

   1 /*
   2  * File:        portdrv_pci.c
   3  * Purpose:     PCI Express Port Bus Driver
   4  *
   5  * Copyright (C) 2004 Intel
   6  * Copyright (C) Tom Long Nguyen (tom.l.nguyen@intel.com)
   7  */
   8
   9 #include <linux/module.h>
  10 #include <linux/pci.h>
  11 #include <linux/kernel.h>
  12 #include <linux/errno.h>
  13 #include <linux/pm.h>
  14 #include <linux/pm_runtime.h>
  15 #include <linux/init.h>
  16 #include <linux/pcieport_if.h>
  17 #include <linux/aer.h>
  18 #include <linux/dmi.h>
  19 #include <linux/pci-aspm.h>
  20
  21 #include "portdrv.h"
  22 #include "aer/aerdrv.h"
  23
  24 /*
  25  * Version Information
  26  */
  27 #define DRIVER_VERSION "v1.0"
  28 #define DRIVER_AUTHOR "tom.l.nguyen@intel.com"
  29 #define DRIVER_DESC "PCIe Port Bus Driver"
  30 MODULE_AUTHOR(DRIVER_AUTHOR);
  31 MODULE_DESCRIPTION(DRIVER_DESC);
  32 MODULE_LICENSE("GPL");
  33
  34 /* If this switch is set, PCIe port native services should not be enabled. */
  35 bool pcie_ports_disabled;
  36
  37 /*
  38  * If this switch is set, ACPI _OSC will be used to determine whether or not to
  39  * enable PCIe port native services.
  40  */
  41 bool pcie_ports_auto = true;
  42
  43 static int __init pcie_port_setup(char *str)
  44 {
  45         if (!strncmp(str, "compat", 6)) {
  46                 pcie_ports_disabled = true;
  47         } else if (!strncmp(str, "native", 6)) {
  48                 pcie_ports_disabled = false;
  49                 pcie_ports_auto = false;
  50         } else if (!strncmp(str, "auto", 4)) {
  51                 pcie_ports_disabled = false;
  52                 pcie_ports_auto = true;
  53         }
  54
  55         return 1;
  56 }
  57 __setup("pcie_ports=", pcie_port_setup);
  58
  59 /* global data */
  60
  61 /**
  62  * pcie_clear_root_pme_status - Clear root port PME interrupt status.
  63  * @dev: PCIe root port or event collector.
  64  */
  65 void pcie_clear_root_pme_status(struct pci_dev *dev)
  66 {
  67         pcie_capability_set_dword(dev, PCI_EXP_RTSTA, PCI_EXP_RTSTA_PME);
  68 }
  69
  70 static int pcie_portdrv_restore_config(struct pci_dev *dev)
  71 {
  72         int retval;
  73
  74         retval = pci_enable_device(dev);
  75         if (retval)
  76                 return retval;
  77         pci_set_master(dev);
  78         return 0;
  79 }
  80
  81 #ifdef CONFIG_PM
  82 static int pcie_port_resume_noirq(struct device *dev)
  83 {
  84         struct pci_dev *pdev = to_pci_dev(dev);
  85
  86         /*
  87          * Some BIOSes forget to clear Root PME Status bits after system wakeup
  88          * which breaks ACPI-based runtime wakeup on PCI Express, so clear those
  89          * bits now just in case (shouldn't hurt).
  90          */
  91         if (pci_pcie_type(pdev) == PCI_EXP_TYPE_ROOT_PORT)
  92                 pcie_clear_root_pme_status(pdev);
  93         return 0;
  94 }
  95
  96 #ifdef CONFIG_PM_RUNTIME
  97 struct d3cold_info {
  98         bool no_d3cold;
  99         unsigned int d3cold_delay;
 100 };
 101
 102 static int pci_dev_d3cold_info(struct pci_dev *pdev, void *data)
 103 {
 104         struct d3cold_info *info = data;
 105
 106         info->d3cold_delay = max_t(unsigned int, pdev->d3cold_delay,
 107                                    info->d3cold_delay);
 108         if (pdev->no_d3cold)
 109                 info->no_d3cold = true;
 110         return 0;
 111 }
 112
 113 static int pcie_port_runtime_suspend(struct device *dev)
 114 {
 115         struct pci_dev *pdev = to_pci_dev(dev);
 116         struct d3cold_info d3cold_info = {
 117                 .no_d3cold      = false,
 118                 .d3cold_delay   = PCI_PM_D3_WAIT,
 119         };
 120
 121         /*
 122          * If any subordinate device disable D3cold, we should not put
 123          * the port into D3cold.  The D3cold delay of port should be
 124          * the max of that of all subordinate devices.
 125          */
 126         pci_walk_bus(pdev->subordinate, pci_dev_d3cold_info, &d3cold_info);
 127         pdev->no_d3cold = d3cold_info.no_d3cold;
 128         pdev->d3cold_delay = d3cold_info.d3cold_delay;
 129         return 0;
 130 }
 131
 132 static int pcie_port_runtime_resume(struct device *dev)
 133 {
 134         return 0;
 135 }
 136
 137 static int pci_dev_pme_poll(struct pci_dev *pdev, void *data)
 138 {
 139         bool *pme_poll = data;
 140
 141         if (pdev->pme_poll)
 142                 *pme_poll = true;
 143         return 0;
 144 }
 145
 146 static int pcie_port_runtime_idle(struct device *dev)
 147 {
 148         struct pci_dev *pdev = to_pci_dev(dev);
 149         bool pme_poll = false;
 150
 151         /*
 152          * If any subordinate device needs pme poll, we should keep
 153          * the port in D0, because we need port in D0 to poll it.
 154          */
 155         pci_walk_bus(pdev->subordinate, pci_dev_pme_poll, &pme_poll);
 156         /* Delay for a short while to prevent too frequent suspend/resume */
 157         if (!pme_poll)
 158                 pm_schedule_suspend(dev, 10);
 159         return -EBUSY;
 160 }
 161 #else
 162 #define pcie_port_runtime_suspend       NULL
 163 #define pcie_port_runtime_resume        NULL
 164 #define pcie_port_runtime_idle          NULL
 165 #endif
 166
 167 static const struct dev_pm_ops pcie_portdrv_pm_ops = {
 168         .suspend        = pcie_port_device_suspend,
 169         .resume         = pcie_port_device_resume,
 170         .freeze         = pcie_port_device_suspend,
 171         .thaw           = pcie_port_device_resume,
 172         .poweroff       = pcie_port_device_suspend,
 173         .restore        = pcie_port_device_resume,
 174         .resume_noirq   = pcie_port_resume_noirq,
 175         .runtime_suspend = pcie_port_runtime_suspend,
 176         .runtime_resume = pcie_port_runtime_resume,
 177         .runtime_idle   = pcie_port_runtime_idle,
 178 };
 179
 180 #define PCIE_PORTDRV_PM_OPS     (&pcie_portdrv_pm_ops)
 181
 182 #else /* !PM */
 183
 184 #define PCIE_PORTDRV_PM_OPS     NULL
 185 #endif /* !PM */
 186
 187 /*
 188  * PCIe port runtime suspend is broken for some chipsets, so use a
 189  * black list to disable runtime PM for these chipsets.
 190  */
 191 static const struct pci_device_id port_runtime_pm_black_list[] = {
 192         { /* end: all zeroes */ }
 193 };
 194
 195 /*
 196  * pcie_portdrv_probe - Probe PCI-Express port devices
 197  * @dev: PCI-Express port device being probed
 198  *
 199  * If detected invokes the pcie_port_device_register() method for
 200  * this port device.
 201  *
 202  */
 203 static int pcie_portdrv_probe(struct pci_dev *dev,
 204                                         const struct pci_device_id *id)
 205 {
 206         int status;
 207
 208         if (!pci_is_pcie(dev) ||
 209             ((pci_pcie_type(dev) != PCI_EXP_TYPE_ROOT_PORT) &&
 210              (pci_pcie_type(dev) != PCI_EXP_TYPE_UPSTREAM) &&
 211              (pci_pcie_type(dev) != PCI_EXP_TYPE_DOWNSTREAM)))
 212                 return -ENODEV;
 213
 214         if (!dev->irq && dev->pin) {
 215                 dev_warn(&dev->dev, "device [%04x:%04x] has invalid IRQ; "
 216                          "check vendor BIOS\n", dev->vendor, dev->device);
 217         }
 218         status = pcie_port_device_register(dev);
 219         if (status)
 220                 return status;
 221
 222         pci_save_state(dev);
 223         /*
 224          * D3cold may not work properly on some PCIe port, so disable
 225          * it by default.
 226          */
 227         dev->d3cold_allowed = false;
 228         if (!pci_match_id(port_runtime_pm_black_list, dev))
 229                 pm_runtime_put_noidle(&dev->dev);
 230
 231         return 0;
 232 }
 233
 234 static void pcie_portdrv_remove(struct pci_dev *dev)
 235 {
 236         if (!pci_match_id(port_runtime_pm_black_list, dev))
 237                 pm_runtime_get_noresume(&dev->dev);
 238         pcie_port_device_remove(dev);
 239         pci_disable_device(dev);
 240 }
 241
 242 static int error_detected_iter(struct device *device, void *data)
 243 {
 244         struct pcie_device *pcie_device;
 245         struct pcie_port_service_driver *driver;
 246         struct aer_broadcast_data *result_data;
 247         pci_ers_result_t status;
 248
 249         result_data = (struct aer_broadcast_data *) data;
 250
 251         if (device->bus == &pcie_port_bus_type && device->driver) {
 252                 driver = to_service_driver(device->driver);
 253                 if (!driver ||
 254                         !driver->err_handler ||
 255                         !driver->err_handler->error_detected)
 256                         return 0;
 257
 258                 pcie_device = to_pcie_device(device);
 259
 260                 /* Forward error detected message to service drivers */
 261                 status = driver->err_handler->error_detected(
 262                         pcie_device->port,
 263                         result_data->state);
 264                 result_data->result =
 265                         merge_result(result_data->result, status);
 266         }
 267
 268         return 0;
 269 }
 270
 271 static pci_ers_result_t pcie_portdrv_error_detected(struct pci_dev *dev,
 272                                         enum pci_channel_state error)
 273 {
 274         struct aer_broadcast_data data = {error, PCI_ERS_RESULT_CAN_RECOVER};
 275         int ret;
 276
 277         /* can not fail */
 278         ret = device_for_each_child(&dev->dev, &data, error_detected_iter);
 279
 280         return data.result;
 281 }
 282
 283 static int mmio_enabled_iter(struct device *device, void *data)
 284 {
 285         struct pcie_device *pcie_device;
 286         struct pcie_port_service_driver *driver;
 287         pci_ers_result_t status, *result;
 288
 289         result = (pci_ers_result_t *) data;
 290
 291         if (device->bus == &pcie_port_bus_type && device->driver) {
 292                 driver = to_service_driver(device->driver);
 293                 if (driver &&
 294                         driver->err_handler &&
 295                         driver->err_handler->mmio_enabled) {
 296                         pcie_device = to_pcie_device(device);
 297
 298                         /* Forward error message to service drivers */
 299                         status = driver->err_handler->mmio_enabled(
 300                                         pcie_device->port);
 301                         *result = merge_result(*result, status);
 302                 }
 303         }
 304
 305         return 0;
 306 }
 307
 308 static pci_ers_result_t pcie_portdrv_mmio_enabled(struct pci_dev *dev)
 309 {
 310         pci_ers_result_t status = PCI_ERS_RESULT_RECOVERED;
 311         int retval;
 312
 313         /* get true return value from &status */
 314         retval = device_for_each_child(&dev->dev, &status, mmio_enabled_iter);
 315         return status;
 316 }
 317
 318 static int slot_reset_iter(struct device *device, void *data)
 319 {
 320         struct pcie_device *pcie_device;
 321         struct pcie_port_service_driver *driver;
 322         pci_ers_result_t status, *result;
 323
 324         result = (pci_ers_result_t *) data;
 325
 326         if (device->bus == &pcie_port_bus_type && device->driver) {
 327                 driver = to_service_driver(device->driver);
 328                 if (driver &&
 329                         driver->err_handler &&
 330                         driver->err_handler->slot_reset) {
 331                         pcie_device = to_pcie_device(device);
 332
 333                         /* Forward error message to service drivers */
 334                         status = driver->err_handler->slot_reset(
 335                                         pcie_device->port);
 336                         *result = merge_result(*result, status);
 337                 }
 338         }
 339
 340         return 0;
 341 }
 342
 343 static pci_ers_result_t pcie_portdrv_slot_reset(struct pci_dev *dev)
 344 {
 345         pci_ers_result_t status = PCI_ERS_RESULT_RECOVERED;
 346         int retval;
 347
 348         /* If fatal, restore cfg space for possible link reset at upstream */
 349         if (dev->error_state == pci_channel_io_frozen) {
 350                 dev->state_saved = true;
 351                 pci_restore_state(dev);
 352                 pcie_portdrv_restore_config(dev);
 353                 pci_enable_pcie_error_reporting(dev);
 354         }
 355
 356         /* get true return value from &status */
 357         retval = device_for_each_child(&dev->dev, &status, slot_reset_iter);
 358
 359         return status;
 360 }
 361
 362 static int resume_iter(struct device *device, void *data)
 363 {
 364         struct pcie_device *pcie_device;
 365         struct pcie_port_service_driver *driver;
 366
 367         if (device->bus == &pcie_port_bus_type && device->driver) {
 368                 driver = to_service_driver(device->driver);
 369                 if (driver &&
 370                         driver->err_handler &&
 371                         driver->err_handler->resume) {
 372                         pcie_device = to_pcie_device(device);
 373
 374                         /* Forward error message to service drivers */
 375                         driver->err_handler->resume(pcie_device->port);
 376                 }
 377         }
 378
 379         return 0;
 380 }
 381
 382 static void pcie_portdrv_err_resume(struct pci_dev *dev)
 383 {
 384         int retval;
 385         /* nothing to do with error value, if it ever happens */
 386         retval = device_for_each_child(&dev->dev, NULL, resume_iter);
 387 }
 388
 389 /*
 390  * LINUX Device Driver Model
 391  */
 392 static const struct pci_device_id port_pci_ids[] = { {
 393         /* handle any PCI-Express port */
 394         PCI_DEVICE_CLASS(((PCI_CLASS_BRIDGE_PCI << 8) | 0x00), ~0),
 395         }, { /* end: all zeroes */ }
 396 };
 397 MODULE_DEVICE_TABLE(pci, port_pci_ids);
 398
 399 static const struct pci_error_handlers pcie_portdrv_err_handler = {
 400         .error_detected = pcie_portdrv_error_detected,
 401         .mmio_enabled = pcie_portdrv_mmio_enabled,
 402         .slot_reset = pcie_portdrv_slot_reset,
 403         .resume = pcie_portdrv_err_resume,
 404 };
 405
 406 static struct pci_driver pcie_portdriver = {
 407         .name           = "pcieport",
 408         .id_table       = &port_pci_ids[0],
 409
 410         .probe          = pcie_portdrv_probe,
 411         .remove         = pcie_portdrv_remove,
 412
 413         .err_handler    = &pcie_portdrv_err_handler,
 414
 415         .driver.pm      = PCIE_PORTDRV_PM_OPS,
 416 };
 417
 418 static int __init dmi_pcie_pme_disable_msi(const struct dmi_system_id *d)
 419 {
 420         pr_notice("%s detected: will not use MSI for PCIe PME signaling\n",
 421                         d->ident);
 422         pcie_pme_disable_msi();
 423         return 0;
 424 }
 425
 426 static struct dmi_system_id __initdata pcie_portdrv_dmi_table[] = {
 427         /*
 428          * Boxes that should not use MSI for PCIe PME signaling.
 429          */
 430         {
 431          .callback = dmi_pcie_pme_disable_msi,
 432          .ident = "MSI Wind U-100",
 433          .matches = {
 434                      DMI_MATCH(DMI_SYS_VENDOR,
 435                                 "MICRO-STAR INTERNATIONAL CO., LTD"),
 436                      DMI_MATCH(DMI_PRODUCT_NAME, "U-100"),
 437                      },
 438          },
 439          {}
 440 };
 441
 442 static int __init pcie_portdrv_init(void)
 443 {
 444         int retval;
 445
 446         if (pcie_ports_disabled)
 447                 return pci_register_driver(&pcie_portdriver);
 448
 449         dmi_check_system(pcie_portdrv_dmi_table);
 450
 451         retval = pcie_port_bus_register();
 452         if (retval) {
 453                 printk(KERN_WARNING "PCIE: bus_register error: %d\n", retval);
 454                 goto out;
 455         }
 456         retval = pci_register_driver(&pcie_portdriver);
 457         if (retval)
 458                 pcie_port_bus_unregister();
 459  out:
 460         return retval;
 461 }
 462
 463 module_init(pcie_portdrv_init);