drivers/net/ethernet/mellanox/mlx5/core/fpga/core.c

   1 /*
   2  * Copyright (c) 2017, Mellanox Technologies. All rights reserved.
   3  *
   4  * This software is available to you under a choice of one of two
   5  * licenses.  You may choose to be licensed under the terms of the GNU
   6  * General Public License (GPL) Version 2, available from the file
   7  * COPYING in the main directory of this source tree, or the
   8  * OpenIB.org BSD license below:
   9  *
  10  *     Redistribution and use in source and binary forms, with or
  11  *     without modification, are permitted provided that the following
  12  *     conditions are met:
  13  *
  14  *      - Redistributions of source code must retain the above
  15  *        copyright notice, this list of conditions and the following
  16  *        disclaimer.
  17  *
  18  *      - Redistributions in binary form must reproduce the above
  19  *        copyright notice, this list of conditions and the following
  20  *        disclaimer in the documentation and/or other materials
  21  *        provided with the distribution.
  22  *
  23  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  24  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  25  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  26  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  27  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  28  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  29  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  30  * SOFTWARE.
  31  */
  32
  33 #include <linux/module.h>
  34 #include <linux/etherdevice.h>
  35 #include <linux/mlx5/driver.h>
  36
  37 #include "mlx5_core.h"
  38 #include "lib/mlx5.h"
  39 #include "fpga/core.h"
  40 #include "fpga/conn.h"
  41
  42 static const char *const mlx5_fpga_error_strings[] = {
  43         "Null Syndrome",
  44         "Corrupted DDR",
  45         "Flash Timeout",
  46         "Internal Link Error",
  47         "Watchdog HW Failure",
  48         "I2C Failure",
  49         "Image Changed",
  50         "Temperature Critical",
  51 };
  52
  53 static struct mlx5_fpga_device *mlx5_fpga_device_alloc(void)
  54 {
  55         struct mlx5_fpga_device *fdev = NULL;
  56
  57         fdev = kzalloc(sizeof(*fdev), GFP_KERNEL);
  58         if (!fdev)
  59                 return NULL;
  60
  61         spin_lock_init(&fdev->state_lock);
  62         fdev->state = MLX5_FPGA_STATUS_NONE;
  63         return fdev;
  64 }
  65
  66 static const char *mlx5_fpga_image_name(enum mlx5_fpga_image image)
  67 {
  68         switch (image) {
  69         case MLX5_FPGA_IMAGE_USER:
  70                 return "user";
  71         case MLX5_FPGA_IMAGE_FACTORY:
  72                 return "factory";
  73         default:
  74                 return "unknown";
  75         }
  76 }
  77
  78 static int mlx5_fpga_device_load_check(struct mlx5_fpga_device *fdev)
  79 {
  80         struct mlx5_fpga_query query;
  81         int err;
  82
  83         err = mlx5_fpga_query(fdev->mdev, &query);
  84         if (err) {
  85                 mlx5_fpga_err(fdev, "Failed to query status: %d\n", err);
  86                 return err;
  87         }
  88
  89         fdev->last_admin_image = query.admin_image;
  90         fdev->last_oper_image = query.oper_image;
  91
  92         mlx5_fpga_dbg(fdev, "Status %u; Admin image %u; Oper image %u\n",
  93                       query.status, query.admin_image, query.oper_image);
  94
  95         if (query.status != MLX5_FPGA_STATUS_SUCCESS) {
  96                 mlx5_fpga_err(fdev, "%s image failed to load; status %u\n",
  97                               mlx5_fpga_image_name(fdev->last_oper_image),
  98                               query.status);
  99                 return -EIO;
 100         }
 101
 102         return 0;
 103 }
 104
 105 static int mlx5_fpga_device_brb(struct mlx5_fpga_device *fdev)
 106 {
 107         int err;
 108         struct mlx5_core_dev *mdev = fdev->mdev;
 109
 110         err = mlx5_fpga_ctrl_op(mdev, MLX5_FPGA_CTRL_OPERATION_SANDBOX_BYPASS_ON);
 111         if (err) {
 112                 mlx5_fpga_err(fdev, "Failed to set bypass on: %d\n", err);
 113                 return err;
 114         }
 115         err = mlx5_fpga_ctrl_op(mdev, MLX5_FPGA_CTRL_OPERATION_RESET_SANDBOX);
 116         if (err) {
 117                 mlx5_fpga_err(fdev, "Failed to reset SBU: %d\n", err);
 118                 return err;
 119         }
 120         err = mlx5_fpga_ctrl_op(mdev, MLX5_FPGA_CTRL_OPERATION_SANDBOX_BYPASS_OFF);
 121         if (err) {
 122                 mlx5_fpga_err(fdev, "Failed to set bypass off: %d\n", err);
 123                 return err;
 124         }
 125         return 0;
 126 }
 127
 128 int mlx5_fpga_device_start(struct mlx5_core_dev *mdev)
 129 {
 130         struct mlx5_fpga_device *fdev = mdev->fpga;
 131         unsigned long flags;
 132         unsigned int max_num_qps;
 133         int err;
 134
 135         if (!fdev)
 136                 return 0;
 137
 138         err = mlx5_fpga_device_load_check(fdev);
 139         if (err)
 140                 goto out;
 141
 142         err = mlx5_fpga_caps(fdev->mdev,
 143                              fdev->mdev->caps.hca_cur[MLX5_CAP_FPGA]);
 144         if (err)
 145                 goto out;
 146
 147         mlx5_fpga_info(fdev, "device %u; %s image, version %u\n",
 148                        MLX5_CAP_FPGA(fdev->mdev, fpga_device),
 149                        mlx5_fpga_image_name(fdev->last_oper_image),
 150                        MLX5_CAP_FPGA(fdev->mdev, image_version));
 151
 152         max_num_qps = MLX5_CAP_FPGA(mdev, shell_caps.max_num_qps);
 153         err = mlx5_core_reserve_gids(mdev, max_num_qps);
 154         if (err)
 155                 goto out;
 156
 157         err = mlx5_fpga_conn_device_init(fdev);
 158         if (err)
 159                 goto err_rsvd_gid;
 160
 161         if (fdev->last_oper_image == MLX5_FPGA_IMAGE_USER) {
 162                 err = mlx5_fpga_device_brb(fdev);
 163                 if (err)
 164                         goto err_conn_init;
 165         }
 166
 167         goto out;
 168
 169 err_conn_init:
 170         mlx5_fpga_conn_device_cleanup(fdev);
 171
 172 err_rsvd_gid:
 173         mlx5_core_unreserve_gids(mdev, max_num_qps);
 174 out:
 175         spin_lock_irqsave(&fdev->state_lock, flags);
 176         fdev->state = err ? MLX5_FPGA_STATUS_FAILURE : MLX5_FPGA_STATUS_SUCCESS;
 177         spin_unlock_irqrestore(&fdev->state_lock, flags);
 178         return err;
 179 }
 180
 181 int mlx5_fpga_init(struct mlx5_core_dev *mdev)
 182 {
 183         struct mlx5_fpga_device *fdev = NULL;
 184
 185         if (!MLX5_CAP_GEN(mdev, fpga)) {
 186                 mlx5_core_dbg(mdev, "FPGA capability not present\n");
 187                 return 0;
 188         }
 189
 190         mlx5_core_dbg(mdev, "Initializing FPGA\n");
 191
 192         fdev = mlx5_fpga_device_alloc();
 193         if (!fdev)
 194                 return -ENOMEM;
 195
 196         fdev->mdev = mdev;
 197         mdev->fpga = fdev;
 198
 199         return 0;
 200 }
 201
 202 void mlx5_fpga_device_stop(struct mlx5_core_dev *mdev)
 203 {
 204         struct mlx5_fpga_device *fdev = mdev->fpga;
 205         unsigned int max_num_qps;
 206         unsigned long flags;
 207         int err;
 208
 209         if (!fdev)
 210                 return;
 211
 212         spin_lock_irqsave(&fdev->state_lock, flags);
 213         if (fdev->state != MLX5_FPGA_STATUS_SUCCESS) {
 214                 spin_unlock_irqrestore(&fdev->state_lock, flags);
 215                 return;
 216         }
 217         fdev->state = MLX5_FPGA_STATUS_NONE;
 218         spin_unlock_irqrestore(&fdev->state_lock, flags);
 219
 220         if (fdev->last_oper_image == MLX5_FPGA_IMAGE_USER) {
 221                 err = mlx5_fpga_ctrl_op(mdev, MLX5_FPGA_CTRL_OPERATION_SANDBOX_BYPASS_ON);
 222                 if (err)
 223                         mlx5_fpga_err(fdev, "Failed to re-set SBU bypass on: %d\n",
 224                                       err);
 225         }
 226
 227         mlx5_fpga_conn_device_cleanup(fdev);
 228         max_num_qps = MLX5_CAP_FPGA(mdev, shell_caps.max_num_qps);
 229         mlx5_core_unreserve_gids(mdev, max_num_qps);
 230 }
 231
 232 void mlx5_fpga_cleanup(struct mlx5_core_dev *mdev)
 233 {
 234         struct mlx5_fpga_device *fdev = mdev->fpga;
 235
 236         mlx5_fpga_device_stop(mdev);
 237         kfree(fdev);
 238         mdev->fpga = NULL;
 239 }
 240
 241 static const char *mlx5_fpga_syndrome_to_string(u8 syndrome)
 242 {
 243         if (syndrome < ARRAY_SIZE(mlx5_fpga_error_strings))
 244                 return mlx5_fpga_error_strings[syndrome];
 245         return "Unknown";
 246 }
 247
 248 void mlx5_fpga_event(struct mlx5_core_dev *mdev, u8 event, void *data)
 249 {
 250         struct mlx5_fpga_device *fdev = mdev->fpga;
 251         const char *event_name;
 252         bool teardown = false;
 253         unsigned long flags;
 254         u8 syndrome;
 255
 256         if (event != MLX5_EVENT_TYPE_FPGA_ERROR) {
 257                 mlx5_fpga_warn_ratelimited(fdev, "Unexpected event %u\n",
 258                                            event);
 259                 return;
 260         }
 261
 262         syndrome = MLX5_GET(fpga_error_event, data, syndrome);
 263         event_name = mlx5_fpga_syndrome_to_string(syndrome);
 264
 265         spin_lock_irqsave(&fdev->state_lock, flags);
 266         switch (fdev->state) {
 267         case MLX5_FPGA_STATUS_SUCCESS:
 268                 mlx5_fpga_warn(fdev, "Error %u: %s\n", syndrome, event_name);
 269                 teardown = true;
 270                 break;
 271         default:
 272                 mlx5_fpga_warn_ratelimited(fdev, "Unexpected error event %u: %s\n",
 273                                            syndrome, event_name);
 274         }
 275         spin_unlock_irqrestore(&fdev->state_lock, flags);
 276         /* We tear-down the card's interfaces and functionality because
 277          * the FPGA bump-on-the-wire is misbehaving and we lose ability
 278          * to communicate with the network. User may still be able to
 279          * recover by re-programming or debugging the FPGA
 280          */
 281         if (teardown)
 282                 mlx5_trigger_health_work(fdev->mdev);
 283 }