tools/testing/selftests/kmod/kmod.sh

   1 #!/bin/bash
   2 #
   3 # Copyright (C) 2017 Luis R. Rodriguez <mcgrof@kernel.org>
   4 #
   5 # This program is free software; you can redistribute it and/or modify it
   6 # under the terms of the GNU General Public License as published by the Free
   7 # Software Foundation; either version 2 of the License, or at your option any
   8 # later version; or, when distributed separately from the Linux kernel or
   9 # when incorporated into other software packages, subject to the following
  10 # license:
  11 #
  12 # This program is free software; you can redistribute it and/or modify it
  13 # under the terms of copyleft-next (version 0.3.1 or later) as published
  14 # at http://copyleft-next.org/.
  15
  16 # This is a stress test script for kmod, the kernel module loader. It uses
  17 # test_kmod which exposes a series of knobs for the API for us so we can
  18 # tweak each test in userspace rather than in kernelspace.
  19 #
  20 # The way kmod works is it uses the kernel's usermode helper API to eventually
  21 # call /sbin/modprobe. It has a limit of the number of concurrent calls
  22 # possible. The kernel interface to load modules is request_module(), however
  23 # mount uses get_fs_type(). Both behave slightly differently, but the
  24 # differences are important enough to test each call separately. For this
  25 # reason test_kmod starts by providing tests for both calls.
  26 #
  27 # The test driver test_kmod assumes a series of defaults which you can
  28 # override by exporting to your environment prior running this script.
  29 # For instance this script assumes you do not have xfs loaded upon boot.
  30 # If this is false, export DEFAULT_KMOD_FS="ext4" prior to running this
  31 # script if the filesyste module you don't have loaded upon bootup
  32 # is ext4 instead. Refer to allow_user_defaults() for a list of user
  33 # override variables possible.
  34 #
  35 # You'll want at least 4 GiB of RAM to expect to run these tests
  36 # without running out of memory on them. For other requirements refer
  37 # to test_reqs()
  38
  39 set -e
  40
  41 TEST_NAME="kmod"
  42 TEST_DRIVER="test_${TEST_NAME}"
  43 TEST_DIR=$(dirname $0)
  44
  45 # This represents
  46 #
  47 # TEST_ID:TEST_COUNT:ENABLED
  48 #
  49 # TEST_ID: is the test id number
  50 # TEST_COUNT: number of times we should run the test
  51 # ENABLED: 1 if enabled, 0 otherwise
  52 #
  53 # Once these are enabled please leave them as-is. Write your own test,
  54 # we have tons of space.
  55 ALL_TESTS="0001:3:1"
  56 ALL_TESTS="$ALL_TESTS 0002:3:1"
  57 ALL_TESTS="$ALL_TESTS 0003:1:1"
  58 ALL_TESTS="$ALL_TESTS 0004:1:1"
  59 ALL_TESTS="$ALL_TESTS 0005:10:1"
  60 ALL_TESTS="$ALL_TESTS 0006:10:1"
  61 ALL_TESTS="$ALL_TESTS 0007:5:1"
  62
  63 # Disabled tests:
  64 #
  65 # 0008 x 150 -  multithreaded - push kmod_concurrent over max_modprobes for request_module()"
  66 # Current best-effort failure interpretation:
  67 # Enough module requests get loaded in place fast enough to reach over the
  68 # max_modprobes limit and trigger a failure -- before we're even able to
  69 # start processing pending requests.
  70 ALL_TESTS="$ALL_TESTS 0008:150:0"
  71
  72 # 0009 x 150 - multithreaded - push kmod_concurrent over max_modprobes for get_fs_type()"
  73 # Current best-effort failure interpretation:
  74 #
  75 # get_fs_type() requests modules using aliases as such the optimization in
  76 # place today to look for already loaded modules will not take effect and
  77 # we end up requesting a new module to load, this bumps the kmod_concurrent,
  78 # and in certain circumstances can lead to pushing the kmod_concurrent over
  79 # the max_modprobe limit.
  80 #
  81 # This test fails much easier than test 0008 since the alias optimizations
  82 # are not in place.
  83 ALL_TESTS="$ALL_TESTS 0009:150:0"
  84
  85 test_modprobe()
  86 {
  87        if [ ! -d $DIR ]; then
  88                echo "$0: $DIR not present" >&2
  89                echo "You must have the following enabled in your kernel:" >&2
  90                cat $TEST_DIR/config >&2
  91                exit 1
  92        fi
  93 }
  94
  95 function allow_user_defaults()
  96 {
  97         if [ -z $DEFAULT_KMOD_DRIVER ]; then
  98                 DEFAULT_KMOD_DRIVER="test_module"
  99         fi
 100
 101         if [ -z $DEFAULT_KMOD_FS ]; then
 102                 DEFAULT_KMOD_FS="xfs"
 103         fi
 104
 105         if [ -z $PROC_DIR ]; then
 106                 PROC_DIR="/proc/sys/kernel/"
 107         fi
 108
 109         if [ -z $MODPROBE_LIMIT ]; then
 110                 MODPROBE_LIMIT=50
 111         fi
 112
 113         if [ -z $DIR ]; then
 114                 DIR="/sys/devices/virtual/misc/${TEST_DRIVER}0/"
 115         fi
 116
 117         if [ -z $DEFAULT_NUM_TESTS ]; then
 118                 DEFAULT_NUM_TESTS=150
 119         fi
 120
 121         MODPROBE_LIMIT_FILE="${PROC_DIR}/kmod-limit"
 122 }
 123
 124 test_reqs()
 125 {
 126         if ! which modprobe 2> /dev/null > /dev/null; then
 127                 echo "$0: You need modprobe installed" >&2
 128                 exit 1
 129         fi
 130
 131         if ! which kmod 2> /dev/null > /dev/null; then
 132                 echo "$0: You need kmod installed" >&2
 133                 exit 1
 134         fi
 135
 136         # kmod 19 has a bad bug where it returns 0 when modprobe
 137         # gets called *even* if the module was not loaded due to
 138         # some bad heuristics. For details see:
 139         #
 140         # A work around is possible in-kernel but its rather
 141         # complex.
 142         KMOD_VERSION=$(kmod --version | awk '{print $3}')
 143         if [[ $KMOD_VERSION  -le 19 ]]; then
 144                 echo "$0: You need at least kmod 20" >&2
 145                 echo "kmod <= 19 is buggy, for details see:" >&2
 146                 echo "http://git.kernel.org/cgit/utils/kernel/kmod/kmod.git/commit/libkmod/libkmod-module.c?id=fd44a98ae2eb5eb32161088954ab21e58e19dfc4" >&2
 147                 exit 1
 148         fi
 149
 150         uid=$(id -u)
 151         if [ $uid -ne 0 ]; then
 152                 echo $msg must be run as root >&2
 153                 exit 0
 154         fi
 155 }
 156
 157 function load_req_mod()
 158 {
 159         trap "test_modprobe" EXIT
 160
 161         if [ ! -d $DIR ]; then
 162                 # Alanis: "Oh isn't it ironic?"
 163                 modprobe $TEST_DRIVER
 164         fi
 165 }
 166
 167 test_finish()
 168 {
 169         echo "Test completed"
 170 }
 171
 172 errno_name_to_val()
 173 {
 174         case "$1" in
 175         # kmod calls modprobe and upon of a module not found
 176         # modprobe returns just 1... However in the kernel we
 177         # *sometimes* see 256...
 178         MODULE_NOT_FOUND)
 179                 echo 256;;
 180         SUCCESS)
 181                 echo 0;;
 182         -EPERM)
 183                 echo -1;;
 184         -ENOENT)
 185                 echo -2;;
 186         -EINVAL)
 187                 echo -22;;
 188         -ERR_ANY)
 189                 echo -123456;;
 190         *)
 191                 echo invalid;;
 192         esac
 193 }
 194
 195 errno_val_to_name()
 196         case "$1" in
 197         256)
 198                 echo MODULE_NOT_FOUND;;
 199         0)
 200                 echo SUCCESS;;
 201         -1)
 202                 echo -EPERM;;
 203         -2)
 204                 echo -ENOENT;;
 205         -22)
 206                 echo -EINVAL;;
 207         -123456)
 208                 echo -ERR_ANY;;
 209         *)
 210                 echo invalid;;
 211         esac
 212
 213 config_set_test_case_driver()
 214 {
 215         if ! echo -n 1 >$DIR/config_test_case; then
 216                 echo "$0: Unable to set to test case to driver" >&2
 217                 exit 1
 218         fi
 219 }
 220
 221 config_set_test_case_fs()
 222 {
 223         if ! echo -n 2 >$DIR/config_test_case; then
 224                 echo "$0: Unable to set to test case to fs" >&2
 225                 exit 1
 226         fi
 227 }
 228
 229 config_num_threads()
 230 {
 231         if ! echo -n $1 >$DIR/config_num_threads; then
 232                 echo "$0: Unable to set to number of threads" >&2
 233                 exit 1
 234         fi
 235 }
 236
 237 config_get_modprobe_limit()
 238 {
 239         if [[ -f ${MODPROBE_LIMIT_FILE} ]] ; then
 240                 MODPROBE_LIMIT=$(cat $MODPROBE_LIMIT_FILE)
 241         fi
 242         echo $MODPROBE_LIMIT
 243 }
 244
 245 config_num_thread_limit_extra()
 246 {
 247         MODPROBE_LIMIT=$(config_get_modprobe_limit)
 248         let EXTRA_LIMIT=$MODPROBE_LIMIT+$1
 249         config_num_threads $EXTRA_LIMIT
 250 }
 251
 252 # For special characters use printf directly,
 253 # refer to kmod_test_0001
 254 config_set_driver()
 255 {
 256         if ! echo -n $1 >$DIR/config_test_driver; then
 257                 echo "$0: Unable to set driver" >&2
 258                 exit 1
 259         fi
 260 }
 261
 262 config_set_fs()
 263 {
 264         if ! echo -n $1 >$DIR/config_test_fs; then
 265                 echo "$0: Unable to set driver" >&2
 266                 exit 1
 267         fi
 268 }
 269
 270 config_get_driver()
 271 {
 272         cat $DIR/config_test_driver
 273 }
 274
 275 config_get_test_result()
 276 {
 277         cat $DIR/test_result
 278 }
 279
 280 config_reset()
 281 {
 282         if ! echo -n "1" >"$DIR"/reset; then
 283                 echo "$0: reset shuld have worked" >&2
 284                 exit 1
 285         fi
 286 }
 287
 288 config_show_config()
 289 {
 290         echo "----------------------------------------------------"
 291         cat "$DIR"/config
 292         echo "----------------------------------------------------"
 293 }
 294
 295 config_trigger()
 296 {
 297         if ! echo -n "1" >"$DIR"/trigger_config 2>/dev/null; then
 298                 echo "$1: FAIL - loading should have worked"
 299                 config_show_config
 300                 exit 1
 301         fi
 302         echo "$1: OK! - loading kmod test"
 303 }
 304
 305 config_trigger_want_fail()
 306 {
 307         if echo "1" > $DIR/trigger_config 2>/dev/null; then
 308                 echo "$1: FAIL - test case was expected to fail"
 309                 config_show_config
 310                 exit 1
 311         fi
 312         echo "$1: OK! - kmod test case failed as expected"
 313 }
 314
 315 config_expect_result()
 316 {
 317         RC=$(config_get_test_result)
 318         RC_NAME=$(errno_val_to_name $RC)
 319
 320         ERRNO_NAME=$2
 321         ERRNO=$(errno_name_to_val $ERRNO_NAME)
 322
 323         if [[ $ERRNO_NAME = "-ERR_ANY" ]]; then
 324                 if [[ $RC -ge 0 ]]; then
 325                         echo "$1: FAIL, test expects $ERRNO_NAME - got $RC_NAME ($RC)" >&2
 326                         config_show_config
 327                         exit 1
 328                 fi
 329         elif [[ $RC != $ERRNO ]]; then
 330                 echo "$1: FAIL, test expects $ERRNO_NAME ($ERRNO) - got $RC_NAME ($RC)" >&2
 331                 config_show_config
 332                 exit 1
 333         fi
 334         echo "$1: OK! - Return value: $RC ($RC_NAME), expected $ERRNO_NAME"
 335 }
 336
 337 kmod_defaults_driver()
 338 {
 339         config_reset
 340         modprobe -r $DEFAULT_KMOD_DRIVER
 341         config_set_driver $DEFAULT_KMOD_DRIVER
 342 }
 343
 344 kmod_defaults_fs()
 345 {
 346         config_reset
 347         modprobe -r $DEFAULT_KMOD_FS
 348         config_set_fs $DEFAULT_KMOD_FS
 349         config_set_test_case_fs
 350 }
 351
 352 kmod_test_0001_driver()
 353 {
 354         NAME='\000'
 355
 356         kmod_defaults_driver
 357         config_num_threads 1
 358         printf '\000' >"$DIR"/config_test_driver
 359         config_trigger ${FUNCNAME[0]}
 360         config_expect_result ${FUNCNAME[0]} MODULE_NOT_FOUND
 361 }
 362
 363 kmod_test_0001_fs()
 364 {
 365         NAME='\000'
 366
 367         kmod_defaults_fs
 368         config_num_threads 1
 369         printf '\000' >"$DIR"/config_test_fs
 370         config_trigger ${FUNCNAME[0]}
 371         config_expect_result ${FUNCNAME[0]} -EINVAL
 372 }
 373
 374 kmod_test_0001()
 375 {
 376         kmod_test_0001_driver
 377         kmod_test_0001_fs
 378 }
 379
 380 kmod_test_0002_driver()
 381 {
 382         NAME="nope-$DEFAULT_KMOD_DRIVER"
 383
 384         kmod_defaults_driver
 385         config_set_driver $NAME
 386         config_num_threads 1
 387         config_trigger ${FUNCNAME[0]}
 388         config_expect_result ${FUNCNAME[0]} MODULE_NOT_FOUND
 389 }
 390
 391 kmod_test_0002_fs()
 392 {
 393         NAME="nope-$DEFAULT_KMOD_FS"
 394
 395         kmod_defaults_fs
 396         config_set_fs $NAME
 397         config_trigger ${FUNCNAME[0]}
 398         config_expect_result ${FUNCNAME[0]} -EINVAL
 399 }
 400
 401 kmod_test_0002()
 402 {
 403         kmod_test_0002_driver
 404         kmod_test_0002_fs
 405 }
 406
 407 kmod_test_0003()
 408 {
 409         kmod_defaults_fs
 410         config_num_threads 1
 411         config_trigger ${FUNCNAME[0]}
 412         config_expect_result ${FUNCNAME[0]} SUCCESS
 413 }
 414
 415 kmod_test_0004()
 416 {
 417         kmod_defaults_fs
 418         config_num_threads 2
 419         config_trigger ${FUNCNAME[0]}
 420         config_expect_result ${FUNCNAME[0]} SUCCESS
 421 }
 422
 423 kmod_test_0005()
 424 {
 425         kmod_defaults_driver
 426         config_trigger ${FUNCNAME[0]}
 427         config_expect_result ${FUNCNAME[0]} SUCCESS
 428 }
 429
 430 kmod_test_0006()
 431 {
 432         kmod_defaults_fs
 433         config_trigger ${FUNCNAME[0]}
 434         config_expect_result ${FUNCNAME[0]} SUCCESS
 435 }
 436
 437 kmod_test_0007()
 438 {
 439         kmod_test_0005
 440         kmod_test_0006
 441 }
 442
 443 kmod_test_0008()
 444 {
 445         kmod_defaults_driver
 446         MODPROBE_LIMIT=$(config_get_modprobe_limit)
 447         let EXTRA=$MODPROBE_LIMIT/6
 448         config_num_thread_limit_extra $EXTRA
 449         config_trigger ${FUNCNAME[0]}
 450         config_expect_result ${FUNCNAME[0]} SUCCESS
 451 }
 452
 453 kmod_test_0009()
 454 {
 455         kmod_defaults_fs
 456         MODPROBE_LIMIT=$(config_get_modprobe_limit)
 457         let EXTRA=$MODPROBE_LIMIT/4
 458         config_num_thread_limit_extra $EXTRA
 459         config_trigger ${FUNCNAME[0]}
 460         config_expect_result ${FUNCNAME[0]} SUCCESS
 461 }
 462
 463 list_tests()
 464 {
 465         echo "Test ID list:"
 466         echo
 467         echo "TEST_ID x NUM_TEST"
 468         echo "TEST_ID:   Test ID"
 469         echo "NUM_TESTS: Number of recommended times to run the test"
 470         echo
 471         echo "0001 x $(get_test_count 0001) - Simple test - 1 thread  for empty string"
 472         echo "0002 x $(get_test_count 0002) - Simple test - 1 thread  for modules/filesystems that do not exist"
 473         echo "0003 x $(get_test_count 0003) - Simple test - 1 thread  for get_fs_type() only"
 474         echo "0004 x $(get_test_count 0004) - Simple test - 2 threads for get_fs_type() only"
 475         echo "0005 x $(get_test_count 0005) - multithreaded tests with default setup - request_module() only"
 476         echo "0006 x $(get_test_count 0006) - multithreaded tests with default setup - get_fs_type() only"
 477         echo "0007 x $(get_test_count 0007) - multithreaded tests with default setup test request_module() and get_fs_type()"
 478         echo "0008 x $(get_test_count 0008) - multithreaded - push kmod_concurrent over max_modprobes for request_module()"
 479         echo "0009 x $(get_test_count 0009) - multithreaded - push kmod_concurrent over max_modprobes for get_fs_type()"
 480 }
 481
 482 usage()
 483 {
 484         NUM_TESTS=$(grep -o ' ' <<<"$ALL_TESTS" | grep -c .)
 485         let NUM_TESTS=$NUM_TESTS+1
 486         MAX_TEST=$(printf "%04d\n" $NUM_TESTS)
 487         echo "Usage: $0 [ -t <4-number-digit> ] | [ -w <4-number-digit> ] |"
 488         echo "           [ -s <4-number-digit> ] | [ -c <4-number-digit> <test- count>"
 489         echo "           [ all ] [ -h | --help ] [ -l ]"
 490         echo ""
 491         echo "Valid tests: 0001-$MAX_TEST"
 492         echo ""
 493         echo "    all     Runs all tests (default)"
 494         echo "    -t      Run test ID the number amount of times is recommended"
 495         echo "    -w      Watch test ID run until it runs into an error"
 496         echo "    -c      Run test ID once"
 497         echo "    -s      Run test ID x test-count number of times"
 498         echo "    -l      List all test ID list"
 499         echo " -h|--help  Help"
 500         echo
 501         echo "If an error every occurs execution will immediately terminate."
 502         echo "If you are adding a new test try using -w <test-ID> first to"
 503         echo "make sure the test passes a series of tests."
 504         echo
 505         echo Example uses:
 506         echo
 507         echo "${TEST_NAME}.sh           -- executes all tests"
 508         echo "${TEST_NAME}.sh -t 0008   -- Executes test ID 0008 number of times is recomended"
 509         echo "${TEST_NAME}.sh -w 0008   -- Watch test ID 0008 run until an error occurs"
 510         echo "${TEST_NAME}.sh -s 0008   -- Run test ID 0008 once"
 511         echo "${TEST_NAME}.sh -c 0008 3 -- Run test ID 0008 three times"
 512         echo
 513         list_tests
 514         exit 1
 515 }
 516
 517 function test_num()
 518 {
 519         re='^[0-9]+$'
 520         if ! [[ $1 =~ $re ]]; then
 521                 usage
 522         fi
 523 }
 524
 525 function get_test_count()
 526 {
 527         test_num $1
 528         TEST_DATA=$(echo $ALL_TESTS | awk '{print $'$1'}')
 529         LAST_TWO=${TEST_DATA#*:*}
 530         echo ${LAST_TWO%:*}
 531 }
 532
 533 function get_test_enabled()
 534 {
 535         test_num $1
 536         TEST_DATA=$(echo $ALL_TESTS | awk '{print $'$1'}')
 537         echo ${TEST_DATA#*:*:}
 538 }
 539
 540 function run_all_tests()
 541 {
 542         for i in $ALL_TESTS ; do
 543                 TEST_ID=${i%:*:*}
 544                 ENABLED=$(get_test_enabled $TEST_ID)
 545                 TEST_COUNT=$(get_test_count $TEST_ID)
 546                 if [[ $ENABLED -eq "1" ]]; then
 547                         test_case $TEST_ID $TEST_COUNT
 548                 fi
 549         done
 550 }
 551
 552 function watch_log()
 553 {
 554         if [ $# -ne 3 ]; then
 555                 clear
 556         fi
 557         date
 558         echo "Running test: $2 - run #$1"
 559 }
 560
 561 function watch_case()
 562 {
 563         i=0
 564         while [ 1 ]; do
 565
 566                 if [ $# -eq 1 ]; then
 567                         test_num $1
 568                         watch_log $i ${TEST_NAME}_test_$1
 569                         ${TEST_NAME}_test_$1
 570                 else
 571                         watch_log $i all
 572                         run_all_tests
 573                 fi
 574                 let i=$i+1
 575         done
 576 }
 577
 578 function test_case()
 579 {
 580         NUM_TESTS=$DEFAULT_NUM_TESTS
 581         if [ $# -eq 2 ]; then
 582                 NUM_TESTS=$2
 583         fi
 584
 585         i=0
 586         while [ $i -lt $NUM_TESTS ]; do
 587                 test_num $1
 588                 watch_log $i ${TEST_NAME}_test_$1 noclear
 589                 RUN_TEST=${TEST_NAME}_test_$1
 590                 $RUN_TEST
 591                 let i=$i+1
 592         done
 593 }
 594
 595 function parse_args()
 596 {
 597         if [ $# -eq 0 ]; then
 598                 run_all_tests
 599         else
 600                 if [[ "$1" = "all" ]]; then
 601                         run_all_tests
 602                 elif [[ "$1" = "-w" ]]; then
 603                         shift
 604                         watch_case $@
 605                 elif [[ "$1" = "-t" ]]; then
 606                         shift
 607                         test_num $1
 608                         test_case $1 $(get_test_count $1)
 609                 elif [[ "$1" = "-c" ]]; then
 610                         shift
 611                         test_num $1
 612                         test_num $2
 613                         test_case $1 $2
 614                 elif [[ "$1" = "-s" ]]; then
 615                         shift
 616                         test_case $1 1
 617                 elif [[ "$1" = "-l" ]]; then
 618                         list_tests
 619                 elif [[ "$1" = "-h" || "$1" = "--help" ]]; then
 620                         usage
 621                 else
 622                         usage
 623                 fi
 624         fi
 625 }
 626
 627 test_reqs
 628 allow_user_defaults
 629 load_req_mod
 630
 631 trap "test_finish" EXIT
 632
 633 parse_args $@
 634
 635 exit 0