python - PySpark Dataframe fillna(0) 给我一个 "ambiguous reference"错误。只是尝试用 0 填充 NULL 值

Question

我有一个 pyspark 数据框，版本 2.2.0。

用 0 填充 NULL 值时出现此错误。

cd_pivot = cd.groupby(cd.id).pivot("ACODE_ICD9_1_short").agg(count(cd.visit_id)) #this line processes fine ("cd" is a pyspark dataframe)

cd_pivot.fillna(0) #this line triggers the error


AnalysisException: "Reference 'V04' is ambiguous, could be: V04#1742769L, V04#1742852L.;"

完整的堆栈跟踪:

Py4JJavaError                             Traceback (most recent call last)
~/Downloads/spark-2.2.0-bin-hadoop2.7/python/pyspark/sql/utils.py in deco(*a, **kw)
     62         try:
---> 63             return f(*a, **kw)
     64         except py4j.protocol.Py4JJavaError as e:

~/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)
    318                     "An error occurred while calling {0}{1}{2}.\n".
--> 319                     format(target_id, ".", name), value)
    320             else:

Py4JJavaError: An error occurred while calling o1023.fill.
: org.apache.spark.sql.AnalysisException: Reference 'V04' is ambiguous, could be: V04#1742769L, V04#1742852L.;
    at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.resolve(LogicalPlan.scala:287)
    at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.resolveQuoted(LogicalPlan.scala:191)
    at org.apache.spark.sql.Dataset.resolve(Dataset.scala:214)
    at org.apache.spark.sql.Dataset.col(Dataset.scala:1105)
    at org.apache.spark.sql.DataFrameNaFunctions.org$apache$spark$sql$DataFrameNaFunctions$$fillCol(DataFrameNaFunctions.scala:412)
    at org.apache.spark.sql.DataFrameNaFunctions$$anonfun$7.apply(DataFrameNaFunctions.scala:467)
    at org.apache.spark.sql.DataFrameNaFunctions$$anonfun$7.apply(DataFrameNaFunctions.scala:460)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
    at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:186)
    at org.apache.spark.sql.DataFrameNaFunctions.fillValue(DataFrameNaFunctions.scala:460)
    at org.apache.spark.sql.DataFrameNaFunctions.fill(DataFrameNaFunctions.scala:179)
    at org.apache.spark.sql.DataFrameNaFunctions.fill(DataFrameNaFunctions.scala:163)
    at org.apache.spark.sql.DataFrameNaFunctions.fill(DataFrameNaFunctions.scala:140)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:280)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:748)


During handling of the above exception, another exception occurred:

AnalysisException                         Traceback (most recent call last)
<ipython-input-83-d1be0e892cef> in <module>()
----> 1 cd_pivot.fillna(0)

~/Downloads/spark-2.2.0-bin-hadoop2.7/python/pyspark/sql/dataframe.py in fillna(self, value, subset)
   1325             return DataFrame(self._jdf.na().fill(value), self.sql_ctx)
   1326         elif subset is None:
-> 1327             return DataFrame(self._jdf.na().fill(value), self.sql_ctx)
   1328         else:
   1329             if isinstance(subset, basestring):

~/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py in __call__(self, *args)
   1131         answer = self.gateway_client.send_command(command)
   1132         return_value = get_return_value(
-> 1133             answer, self.gateway_client, self.target_id, self.name)
   1134 
   1135         for temp_arg in temp_args:

~/Downloads/spark-2.2.0-bin-hadoop2.7/python/pyspark/sql/utils.py in deco(*a, **kw)
     67                                              e.java_exception.getStackTrace()))
     68             if s.startswith('org.apache.spark.sql.AnalysisException: '):
---> 69                 raise AnalysisException(s.split(': ', 1)[1], stackTrace)
     70             if s.startswith('org.apache.spark.sql.catalyst.analysis'):
     71                 raise AnalysisException(s.split(': ', 1)[1], stackTrace)

AnalysisException: "Reference 'V04' is ambiguous, could be: V04#1742769L, V04#1742852L.;"

此处编辑 cd_pivot 的前 3 行:

---+----+----+----+----+----+
|     id|   0|  00| 000| 001| 002| 003| 004| 005| 006| 007| 008| 009|  01| 010| 011| 012| 013| 014| 015| 016| 017| 018|  02| 020| 021| 022| 023| 024| 026| 027| 030| 031| 033| 034| 035| 036| 037| 038| 039| 040| 041| 042| 043| 044| 045| 046| 047| 048| 049| 050| 051| 052| 053| 054| 055| 056| 057| 059| 061| 062|  07| 070| 071| 072| 074| 075| 076| 077| 078| 079| 080| 081| 082| 084| 087| 088| 089| 090| 091| 092| 093| 094| 096| 097| 098| 099|   1|  10| 100| 101| 102| 105| 109|  11| 110| 111| 112| 113| 114| 116| 117| 118| 119| 121| 122| 123| 124| 126| 127| 128| 129| 130| 131| 132| 133| 134| 135| 136| 137| 138| 139|  14| 140| 141| 142| 143| 144| 145| 146| 147| 148| 149|  15| 150| 151| 152| 153| 154| 155| 156| 157| 158| 159| 160| 161| 162| 163| 164| 165| 170| 171| 172| 173| 174| 175| 176| 179| 180| 181| 182| 183| 184| 185| 186| 187| 188| 189| 190| 191| 192| 193| 194| 195| 196| 197| 198| 199|  20| 200| 201| 202| 203| 204| 205| 207| 208|  21| 210| 211| 212| 213| 214| 215| 216| 217| 218| 219|  22| 220| 221| 222| 223| 224| 225| 226| 227| 228| 229|  23| 230| 231| 232| 233| 234| 235| 236| 237| 238| 239|  24| 240| 241| 242| 243| 244| 245| 246| 247| 250| 251| 252| 253| 254| 255| 256| 257| 258| 259| 260| 261| 262| 263| 264| 265| 266| 268| 269| 270| 271| 272| 273| 274| 275| 276| 277| 278| 279|  28| 280| 281| 282| 283| 284| 285| 286| 287| 288| 289| 290| 291| 292| 293| 294| 295| 296| 297| 298| 299|   3| 30+| 300| 301| 302| 303| 304| 305| 306| 307| 308| 309|  31| 310| 311| 312| 313| 314| 315| 316| 317| 318| 319| 320| 321| 322| 323| 324| 326| 330| 331| 332| 333| 334| 335| 336| 337| 340| 341| 342| 343| 344| 345| 346| 347| 348| 349| 350| 351| 352| 353| 354| 355| 356| 357| 358| 359| 360| 361| 362| 363| 364| 365| 366| 367| 368| 369| 370| 371| 372| 373| 374| 375| 376| 377| 378| 379|  38| 380| 381| 382| 383| 384| 385| 386| 387| 388| 389| 390| 391| 393| 394| 395| 396| 397| 398| 401| 402| 403| 404| 405| 410| 411| 412| 413| 414| 415| 416| 417| 418| 419|  42| 420| 421| 422| 423| 424| 425| 426| 427| 428| 429|  43| 430| 431| 432| 433| 434| 435| 436| 437| 438| 439|  44| 440| 441| 442| 443| 444| 446| 447| 448|  45| 451| 452| 453| 454| 455| 456| 457| 458| 459|  46| 460| 461| 462| 463| 464| 465| 466| 468| 469|  47| 470| 471| 472| 473| 474| 475| 476| 477| 478|  48| 480| 481| 482| 483| 484| 485| 486| 487|  49| 490| 491| 492| 493| 494| 495| 496| 499|   5|  50| 500| 501| 502| 503| 505| 506| 507| 508|  51| 510| 511| 512| 513| 514| 515| 516| 517| 518| 519| 520| 521| 522| 523| 524| 525| 526| 527| 528| 529| 530| 531| 532| 533| 534| 535| 536| 537| 538| 539| 540| 541| 542| 543| 544| 546| 547| 550| 551| 552| 553| 554| 555| 556| 557| 558| 559| 560| 561| 562| 563| 564| 565| 566| 567| 568| 569|  57| 570| 571| 572| 573| 574| 575| 576| 577| 578| 579| 580| 581| 582| 583| 584| 585| 586| 587| 588| 589| 590| 591| 592| 593| 594| 595| 596| 597| 598| 599|   6| 600| 601| 602| 603| 604| 605| 606| 607| 608| 610| 611| 613| 614| 615| 616| 617| 618| 619| 620| 621| 622| 623| 624| 625| 626| 627| 628| 629| 630| 631| 632| 633| 634| 635| 636| 637| 638| 639| 640| 641| 642| 643| 644| 645| 646| 647| 648| 650| 651| 652| 653| 654| 655| 656| 657| 658| 659| 660| 661| 662| 663| 664| 665| 666| 667| 668| 669| 670| 671| 672| 673| 674| 675| 676| 677| 680| 681| 682| 683| 684| 685| 686| 689| 690| 691| 692| 693| 694| 695| 696| 697| 698|  70| 700| 701| 702| 703| 704| 705| 706| 707| 708| 709| 710| 711| 712| 713| 714| 715| 716| 717| 718| 719| 720| 721| 722| 723| 724| 725| 726| 727| 728| 729| 730| 731| 732| 733| 734| 735| 736| 737| 738| 739|  74| 740| 741| 742| 743| 744| 745| 746| 747| 748| 749| 750| 751| 752| 753| 754| 755| 756| 757| 758| 759| 760| 761| 762| 763| 764| 765| 767| 768| 769| 770| 771| 772| 773| 774| 775| 776| 777| 778| 779|  78| 780| 781| 782| 783| 784| 785| 786| 787| 788| 789|  79| 790| 791| 792| 793| 794| 795| 796| 797| 798| 799| 800| 801| 802| 803| 804| 805| 806| 807| 808| 809| 810| 811| 812| 813| 814| 815| 816| 817| 818| 819| 820| 821| 822| 823| 824| 825| 826| 827| 828| 829| 830| 831| 832| 833| 834| 835| 836| 837| 838| 839| 840| 841| 842| 843| 844| 845| 846| 847| 848| 849| 850| 851| 852| 853| 854| 860| 861| 862| 863| 864| 865| 866| 867| 868| 869| 870| 871| 872| 873| 874| 875| 876| 877| 878| 879| 880| 881| 882| 883| 884| 885| 886| 887| 889| 890| 891| 892| 893| 894| 895| 896| 897| 900| 901| 902| 903| 904| 905| 906| 907| 908| 909| 910| 911| 912| 913| 914| 915| 916| 917| 918| 919|  92| 920| 921| 922| 923| 924| 925| 926| 927| 928| 929| 930| 931| 932| 933| 934| 935| 936| 938| 939| 940| 941| 942| 943| 944| 945| 946| 947| 948| 949| 950| 951| 952| 953| 954| 955| 956| 957| 958| 959| 961| 962| 963| 964| 965| 966| 967| 968| 969| 970| 971| 972| 974| 976| 977| 979| 980| 981| 982| 983| 984| 985| 986| 987| 988| 989| 990| 991| 992| 993| 994| 995| 996| 997| 998| 999| @42| @43| @46| @47|   A|  A/|  A0| A00| A01| A02| A03| A04| A05| A06| A07| A08| A09|  A1| A10| A11| A12| A13| A14| A15| A16| A17| A18| A19| A20| A21| A22| A23| A24| A25| A26| A27| A28| A29|  A3| A30| A31| A32| A33| A34| A35| A36| A37| A38| A39| A40| A41| A42| A43| A44| A45| A46| A47| A48| A49| A50| A51| A52| A53| A54| A55| A56| A57| A58| A59| A61| A62| A63| A66| A67| A68| A69| A70| A71| A72| A73| A78| A82| A84| A88| A92| A93| A94| A97| A99| AA3| AA4| AAA| AB0| AB1| AB2| AB3| AE2| AE4| AE5| ANC| AO1| AO7| APC| AU0|  AV| AV0| AV1| AV2| AV3| AV4| AV5| AV7| AV9| AVO| B04| B20| B22| B23| B25| B27| B32| B37| B46| BG5| CEL| CON| D11| D14| D20|  E1| E47| E48| E50| E51| E52| E53| E54| E55| E56| E80| E81| E82| E83| E84| E85| E86| E87| E88| E89| E90| E91| E92| E93| E94| E95| E96| E97| E98|  HO| I84| I92| IC3| M50| M80| M87| M88| M92|   N| N23| NA1|   P| PAP|  PC|  PN| Q31| Q72| R81| V01| V02| V03| V04| V05| V06| V07| V08| V09| V10| V11| V12| V13| V14| V15| V16| V17| V18| V19| V20| V21| V22| V23| V24| V25| V26| V27| V28| V29| V30| V32| V37| V40| V41| V42| V43| V44| V45| V46| V47| V48| V49| V50| V51| V52| V53| V54| V55| V56| V57| V58| V59| V60| V61| V62| V63| V64| V65| V66| V67| V68| V69| V70| V71| V72| V73| V74| V75| V76| V77| V78| V79| V80| V81| V82| V91| V99| VO4| Vc6|  WR| Z00| Z02| Z10| Z25| ]31|   i| v04| v20| v58| v70| v72|
+-------+----+----+----+----+----+----+----+----+----+----+----+----+----+-+----+----+----+----+----+----+
| 794988|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|
| 327888|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|
|1600831|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|   1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|
+-------+----+----+----+----+----+----+----+----+----+----+----+----+----+-
only showing top 3 rows

Answer 1

import pyspark.sql.functions as f
cd = cd.withColumn("ACODE_ICD9_1_short_new", f.lower(cd.ACODE_ICD9_1_short)));
cd_pivot = cd.groupby(cd.id).pivot("ACODE_ICD9_1_short_new").agg(count(cd.visit_id)) 
cd_pivot.fillna(0)